Как создать словарь с ключом и списком значений из нескольких папок и файлов

Как насчет чего-то вроде этого, которое читает файлы и помещает их в список внутри словаря:

import os

folders = {
    'appointment': 'temp_folder/stats/appointments/',
    'data_transfer': 'temp_folder/stats/data_transfer'
}

folder_contents = {}

for folder_name, folder_path in folders.items():
    folder_contents[folder_name] = []
    files = os.listdir(folder_path)
    for file in files:
        name, extension = os.path.splitext(file)
        folder_contents[folder_name].append(name)

print(folder_contents)

from pathlib import Path

folders_dict = {}
for folder in Path(".").glob("*/"):
    csv_files = list(Path(f"./{folder}").glob("**/*.csv"))

    if csv_files:
        folders_dict[str(folder)] = [
            str(file.relative_to(folder).with_suffix("")) for file in csv_files
        ]

Здесь сделаем некоторые предположения.

1. Вам не нужен рекурсивный поиск
2. Вас интересуют только файлы CSV.
3. У вас есть список имен папок (каталогов) Python, которые доступны из вашего текущего рабочего каталога.

На этой основе это так же просто, как:

from pathlib import Path

list_of_folders = [
    Path("temp_folder/stats/data_transfer"),
    Path("temp_folder/stats/appointments"),
]

result = {}

for folder in list_of_folders:
    key = folder.name
    for file in folder.glob("*.csv"):
        result.setdefault(key, []).append(file.stem)

print(result)

Учитывая иерархию папок в ОП и их содержимое, это приведет к:

{'data_transfer': ['united_configs', 'united_history', 'extraction', 'united_sync'], 'appointments': ['appointment_configs', 'united_history', 'appointment_history']}

import os

def get_folder_contents_with_suffix(folder_paths, suffix):
    
    folders_dict = {}

    # Iterate through the folder paths
    for folder_name, folder_path in folder_paths.items():
        try:
            # List all files in the folder
            files = os.listdir(folder_path)
            # Filter and extract file names without extensions if they have the specified suffix
            file_names = [os.path.splitext(file)[0] for file in files if file.endswith(suffix) and os.path.isfile(os.path.join(folder_path, file))]
            # Add the folder name and its file names to the dictionary
            folders_dict[folder_name] = file_names
        except FileNotFoundError:
            print(f"Error: The folder '{folder_path}' does not exist.")
        except Exception as e:
            print(f"An error occurred while processing the folder '{folder_path}': {e}")

    return folders_dict

# Define your folder paths
folder_paths = {
    'appointment': 'temp_folder/stats/appointments/',
    'data_transfer': 'temp_folder/stats/data_transfer/'
}

# Define the suffix to filter files
suffix = '.csv'

# Get the folder contents with the specified suffix
folder_contents = get_folder_contents_with_suffix(folder_paths, suffix)

# Print the resulting dictionary
print(folder_contents)