Azure ADLS Gen2: список файлов только в каталоге верхнего уровня?

Вы правы, метод get_paths() в Azure DataLakeServiceClient действительно возвращает все файлы и папки по указанному пути и его подкаталогам. К сожалению, не существует встроенного способа ограничить это только каталогом верхнего уровня.

Однако вы все равно можете отфильтровать результаты, чтобы включать только файлы в каталоге верхнего уровня, проверив, содержит ли имя пути какие-либо дополнительные косые черты за пределами исходного каталога. Вот пример того, как вы можете это сделать:

from azure.storage.filedatalake import DataLakeServiceClient

def get_top_level_files(service_client, container_name, directory_path):
    file_system_client = service_client.get_file_system_client(container_name)
    paths = file_system_client.get_paths(path=directory_path)
    
    top_level_files = []
    
    for path in paths:
        # Check if the path is a file and is in the top-level directory
        if not path.is_directory and '/' not in path.name[len(directory_path):]:
            top_level_files.append(path)
    
    return top_level_files

Использование: service_client = DataLakeServiceClient(...) top_level_files = get_top_level_files(service_client, "mycontainer", "a/b/c")

В этом коде path.name[len(directory_path):] получает часть пути после указанного каталога, а '/' не в path.name[len(directory_path):] проверяет, есть ли эта часть.
К сожалению, я не думаю, что есть более простой способ добиться этого, но этот метод надежен и надежен.