Как проверить, пусты ли файлы в каталоге озера данных с помощью Фабрики данных Azure?

Как проверить, пусты ли файлы в каталоге озера данных с помощью Фабрики данных Azure?

В каталоге озера данных есть несколько файлов, и я хочу проверить, пусты ли эти файлы или нет. Если файлы пусты, я хочу сохранить имена файлов этих пустых файлов в файле CSV.

Все эти файлы находятся в одном каталоге?

Saideep Arikontham 18.11.2022 06:52

Да, одна и та же папка содержит как пустые файлы, так и непустые файлы

Anonymous 18.11.2022 07:43
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
Как установить LAMP Stack - Security 5/5 на виртуальную машину Azure Linux VM
В предыдущей статье мы завершили установку базы данных, для тех, кто не знает.
Как установить LAMP Stack 1/2 на Azure Linux VM
Как установить LAMP Stack 1/2 на Azure Linux VM
В дополнение к нашему предыдущему сообщению о намерении Azure прекратить поддержку Azure Database для MySQL в качестве единого сервера после 16...
0
2
80
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Если вы хотите проверить, является ли файл пустым или нет, выполните следующие действия. Я попытался воспроизвести то же самое в своей среде и получил следующие результаты:

В моей учетной записи хранения есть два файла: один demo123.csv пустой, а другой vm_name3.csv непустой.

Пожалуйста, выполните следующие действия:

Шаг 1. Сначала создайте метаданные Get с дочерними элементами.

Шаг 2: Добавьте динамическое выражение @activity('Get Metadata1').output.childItems в действие forEach.

  • Создайте параметр набора данных
    enter image description here

Шаг 3: внутри действия forEach -> использовать поиск и условие If. Добавьте это динамическое выражение при поиске: @item().name

Уважать

Если условие:

Используя это динамическое выражение @equals(activity('Lookup1').output. count,0). Вы узнаете, является ли файл пустым или нет.

  • Затем добавьте переменную добавления внутри истинной проводимости.

  • Я создал две переменные с типом массива.

  • Добавьте это динамическое выражение: @item().name к переменной добавления
    enter image description here

Шаг 4:

Добавьте переменную set в действие forEach:

После успешного выполнения пайплайна. Я получил пустое имя файла:

Если вы хотите сохранить имена файлов этих пустых файлов в файле CSV. Затем следуйте этой ветке SO от Aswin.

Каким должен быть набор данных активности поиска?

Anonymous 21.11.2022 08:08

Привет @Anonymous, delimitedtext2

SaiVamsi 21.11.2022 08:19

Он должен указывать на ?

Anonymous 21.11.2022 08:32

Я получаю эту ошибку при попытке отладки «Значение переменной var1 должно быть допустимым массивом, например ["1","2","3"]"

Anonymous 21.11.2022 08:33

Не могли бы вы предоставить это сообщение об ошибке

SaiVamsi 21.11.2022 08:40

Выходные данные конвейерной проверки var1 Значение переменной должно быть допустимым массивом; например ["1","2","3"]

Anonymous 21.11.2022 08:58

Да, это допустимый массив. Просто проверьте один раз с переменной Val1. ваша строка или массив.

SaiVamsi 21.11.2022 10:02

Я предоставил только тип массива.

Anonymous 21.11.2022 11:37

Каким должен быть путь к набору данных для поиска?

Anonymous 21.11.2022 11:57

Можете ли вы поделиться изображением подключения к набору данных как для данных Getmeta, так и для наборов данных Look Up?

Anonymous 21.11.2022 11:58

Привет @Anonymous, пожалуйста, проверьте описанный выше подход и пошаговый процесс. Вы найдете выше изображение подключения к набору данных как для данных Getmeta, так и для наборов данных поиска, а также путь набора данных для действия поиска.

SaiVamsi 21.11.2022 12:03

Я думаю, что что-то не так с моим набором данных Look Up

Anonymous 21.11.2022 12:10

Я предполагаю, что набор данных поиска должен указывать на тот же каталог, что и набор данных Getmeta data?

Anonymous 21.11.2022 12:11

Перейдите к проверке шага 1, как только я возьму другой набор данных, поскольку вы можете видеть поиск с разделителями1 и шаг 3, который я взял с разделителями2. только одна причина, по которой метаданные используют набор данных как Json. поэтому я создаю отдельный набор данных для поиска и воспринимаю как массив.

SaiVamsi 21.11.2022 12:30

В вашем случае набор данных delimitedtext1 указывает на папку, в которой находятся эти 2 файла, и на какой набор данных delimitedtext2 указывает? Это фиктивный файл?

Anonymous 21.11.2022 12:37
Ответ принят как подходящий

Я следил за этой веткой Фабрика данных Azure V2. Проверьте размер файла для действия копирования и применил условие, чтобы оценить размер файла, добавить переменную и установить переменную для хранения имен файлов. Сработало для меня.

Другие вопросы по теме

Azure Databricks: непредвиденный сбой при ожидании готовности кластера. Причина Кластер непригоден для использования, так как драйвер неисправен
Выражение фабрики данных Azure
Как скопировать данные из действия «Добавить переменную» в CSV-файл с помощью Фабрики данных Azure
Добавление, созданное при копировании данных из SQL в Azure Data Lake 2-го поколения
Обработка исключений для действия копирования в фабрике данных Azure
Как создать карту "ключ-значение" с выражением конвейера (не с выражением потока данных) в фабрике данных Azure (Synapse Studio)
DnsResolutionFailure, когда Фабрика данных Azure пытается получить доступ к файловому серверу после обновления локальной среды выполнения интеграции
Как сохранить результат веб-активности в переменной?
Как выполнить левое анти- и правое антисоединение в потоке данных?
Как выходные данные активности скрипта передаются в форме csv/структурированном формате в качестве приемника

Похожие вопросы

Azure Databricks: непредвиденный сбой при ожидании готовности кластера. Причина Кластер непригоден для использования, так как драйвер неисправен
Напишите сценарий PowerShell с помощью модуля Runbook, чтобы сделать моментальный снимок виртуальной машины: Запуск от имени учетной записи: Azure
Как добавить журналы в аналитику журналов в приложениях логики Azure?
Локальный репозиторий helm не обновляется из реестра контейнеров Azure
Поставщик учетных данных клиента Azure выдает ошибку "/me request действителен только с делегированным потоком проверки подлинности"
Хранилище BLOB-объектов Azure с Python, создавать контейнеры, но не перечислять их?
ASP.NET Core Web API и Azure: ошибка проверки подлинности, токен доступа в заголовке
Функция Azure как серверная часть, связанная со статическим веб-приложением Azure, без утверждений Azure AD AppRoleAssignments
Как изменить версию Python службы приложений Azure с 3.9.7 на 3.9.12?
API MANAGEMENT заблокировать личный домен