Тестовое подключение к потоку данных фабрики данных Azure не удалось выполнить задание Spark
Я использую связанную службу для подключения базы данных SQL Azure к потоку данных фабрики данных Azure.
В фабрике данных Azure подключение к связанной службе устанавливается успешно.
Однако когда я добавляю свой исходный набор данных с помощью связанной службы в поток данных, тестовое соединение не удается.
Ниже приведены сообщения об ошибках:
Spark job failed: {
"text/plain": "{\"runId\":\"94405efb-4fd6-449e-aa7f-e4396f1db87f\",\"sessionId\":\"93dd501b-ac03-4c93-8773-36058e06b8a0\",\"status\":\"Failed\",\"payload\":{\"statusCode\":400,\"shortMessage\":\"com.microsoft.dataflow.broker.MissingRequiredPropertyException: server is a required property for AzureSqlDatabase1.\\ncom.microsoft.dataflow.broker.PropertyNotFoundException: Could not extract value from AzureSqlDatabase1\",\"detailedMessage\":\"Failure 2024-05-17 07:10:36.828 failed DebugManager.processJob, run=94405efb-4fd6-449e-aa7f-e4396f1db87f, errorMessage=com.microsoft.dataflow.broker.MissingRequiredPropertyException: server is a required property for AzureSqlDatabase1.\\ncom.microsoft.dataflow.broker.PropertyNotFoundException: Could not extract value from AzureSqlDatabase1\"}}\n"
} - RunId: 94405efb-4fd6-449e-aa7f-e4396f1db87f
Когда я погуглил вышеуказанную ошибку, на большинстве форумов говорилось, что нужно воссоздать связанную службу. В этом потоке StackOverflow он просит увеличить вычислительный размер интеграции потока данных, что также не работает.
Есть ли какие-либо лучшие решения или что именно вызывает эту проблему?
@Aswin Я использую базу данных Azure sql
Я не уверен, почему это происходит. Я делал это несколько раз. Я не могу воспроизвести ту же проблему и не могу найти для нее RC.
@Aswin, какой у тебя регион ADF? . Я попытался удалить все свои службы и создать их заново, но проблема все равно существует.
Ответы 1
Мне пришлось создать новую связанную службу, на этот раз используя «устаревшую», а не «рекомендованную» версию. Добавьте мое имя сервера и имя базы данных и проверьте. Затем опубликуйте изменения с этим новым LS. (Я мог бы использовать существующее, если бы опубликовал его позже) Затем измените мои источники, чтобы использовать эту новую связанную службу (я получал ту же ошибку, что и вы, но в CDC, используя прямую связанную службу). Тогда у меня больше не было этой ошибки. Я думаю, что может быть ошибка (видел похожие сообщения на MS), и использование Legacy в связанной службе позволяет избежать ее. Вот моя конфигурация связанной службы с использованием Legacy
О, это работает, большое спасибо. Я боролся с этим некоторое время.
То же самое и здесь: простое изменение версии с рекомендованной на устаревшую в связанной службе решило эту проблему для меня.
Вы используете базу данных Azure sql? или сервер sql в какой-нибудь Azure виртуальной машине?