Условие, указанное с помощью условных заголовков HTTP, не выполнено. Блокам данных Azure не удается прочитать файл JSON из хранилища BLOB-объектов

Используемые ресурсы

• Аналитика журналов Azure
• Хранилище BLOB-объектов версии 2
• Задание Azure Databricks

Аналитика журнала записывает данные в учетную запись хранения BLOB-объектов в контейнере с использованием правила экспорта. Databricks имеет один и тот же контейнер, смонтированный и работающий конвейер, который считывает данные каждый час и выполняет преобразования. Конвейер Databricks иногда работает правильно, а иногда выдает следующую ошибку. Я понимаю, что при чтении и записи данных в хранилище BLOB-объектов возникает состояние гонки. Правило экспорта данных Log Analytics не имеет фиксированного порога времени для отправки данных в хранилище. Есть идеи, как справиться с этим состоянием гонки?

Caused by: java.io.IOException: Operation failed: "The condition specified using HTTP conditional header(s) is not met.", 412, GET, https://xxx.dfs.core.windows.net/xx-xxx/WorkspaceResourceId%3D/subscriptions/xxx.json?timeout=90, ConditionNotMet, "The condition specified using HTTP conditional header(s) is not met. RequestId:xxx-xxxx-xxxx-xxxx-xxx Time:xxx-04-03T20:11:21.xxxx"
    at shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsInputStream.readRemote(AbfsInputStream.java:673)
    at shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsInputStream.readInternal(AbfsInputStream.java:619)
    at shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsInputStream.readOneBlock(AbfsInputStream.java:409)
    at shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.services.AbfsInputStream.read(AbfsInputStream.java:346)
    at java.io.DataInputStream.read(DataInputStream.java:149)
    at com.databricks.common.filesystem.LokiAbfsInputStream.$anonfun$read$3(LokiABFS.scala:204)
    at scala.runtime.java8.JFunction0$mcI$sp.apply(JFunction0$mcI$sp.java:23)
    at com.databricks.common.filesystem.LokiAbfsInputStream.withExceptionRewrites(LokiABFS.scala:194)