Databricks — как скопировать журналы драйверов на свой компьютер?

Существуют разные способы копирования журналов драйверов на локальный компьютер.

Вариант 1: Журналы драйвера кластера:

Перейдите в рабочую область Azure Databricks => выберите кластер => щелкните Журналы драйверов => Для загрузки на локальный компьютер.

Прямые отчеты о печати и журнале из ваших ноутбуков и библиотек попадают в журналы драйверов. Журналы имеют три вывода:

• Стандартный вывод

• Стандартная ошибка

• Журналы Log4j

Файлы журналов периодически меняются. Старые файлы журналов отображаются в верхней части страницы вместе с отметкой времени. Вы можете загрузить любой из журналов для устранения неполадок.

Вариант 2: Доставка журнала кластера:

При создании кластера можно указать место для доставки журналов драйверов и рабочих процессов Spark. Журналы доставляются каждые пять минут в выбранный вами пункт назначения. Когда кластер прекращает работу, Databricks гарантирует доставку всех журналов, созданных до момента остановки кластера.

Назначение журналов зависит от идентификатора кластера. Если указано место назначения dbfs:/cluster-log-delivery, журналы кластера для 0630-191345-leap375 доставляются в dbfs:/cluster-log-delivery/0630-191345-leap375.

Чтобы настроить место доставки журнала:

1. На странице конфигурации кластера щелкните переключатель Дополнительные параметры.

2. В нижней части страницы щелкните вкладку Ведение журнала.

3. Выберите тип назначения.

4. Введите путь к журналу кластера.

Чтобы загрузить журналы кластера на локальный компьютер:

Установите Интерфейс командной строки блоков данных, настройте его с помощью учетных данных Databricks и используйте команду CLI dbfs cp. Например: dbfs cp dbfs:/FileStore/azure.txt ./azure.txt.

Если вы хотите загрузить всю папку с файлами, вы можете использовать dbfs cp -r <DBFS Path> <LocalPath>.

• Открыть командную строку.
• Установите Python: https://www.python.org/downloads/
• Установите блоки данных: pip install databricks-cli

• Скопируйте хост и сгенерированный токен доступа.

  хост: https://centralus.azuredatabricks.net/?

  токен: 46546fgdsgfdhhh65fdh546sdsdrfdfghf12

• Настройка блоков данных: запустите datbricks configure

Узел Databricks (должен начинаться с https://): https://centralus.azuredatabricks.net/

Имя пользователя: [email protected]

Пароль: вставьте токен доступа

Повторите для подтверждения: вставьте токен доступа

• Теперь запустите приведенный ниже командлет, чтобы скопировать журналы на локальный компьютер.

dbfs cp -r dbfs:/cluster-logs/0731-081420-tees851/driver C:\Users\Azure\Desktop\Logs

Надеюсь это поможет.