Фабрика данных Azure запускает завершение кластера Databricks

У меня есть сценарий, когда мне нужно инициировать завершение работы универсального кластера Databricks из конвейера ADF.

Каким будет лучший подход для достижения этой цели? Я попробовал использовать связанную службу, но единственный вариант, который я вижу, — это запустить код в указанном кластере с помощью блокнотов и т. д.

Чтобы уточнить: я знаю, что использование кластера заданий или установка автоматического завершения будет лучшим решением, но это в экспериментальных целях, и по какой-то причине мне приходится это делать.