Я создавал работу Databricks с API. Просто хотите знать, могут ли идентификатор пула экземпляров и идентификатор пула экземпляров драйверов совпадать?
Да, можно использовать один и тот же пул экземпляров как для рабочих, так и для драйверных узлов. И действительно, если не указывать отдельный пул для драйвера, то будет использоваться инстанс-пул воркера, если он настроен. Это описано в документация по кластерам, в описании настройки instance_pool_id
:
The optional ID of the instance pool to use for cluster nodes. If driver_instance_pool_id is present, instance_pool_id is used for worker nodes only. Otherwise, it is used for both the driver and worker nodes.