Довольно новый для Databricks. Мне нужно получить доступ к данным в Lakehouse с помощью драйвера JDBC. Это прекрасно работает.
Теперь я хочу заглушить Lakehouse, используя образ докера для некоторых тестов, которые я хочу написать. Можно ли получить образ докера Databricks/spark с базой данных в нем? Я также хотел бы загрузить базу данных при запуске, чтобы создать кучу таблиц.
Нет — Databricks — это не база данных, а размещенная служба (PaaS). Теоретически можно использовать OSS Spark с запущенным на нем Thriftserver, но строки подключения и прочий функционал будут сильно отличаться, так что нет смысла тратить на него время (imho). Реальное решение будет зависеть от типа тестов, которые вы хотите выполнить.
Что касается начальной загрузки базы данных и создания набора таблиц - просто введите эти команды, например, create database if not exists
или create table if not exists
, когда ваше приложение запускается (точный синтаксис см. документация)
Я так не думаю, даже если вы сможете подключиться, строка подключения будет сильно отличаться
Я бы хотел контейнер, в котором я мог бы использовать тот же драйвер Simba Jdbc. Смогу ли я подключиться к Thrift, используя это?