Databricks — автоматический параллелизм и Spark SQL
У меня есть общий вопрос о ячейках Databrick и автоматическом параллелизме с Spark SQL. У меня есть сводная таблица, в которой есть ряд полей, большинство из которых имеют сложную логику.
Если я помещу блоки (% SQL) логики отдельных полей в отдельные ячейки, будет ли планировщик автоматически пытаться выделить ячейки для разных узлов в кластере для повышения производительности (в зависимости от того, сколько узлов в моем кластере)? В качестве альтернативы их функции PySpark я могу использовать для организации параллельного запуска самостоятельно? Я не могу найти много об этом в другом месте ...
Я использую LTS 10.4 (Spark 3.2.1 Scala 2.12)
Большое спасибо Ричард
Ответы 1
Если вы пишете код Python «pyspark» для нескольких ячеек, существует нечто, называемое «ленивым выполнением», что означает, что фактическая работа происходит только в последний возможный момент (например, когда данные записываются или отображаются). Поэтому, прежде чем вы запустите, например, display(df), в кластере не выполняется никакой фактической работы. Так что технически здесь код из нескольких ячеек кода эффективно распараллелен.
Однако в Databricks Spark SQL одна ячейка выполняется до завершения, прежде чем будет запущена следующая. Если вы хотите запускать их одновременно, вы можете взглянуть на запуск нескольких блокнотов одновременно (или нескольких параметризованных экземпляров одного и того же блокнота) с помощью dbutils.notebook.run(). Затем кластер автоматически разделит ресурсы равномерно между теми запросами, которые выполняются одновременно.