Почему spark медленнее по сравнению со sqoop, когда речь идет о jdbc?

Spark работает быстро, когда умеет распараллеливать запросы. Если вы просто выполняете один запрос, Spark не знает, что делать. Вы можете улучшить скорость, используя параметры lowerBound, upperBound, numPartitions при чтении данных с помощью spark.read.jdbc, но на самом деле это зависит от дизайна ваших таблиц.

Вы можете найти дополнительную документацию здесь.

Основная мысль уже освещена в ответе Алекса.

Я просто хотел добавить пример,

from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local[4]").appName("Test-JDBC").getOrCreate()

ds = spark.read.jdbc("jdbc:mysql://localhost:3306/stackexchange", "(select min(id), max(id) from post_history) as ph",
                     properties = {"user": "devender", "password": "*****", "driver": "com.mysql.jdbc.Driver"})

r = ds.head()
minId = r[0]
maxId = r[1]

ds = spark.read.jdbc("jdbc:mysql://localhost:3306/stackexchange", "(select * from post_history) as ph",
                     properties = {"user": "devender", "password": "*****", "driver": "com.mysql.jdbc.Driver"},
                     numPartitions=4, column = "id", lowerBound=minId, upperBound=maxId)

count = ds.count()
print(count)

Для получения дополнительной информации https://gist.github.com/devender-yadav/5c4328918602b7910ba883e18b68fd87

Примечание. Sqoop автоматически выполняет граничный запрос для получения минимального и максимального значения для столбца разделить на (этот запрос также можно переопределить).