Но это работает при запуске C:...\cwd> python SimpleApp.py это код из https://spark.apache.org/docs/latest/quick-start.html «Автономное приложение»
поместил setup.py и SimpleApp.py
код setup.py:
from setuptools import setup, find_packages
setup(
name='my-spark-project',
version='0.1',
packages=find_packages(),
install_requires=[
'pyspark==3.5.1'
# Add other dependencies here
],
)
Код SimpleApp.py:
"""SimpleApp.py"""
from pyspark.sql import SparkSession
logFile = "C:\\apache-spark\\README.md" # Should be some file on your system
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
logData = spark.read.text(logFile).cache()
numAs = logData.filter(logData.value.contains('a')).count()
numBs = logData.filter(logData.value.contains('b')).count()
print("Lines with a: %i, lines with b: %i" % (numAs, numBs))
spark.stop()
и я выполнил
> pip install .
> spark-submit --master local[*] SimpleApp.py
результат такой: Python24/04/05 14:22:35 ИНФО ShutdownHookManager: вызвана ловушка завершения работы 24.04.05 14:22:35 ИНФО ShutdownHookManager: Удаление каталога C:\Users\hendr\AppData\Local\Temp\spark-e91e861f-3f9b-4e18-b064-44bee42a2fb0
Я сделал именно так, как написано в документе
Я не совсем уверен, но, возможно, вы могли бы попробовать два разных подхода:
1. используйте findspark: импорт findspark.init("C:\spark")
--> pip install findspark. https://pypi.org/project/findspark/
2. найдите путь отправки искры: путь/к/вашему/spark-submit --master local[*] SimpleApp.py