Топ 30 вопросов про Amazon Emr

Коллекция из 30 самых популярных вопросов про amazon-emr с ответами и комментариями.
1Ошибка pyspark не существует в ошибке jvm при инициализации SparkContext
2Ограничения параллелизма AWS Athena: количество отправленных запросов VS количество запущенных запросов
3Блокноты EMR устанавливают дополнительные библиотеки
4Сохранение фрейма данных в локальной файловой системе приводит к пустым результатам
5Не удается получить SparkContext в новом кластере AWS EMR
6Как установить livy.server.session.timeout на ускорение кластера EMR?
7Структурированная потоковая передача не будет записывать DF в приемник файлов, поскольку /_spark_metadata/9.compact не существует
8Python pip install pyarrow error, невозможно выполнить cmake
9Amazon emr jupyterhub и искровой кластер; в записной книжке нет автозаполнения
10AWS EMR: параметр синтаксического анализа ошибки: ожидается: '=', получено: 'EOF' для ввода:
11Как создать прокси-сервер для просмотра задания в пользовательском интерфейсе AWS Glue Spark?
12Как автоматически завершить работу кластера AWS EMR через некоторое время
13EMR conf настройки искры по умолчанию
14В чем разница между EMR_EC2_DefaultRole и EMR_DefaultRole?
15Проблема с каталогом данных AWS Glue в качестве хранилища метастазов для Spark SQL в EMR
16Потоковая передача Amazon EMR и Spark
17Как запустить 2 EMR Spark Step одновременно?
18Могут ли задачи также выполняться на главном узле при запуске задания Spark в режиме кластера в EMR?
19Учетные данные для доступа к EMR Jupyter Notebook
20Чтение сжатого Zstandard файла в Spark 2.3.0
21Динамический раздел Spark 2.3 Не работает на S3 AWS EMR 5.13.0
22Aws: кластер EMR дает сбой «ОШИБКА UserData: ошибка при попытке получить данные пользователя» при отправке задания Spark
23Отправка скрипта pyspark на удаленный сервер Spark?
24Как отправить задания Spark в кластер EMR из Airflow?
25AWS EMR 5.20 и поддержка версии Java
26Плюсы и минусы Amazon SageMaker VS. Amazon EMR для развертывания моделей глубокого обучения на основе TensorFlow?
27Aws - Как добавить несколько коннекторов postgresql в EMR через файл конфигурации
28Как я могу использовать графические кадры с pyspark в AWS EMR?
29Как получить доступ к общедоступной корзине S3 из другой учетной записи AWS?
30Spark Streaming Kinesis на EMR выдает ошибку «Ошибка при сохранении блока в Spark»