Топ 100 вопросов про Amazon Emr

Коллекция из 100 самых популярных вопросов про amazon-emr с ответами и комментариями.
1Ошибка pyspark не существует в ошибке jvm при инициализации SparkContext
2Ограничения параллелизма AWS Athena: количество отправленных запросов VS количество запущенных запросов
3Блокноты EMR устанавливают дополнительные библиотеки
4Сохранение фрейма данных в локальной файловой системе приводит к пустым результатам
5Не удается получить SparkContext в новом кластере AWS EMR
6Как установить livy.server.session.timeout на ускорение кластера EMR?
7Структурированная потоковая передача не будет записывать DF в приемник файлов, поскольку /_spark_metadata/9.compact не существует
8Python pip install pyarrow error, невозможно выполнить cmake
9Amazon emr jupyterhub и искровой кластер; в записной книжке нет автозаполнения
10AWS EMR: параметр синтаксического анализа ошибки: ожидается: '=', получено: 'EOF' для ввода:
11Как создать прокси-сервер для просмотра задания в пользовательском интерфейсе AWS Glue Spark?
12Как автоматически завершить работу кластера AWS EMR через некоторое время
13EMR conf настройки искры по умолчанию
14В чем разница между EMR_EC2_DefaultRole и EMR_DefaultRole?
15Проблема с каталогом данных AWS Glue в качестве хранилища метастазов для Spark SQL в EMR
16Потоковая передача Amazon EMR и Spark
17Как запустить 2 EMR Spark Step одновременно?
18Могут ли задачи также выполняться на главном узле при запуске задания Spark в режиме кластера в EMR?
19Учетные данные для доступа к EMR Jupyter Notebook
20Чтение сжатого Zstandard файла в Spark 2.3.0
21Динамический раздел Spark 2.3 Не работает на S3 AWS EMR 5.13.0
22Aws: кластер EMR дает сбой «ОШИБКА UserData: ошибка при попытке получить данные пользователя» при отправке задания Spark
23Отправка скрипта pyspark на удаленный сервер Spark?
24Как отправить задания Spark в кластер EMR из Airflow?
25AWS EMR 5.20 и поддержка версии Java
26Плюсы и минусы Amazon SageMaker VS. Amazon EMR для развертывания моделей глубокого обучения на основе TensorFlow?
27Aws - Как добавить несколько коннекторов postgresql в EMR через файл конфигурации
28Как я могу использовать графические кадры с pyspark в AWS EMR?
29Как получить доступ к общедоступной корзине S3 из другой учетной записи AWS?
30Spark Streaming Kinesis на EMR выдает ошибку «Ошибка при сохранении блока в Spark»
31Как перенастроить spark / hadoop для чтения файлов, начинающихся с "_" (подчеркивание)?
32Каков правильный синтаксис для запуска сценария bash в качестве шага в EMR?
33Python Connect to Hive на EMR
34Как одновременно запускать задания Spark в одном кластере AWS EMR?
35Странные ошибки импорта Python
36От Google Cloud Bigtable до AWS EMR (HBase)
37Время сеанса записной книжки EMR истекает в течение нескольких секунд (с использованием pyspark) на большом фрейме данных (pyspark)
38Как читать большие zip-файлы в pyspark
39Укажите минимальное количество сгенерированных файлов из вставки Hive
40EMR 5.21, Spark 2.4 — зависимость Json4s нарушена
41Как отслеживать Apache Flink в AWS EMR (ElasticMapReduce)?
42Искра не удалась - время ожидания фьючерсов истекло
43Поведение автоматического масштабирования EMR с несколькими правилами масштабирования на узлах задач
44Как запустить задание Spark в EMR через Cloudformation
45Org.apache.flink.client.program.ProgramInvocationException: не удалось получить результат выполнения
46Пользовательское разделение Kinesis на S3
47Попытка установить pandas для Pyspark, работающего на Amazon EMR
48Не удалось открыть SSH-туннель к главному узлу EMR
49Задание пакетной обработки (Spark) с таблицей поиска, которая слишком велика для размещения в памяти
50Как убить контейнер YARN для проверки сценариев сбоя
51Как добавить функции из пользовательских JAR-файлов в кластер EMR?
52Воздушный поток Emr Dag прошел успешно, но кластер не запущен
53Не могу применить pandas_udf в pyspark
54Относительный путь в абсолютном исключении URI при доступе к DynamoDB через каталог данных Glue в PySpark, работающем на EMR
55Запись S3 из Spark периодически завершается сбоем с кодом ошибки 404 NoSuchKey
56Можно ли добавить дополнительные банки к основным/рабочим узлам ПОСЛЕ отправки искры во время выполнения?
57Создание кластера EMR с использованием запуска dag Airflow. После выполнения задачи EMR будет прекращен
58Apache Spark: как читать миллионы (5+ миллионов) небольших файлов (по 10 КБ каждый) из S3
59Воздушный поток DAG EMR EmrCreateJobFlowOperator Ничего не делает
60Как указать временную директорию Spark в другую файловую систему в EMR
61Приложение Livy No YARN обнаруживается с тегом livy-batch-10-hg3po7kp за 120 секунд
62Правильный способ перезапуска службы presto-server на EMR
63Aws emr не может изменить python pyspark по умолчанию при загрузке
64Использование Redshift JDBC Jar в отправке искры не позволяет искре подключаться к каталогу Glue
65Pyspark - разделите большой текстовый файл на несколько файлов
66Отправить задание pyspark с виртуальной средой с помощью livy в AWS EMR
67RandomSplit pyspark Изменяет значения фрейма данных
68Кластер ЭМИ как удалить
69Диспетчеры задач Flink не запускаются, пока задание не будет отправлено в кластер YARN
70Какое количество разделов в искре зависит от количества исполнителей и потоков?
71Spark 2.3.1 AWS EMR не возвращает данные для некоторых столбцов, но работает в Athena / Presto и Spectrum
72AWS CLI EMR получить идентификатор экземпляра главного узла и пометить его
73Приложение Spark не может успешно работать в EMR с YARN
74Приложение Spark внезапно УБИРАЕТСЯ в EMR через 1 час и истекает срок действия сеанса livy. В чем причина и решение?
75Tensorflow сокрушает JVM на amazon EMR 5.16
76AWS EMR не генерирует NameNode FsImage
77Oozie fs действие против S3, не обновляющего ключи в МАНИФЕСТАХ (хранилище метаданных DynamoDB - emrfs не синхронизируется) для хранилища S3
78Действие начальной загрузки AWS EMR как sudo
79Интеграция Presto-Glue-EMR: presto-cli дает исключение NullPointerException
80Повышение вычислительной производительности Spark ML ALS
81Как устранить ошибку агрегирования журналов не завершено или не включено в журналах YARN
82Чтение схемы Multilple json с помощью Spark
83Spark - подключение к mysql через Zeppelin EMR
84Как рассчитывается общий объем памяти YARN ResourceManager?
85Установка Flink EMR
86Ssh: подключиться к хосту ec2-xxxxxxxx.compute-1.amazonaws.com порт 22: в подключении отказано
87PySpark: нет модуля с именем psycopg2._psycopg
88Начальная загрузка EMR при установке модулей Python - действие начальной загрузки 1 вернуло ненулевой код возврата
89Выполнение нескольких одинаковых заданий на отправку искры для пряжи
90Сохранение, монтирование и совместное использование томов в EMR
91Настройка Spark Thrift Server на AWS EMR для подключения JBDC / ODBC
92Apache Sedona в версии EMR > 6.9.0: объект JavaPackage не может быть вызван
93Оставить сеанс Hive открытым EMR
94Почему Spark намного быстрее читает каталог по сравнению со списком путей к файлам?
95Pyspark транслируется от Кафки к Худи
96Amazon EMR против Amazon Redshift
97Не может иметь столбцы типа карты в DataFrame, которые вызывают операции набора
98Как предотвратить создание ведра, если его нет в искре на emr
99Как убедиться, что все основные узлы EMR всегда содержат файл хранилища ключей?
100Можно ли дождаться завершения работы кластера EMR?