RedDeveloper
Блог
Вопросы
Теги
Вопросы на собеседовании Amazon Emr
Изучите нашу коллекцию (Топ-100) часто задаваемых вопросов по теме
amazon-emr
при собеседовании на работу и будьте во всеоружии.
Вопросы на собеседовании
Топ 15
Топ 20
Топ 25
Топ 30
Топ 50
Топ 100
Все вопросы
1
Ошибка pyspark не существует в ошибке jvm при инициализации SparkContext
2
AWS EMR: параметр синтаксического анализа ошибки: ожидается: '=', получено: 'EOF' для ввода:
3
Как запустить 2 EMR Spark Step одновременно?
4
AWS CLI EMR получить идентификатор экземпляра главного узла и пометить его
5
Блокноты EMR устанавливают дополнительные библиотеки
6
Каков правильный синтаксис для запуска сценария bash в качестве шага в EMR?
7
Как убить контейнер YARN для проверки сценариев сбоя
8
Создайте запись A в CloudFormation для частного IP-адреса главного узла EMR
9
Создание кластера EMR с использованием запуска dag Airflow. После выполнения задачи EMR будет прекращен
10
Поддерживает ли искра s3n конечную точку, аналогичную s3a
11
Как подключиться Из EMR к GCS
12
EMR conf настройки искры по умолчанию
13
Таблицы, не найденные в Spark SQL после перехода с EMR на AWS Glue
14
Поведение автоматического масштабирования EMR с несколькими правилами масштабирования на узлах задач
15
Как установить livy.server.session.timeout на ускорение кластера EMR?
16
Org.apache.flink.client.program.ProgramInvocationException: не удалось получить результат выполнения
17
Не удается получить SparkContext в новом кластере AWS EMR
18
Python pip install pyarrow error, невозможно выполнить cmake
19
Как запустить master и slave на EMR
20
Как подключить Spark к драйверу JDBC в Zeppelin?
21
Ошибка шифрования локального диска AWS EMR
22
Как автоматически завершить работу кластера AWS EMR через некоторое время
23
Структурированная потоковая передача не будет записывать DF в приемник файлов, поскольку /_spark_metadata/9.compact не существует
24
Как *безопасно* установить приватный пакет python из github в загрузочный скрипт AWS EMR
25
Зачем нам HDFS на EMR, когда у нас есть S3
26
Aws: кластер EMR дает сбой «ОШИБКА UserData: ошибка при попытке получить данные пользователя» при отправке задания Spark
27
EmrOptimizedSparkSqlParquetOutputCommitter не найден
28
Предоставление узлов EMR с помощью пользовательских файлов
29
Задача создания EMR и основные узлы не могут быть указаны как «Макс. по запросу» для спотовой цены
30
Как предотвратить создание ведра, если его нет в искре на emr
31
Как запустить поток заданий boto3 run в пробном прогоне
32
В истории приложений пряжи отображается работающее задание, но я не могу его найти
33
Можно ли указать количество мапперов-редукторов при использовании s3-dist-cp?
34
Как указать конфигурацию Spark при работе в EMR?
35
Причина: YARN убил контейнер из-за превышения лимита памяти. 24,1 ГБ из 24 ГБ физической памяти
36
Как добавить функции из пользовательских JAR-файлов в кластер EMR?
37
Скопируйте файлы из S3 в EMR локально с помощью Lambda
38
Какова стандартная практика добавления пользовательских переменных среды в AWS EMR?
39
Как я могу использовать графические кадры с pyspark в AWS EMR?
40
Завершение кластера emr воздушного потока вызывается до завершения шага
41
EMR всегда дает мне класс, не найденный для приложения Scala
42
Программа потоковой передачи Amazon EMR MapReduce завершена из-за ошибок
43
Включение веб-интерфейса Spark в AWS EMR
44
Заархивированные данные в S3, которые необходимо использовать для машинного обучения в EMR или Redshift
45
Как остановить Spark Structured Streaming от заполнения HDFS
46
EMR 5.21, Spark 2.4 — зависимость Json4s нарушена
47
AWS Data Pipeline не создает все подчиненные/основные узлы экземпляров
48
Как отслеживать Apache Flink в AWS EMR (ElasticMapReduce)?
49
Несоответствие версии Scala в Amazon EMR Flink
50
Возможность включения каталога клея для Presto/Spark в EMR с использованием Terraform
51
Как установить количество редукторов на EMR
52
Hive Vertex не удалось, vertexName=Map 2 при работе на EMR для больших файлов
53
Есть ли способ использовать конфигурацию жизненного цикла sagemaker для запуска кластера EMR при запуске ноутбука?
54
При использовании пользовательского AMI происходит сбой подготовки AWS EMR
55
Рекомендации по планированию Spark Streaming
56
Отметка времени Hive ошибочна как двоичная
57
Aws emr с планировщиком пряжи
58
Использование очереди простоя в планировщике емкости - EMR
59
Как отправить задания Spark в кластер EMR из Airflow?
60
AWS EMR 5.20 и поддержка версии Java
61
Использование AWS EMRFS в apache spark, размещенном на ec2
62
AWS Create EMR с помощью автомасштабирования boto3 работает некорректно
63
В AWS ежедневно запускайте команду интерфейса командной строки AWS
64
AWS EMR импортирует файл pyfile из S3
65
Пользовательское разделение Kinesis на S3
66
Где установить Sqoop в кластере Amazon EMR?
67
Приложение Livy No YARN обнаруживается с тегом livy-batch-10-hg3po7kp за 120 секунд
68
Правильный способ перезапуска службы presto-server на EMR
69
Невозможно загрузить данные в свинью на EMR из ведра S3 (паркетный файл)
70
Elsaticsearch 6.3.1 предоставляет разные результаты в облаке и локально, несмотря на использование dfs_query_then_fetch. Запрос с использованием пакета Python elasticsearch
71
FileNotFoundException (stderr & stdout) при отправке JAR в Spark в среде EMR
72
Как запустить локальный скрипт Python в удаленном кластере Spark?
73
Эквивалент перекрестного применения в Hive?
74
Где журналы приложения YARN хранятся в EMR перед отправкой в S3
75
Потоковая передача Amazon EMR и Spark
76
Файловая система AWS EMR s3a не найдена
77
Кластер ЭМИ как удалить
78
Плюсы и минусы Amazon SageMaker VS. Amazon EMR для развертывания моделей глубокого обучения на основе TensorFlow?
79
Вопрос о плане перехода на сложный конвейер данных
80
Подключитесь к presto из java с ключом .ppk и выполните простой запрос
81
Spark 2.3.1 AWS EMR не возвращает данные для некоторых столбцов, но работает в Athena / Presto и Spectrum
82
Python 3 и тензорный поток на AWS EMR
83
AWS EMR не генерирует NameNode FsImage
84
Запись SPARK в папку s3 приводит к тому, что соединение должно быть в состоянии CLOSE_WAIT в AWS EMR с номером порта: 4040
85
EC2 EMR не выполняет проблемы, искра-отправка не найдена
86
Сохранение фрейма данных в локальной файловой системе приводит к пустым результатам
87
Поддержка Amazon EMR S3A
88
Создание кластера AWS EMR с шагом искры с использованием лямбда-функции завершается ошибкой: «Локальный файл не существует»
89
Использование экземпляра MySQL в кластере AWS EMR
90
Статус задания Spark, запущенного в Amazon EMR в режиме RESTful
91
Использование Sqoop для переноса таблиц из MySQL в Hive по расписанию с помощью удаленно установленного Airflow
92
Конфигурация настроек программного обеспечения AWS Boto3 EMR из S3
93
Как большой набор данных загружается в облачную файловую систему (S3, HDFS), если на локальном диске недостаточно места?
94
AWS EMR - запись в S3 с использованием правильного ключа шифрования
95
EMR + Spark + KMS - сохранять расшифрованные данные
96
Преобразование данных в AWS S3 в другую структуру схемы (также в S3)
97
Ошибка с ролью профиля экземпляра для EMR?
98
Spark - подключение к mysql через Zeppelin EMR
99
Как получить список инстансов для AWS EMR?
100
Из таблицы Amazon Redshift во внешнюю таблицу в S3 каждый час