AWS devendpoint Zepelin Notebook без редактора скриптов
У меня возникла дилемма преобразования файла .json в формат файла, который необходимо загрузить в AWS Redshift.
Я следил за этими статьями, чтобы продолжить:
https://github.com/aws-samples/aws-glue-samples/blob/master/examples/join_and_relationalize.md
Согласно инструкциям в обеих статьях, ноутбук DevEndpoint должен быть запущен. Однако мне удалось его создать, я не могу выполнять какие-либо запросы, потому что не могу найти ни одного редактора сценариев, как показано ниже.
Нажмите, чтобы увидеть изображение проблемы
Мне не хватает какой-либо конфигурации?
Мне нужно преобразовать файлы JSON, а я еще не на полпути.
Ответы 1
Как вы настроили конечную точку разработчика? Это предоставленный AWS Glue сервер Dev Endpoint или записная книжка с локальной настройкой? Может помочь с вашей проблемой, если будет предоставлена дополнительная информация.
В любом случае, обратитесь к здесь и настройка цеппелина на окнах за любой помощью по настройке локальной среды разработки и записной книжки zeppelin.
После настройки записной книжки zeppelin установите SSH-соединение (с использованием URL-адреса AWS Glue DevEndpoint), чтобы получить доступ к каталогу данных / поисковым роботам и т. д., А также к корзине S3, в которой находятся ваши данные. Затем вы можете создавать свои сценарии Python в записной книжке zeppelin и запускать их из zeppelin.
Вы можете использовать экземпляр разработчика, предоставленный Glue, но вы можете понести дополнительные расходы (плата за экземпляр EC2).
Настройки среды (обновлено в ответ на комментарии):
JAVA_HOME=E:\Java7\jre7
Path=E:\Python27;E:\Python27\Lib;E:\Python27\Scripts;
PYTHONPATH=E:\spark-2.1.0-bin-hadoop2.7\python;E:\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip;E:\spark-2.1.0-bin-hadoop2.7\python\lib\pys
park.zip
SPARK_HOME=E:\spark-2.1.0-bin-hadoop2.7
Соответственно измените имя диска / папки. Сообщите мне, если понадобится помощь.
С Уважением
Убедитесь, что сервер zeppelin запущен ... «Откройте командную строку и запустите Zeppelin, выполняя zeppelin.cmd на Диске: \ ZEPELLIN_DIR \ bin \ zeppelin.cmd» (для Windows). После запуска сервера вы должны увидеть после серии журналов консоли, последнюю строку о запуске сервера zeppelin и прослушивании 8080. Убедитесь, что нет конфликта портов для 8080, в этом случае вам может потребоваться изменить номер порта zeppelin.
Спасибо. Я уже запустил его в cmd и уже получил сообщение ниже .. в java.base / java.lang.ClassLoader.loadClass (Неизвестный источник) ... 32 дополнительная информация [2018-05-22 12: 47: 51,426] ({ main} AbstractConnector.java [doStart]: 266) - Запущен ServerConnector @ 2102a4d5 {HTTP / 1.1} {0.0.0.0:8080} INFO [2018-05-22 12:47: 51,428] ({main} Server.java [ doStart]: 379) - Запуск @ 292 35 мс INFO [2018-05-22 12:47: 51,429] ({main} ZeppelinServer.java [main]: 197) - Готово, сервер z eppelin запущен, я попытался подключить оба 0.0.0.0 : 8080 и localhost: 8080 по-прежнему не работают ..
Похоже, настройки пути java / spark / hadoop. См. Мой обновленный ответ о настройках среды и убедитесь, что Java обнаружена.
Спасибо. Я развернул его в AWS Glue, чтобы избежать необходимости настройки. Я попытался установить его на свой локальный компьютер, но локальный: 8080 говорит, что сервис недоступен. В чем проблема? Благодарность!