Как загрузить и выполнить скрипт Python в Hue?
Я новый пользователь Hadoop и пытаюсь запустить скрипт Python через интерфейс Hue.
После некоторого поиска я нашел решение на форуме cloudera:
где на плакате говорилось: «Решение заключалось в том, чтобы поместить скрипт python в Hue -> Query -> Editor -> Spark в поле Libs с полным путем к примеру скрипта python: Libs: /user/userxyz/myscript.py и запустить запрос. Щелчок по ссылке job_xxxxx покажет, был ли скрипт выполнен успешно или нет. "
Однако я не могу понять, как загрузить и затем выполнить мой скрипт Python в распределенной файловой системе Hadoop. В интерфейсе Hue, похоже, нет функции HDFS, которая отображает мой корень и позволяет загружать файлы. Могу ли я загрузить свой сценарий Python в виде текстового файла со своего рабочего стола или есть редактор в Hue?
Ответы 2
Сценарии Python, вероятно, следует запускать из задачи сценария Oozie с помощью python script.py и присоединять ссылку на файл HDFS к задаче рабочего процесса.
Если у вас нет кода Spark, вам не следует использовать для него Spark Notebook Editor.
is there an editor in Hue?
Если вы щелкнете по любому документу в файловом браузере, файл будет загружен в файловую систему сервера Hue, а затем повторно загружен, поэтому лучше редактировать и загружать файлы самостоятельно.
Hue interface doesn't seem to have an HDFS feature that displays my root & allows file uploads
В INI есть параметр конфигурации, который позволяет загружать файлы что верно по умолчанию. Если у вас полностью отключен файловый браузер или даже старая версия Hue, скорее всего, его там нет.
Да, конечно, вы можете использовать PySpark. Но есть и другие библиотеки Python для использования Hive, HBase или HDFS.
Вы можете написать сценарий Python в HUE и сохранить файл как myScript.py.
Например, чтобы использовать python и распределенную файловую систему, вам необходимо установить pySpark.
Затем вы можете перейти в редактор Oozie и выбрать Spark Action. В поле Jar/py name вы должны указать myScript.py. В качестве АРГУМЕНТЫ вы должны указать путь, по которому установлен pySpark (python Api). Также в ФАЙЛЫ вы должны указать путь, по которому сохраняется myScript.py.
Спасибо за быстрый ответ! Это полезно. Я связался с сотрудниками службы управления данными моей компании, и они порекомендовали использовать PySpark для обработки скрипта Python на Hadoop.