Загрузите файл json в куст, используя json serde
Я пытаюсь загрузить json-файл на hadoop, используя json serde. Я загрузил jar-библиотеку в hadoop, но получаю сообщение об ошибке при выполнении команды hive
Я загрузил файл json serde jar в /apps/hive/warehouse/lib path. Теперь, когда я пытаюсь запустить эту команду
ADD JAR /apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;
я получил эту ошибку
H110 Unable to submit statement. Error while processing statement: /apps/hive/warehouse/lib/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar does not exist [ERROR_STATUS]
Ответы 2
Попробуйте использовать URL (добавьте file//) перед именем файла:
ADD JAR file///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;
Также вы должны иметь возможность добавлять jar из хранилище, если ваш Hive 1.2.0 и выше.
Используйте http://www.congiu.net/hive-json-serde/1.3.7/cdh5/json-serde-1.3.7-jar-with-dependencies.jar
Похоже, ваша банка находится в месте HDFS. Использовать:
add jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;
запустив эту команду, добавьте jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar; получение той же ошибки H110 Невозможно отправить заявление. Ошибка при обработке инструкции: /apps/hive/warehouse/lib/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar не существует [ERROR_STATUS]
Попробуйте hadoop fs -ls /apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar и подтвердите, существует ли файл
после выполнения этой команды я получил это в ядре -rw-r--r-- 3 admin hdfs 75134 2019-04-10 09:12 /apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencie с.банка
Как вы подключаетесь к улью? Работает ли Hive на той же машине, на которой вы выполнили команду hadoop fs -ls?
Попробуйте скопировать файл в локальную файловую систему, например /tmp, и попробуйте загрузить оттуда. дай мне знать, если это работает
добавьте jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar; преобразование в локальные hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar Добавлено [/tmp/6f1a54b9-65c4-4e32-8e87-25d60ef775c6_resources/json-se rde-1.3-jar-with-dependencies.jar] в путь к классу Добавлены ресурсы: [hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar] успешно добавлено спасибо
Приятно знать @user4440416!
теперь не удается загрузить файл json в куст .. опубликовано в другой теме .. если вы можете помочь
@ user4440416, посмотрите ответ
как добавить банку из репозитория? и в этой строке кода ДОБАВЬТЕ файл JAR///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar; что написать вместо файла?? какое имя файла?