Предупреждение: «невозможно загрузить библиотеку native-hadoop для вашей платформы»

Это мой первый вопрос о переполнении стека, поэтому прошу прощения за допущенные ошибки !!

Я с экосистемой hadoop ...

Сделал первые две установки ... и:

1) Первая установка на ubuntu 16.04 LTS .. hadoop 2.8.4 (загружено с сайта apache) установлен в режиме псевдокластера, 1 узел ... до сих пор ... все мысли работают нормально.

в / opt / hadoop / lib / native вот это:

total 5024
    4096 May  7 23:58 .
    4096 May  7 23:58 ..
    4096 May  7 23:58 examples
 1439746 May  7 23:58 libhadoop.a
 1632592 May  7 23:58 libhadooppipes.a
      18 May  7 23:58 libhadoop.so -> libhadoop.so.1.0.0
  841925 May  7 23:58 libhadoop.so.1.0.0
  476106 May  7 23:58 libhadooputils.a
  446548 May  7 23:58 libhdfs.a
      16 May  7 23:58 libhdfs.so -> libhdfs.so.0.0.0
  281612 May  7 23:58 libhdfs.so.0.0.

2) Вторая установка на ubuntu 16.04 LTS, 3-узловой серверный кластер hadoop 2.6.0 chd 5.15.1 (загружен из тарбола cloudera CDH5)

У меня есть сообщение «Невозможно загрузить библиотеку native-hadoop для вашей платформы» ПРЕДУПРЕЖДЕНИЕ. и обнаружил, что / opt / hadoop / lib / native es пусто !!!

Я нахожу только указания скачать исходник и перекомпилировать ...

Почему библиотеки находятся в версии 2.8 сайта apache, а не в этом дистрибутиве CDH ?? Как мне их получить? Можете ли вы направить меня? Большое спасибо !

Эрнесто

Cloudera не обязательно должна включать собственные библиотеки ... Не уверен, почему вы все равно хотите использовать старую версию Hadoop, но, как вы обнаружили, вам нужно скомпилировать их, поэтому любой источник, который вы найдете, сказал, что должен сказать тебе, как тоже

OneCricketeer 14.09.2018 05:41

Для первых тестов скачал версию 2.8. Но поскольку я планирую добавить другие продукты набора (улей и т. д.), Я подумал, что лучше установить набор продуктов, уже протестированных вместе, поэтому я продолжил с cdh 5.15 ... Кроме того, как и в 2.8, библиотеки были в набора, я предположил, что они также должны быть в других дистрибутивах. Ну ладно, я разберусь, как их скомпилировать! ... Спасибо за ответ !

ernie 14.09.2018 14:45

Совсем недавно я использовал Hortonworks, а не Cloudera, но для меня имеет смысл, что они просто предлагают программное обеспечение, протестированное вместе, не гарантируя, что доступны библиотеки C для конкретных ЦП.

OneCricketeer 14.09.2018 20:42

дать согласие !. спасибо за комментарий!

ernie 16.09.2018 14:07
0
4
225
0

Другие вопросы по теме