Я планирую перейти с платформы Hortonworks Data [HDP] (версия 2.6.x) на HDP 3.0. Но, похоже, есть некоторые серьезные ошибки в Apache Spark 2.3.x и его интеграции с Hadoop 3.0, которые до сих пор не устранены в проблемах Apache Spark JIRA. Хотя команда разработчиков Spark работает над их устранением. Есть ли у этих проблем обходные пути / решения, разработанные командой Hortonworks, или они все еще существуют в HDP 3.0?
Некоторые нерешенные проблемы, касающиеся моего варианта использования:
Здравый смысл: придерживайтесь времени выполнения Spark, которое поставляется с HDP, поскольку оно прошло через батарею NRT; и прочтите их примечания к выпуску об известных проблемах. И если вы слишком дешевы, чтобы платить им за поддержку, что ж, вам придется попробовать это самостоятельно ... Это правило этой игры.
Ничего не упоминается о вышеупомянутых проблемах в разделе Известные проблемы в примечаниях к выпуску HDP 3.0 @SamsonScharfrichter.
Все 3 вопроса "не назначены", а это значит, что никому нет дела ...
Проверял интеграцию с HDP Spark-2.3.1 и Hadoop - 3.0.1. Он работает отлично, и указанные выше проблемы были решены в HDP-версии Spark, но не были указаны в примечаниях к выпуску HDP-3. Проверить сообщество отвечать
Это может быть лучший вопрос для форума поддержки / сообщества Hortonworks.