Hadoop на сервере Windows
Я думаю об использовании hadoop для обработки больших текстовых файлов на моих существующих серверах Windows 2003 (около 10 четырехъядерных машин с 16 ГБ ОЗУ)
Вопросы следующие:
Есть ли хороший учебник о том, как настроить кластер hadoop в Windows?
Какие требования? java + cygwin + sshd? Что-нибудь еще?
HDFS, хорошо ли играет на windows?
Я хочу использовать hadoop в потоковом режиме. Любой совет, инструмент или трюк для разработки моего собственного преобразователя / редуктора на C#?
Что вы используете для отправки и отслеживания вакансий?
Спасибо
Ответы 3
Win32 is supported as a development platform. Distributed operation has not been well tested on Win32, so it is not supported as a production platform.
Я думаю, это означает: «Ты сам по себе».
Тем не менее, есть надежда, если вас не тошнит об установке Cygwin и прокладки Java, согласно Страница "Начало работы" вики Hadoop:
It is also possible to run the Hadoop daemons as Windows Services using the Java Service Wrapper (download this separately). This still requires Cygwin to be installed as Hadoop requires its df command.
Думаю, суть в том, что это не кажется невозможным, но вы бы все время плыли против течения. Я уже сделал несколько установок Hadoop (в Linux для производства, Mac для разработчиков), и я бы не стал беспокоиться о Windows, когда это так просто на других платформах.
Я склонен согласиться, я установил Hadoop в Windows, и это не так просто, пришлось пролистывать некоторые неприятные ошибки Java, чтобы решить некоторые проблемы с развертыванием узлов, которые я бы никому не рекомендовал. Вы можете следовать этому руководству: ссылка на сайт для хорошего процесса установки Cygwin, если вы начинаете чистую, это может быть проще. Я нашел руководство по установке Hadoop без использования Cygwin (вам просто нужно изменить несколько ссылок), похоже, не могу его раскопать, но это В самом деле неизведанная территория.
Хотя это не тот ответ, который вы, возможно, захотите услышать, я настоятельно рекомендую перепрофилировать машины, скажем, как серверы Linux, и запускать на них Hadoop. Вы извлечете пользу из учебных пособий, опыта и тестирования, проведенного на этой платформе, и потратите свое время на решение бизнес-задач, а не операционных проблем.
Однако вы все равно можете писать свои вакансии на C#. Поскольку Hadoop поддерживает «потоковую» реализацию, вы можете писать свои задания на любом языке. С помощью фреймворка Mono вы сможете взять практически любой код .NET, написанный на платформе Windows, и просто запустить тот же двоичный файл в Linux.
Вы также можете довольно легко получить доступ к HDFS из Windows - хотя я не рекомендую запускать службы Hadoop в Windows, вы, безусловно, можете запустить клиент DFS с платформы Windows для копирования файлов в распределенную файловую систему и из нее.
Что касается отправки и мониторинга заданий, я думаю, что вы в основном одни ... Я не думаю, что есть какие-либо хорошие универсальные системы, разработанные для управления заданиями Hadoop.
Спасибо за Ваш ответ. К сожалению, я не могу повторно создать образы серверов, возможно, я просто использую несколько экземпляров linux EC2. Перенос на Mono может сработать немного сложно. Лука
удачи! часть EC2 должна быть довольно простой, и, по моему опыту, большая часть кода .NET работает на Mono даже без перекомпиляции - так что, надеюсь, действительно не будет необходимости в «портировании»
Я думаю, что у Cloudera есть инструменты для управления hadoop ... судя по тому, что я видел на YouTube
Если вы ищете map / reduce, вы можете попробовать взглянуть на новую платформу MySpace map / reduce, которая работает в Windows http://qizmt.myspace.com/.
+1 за qizmt исх. Отличный вариант для начала, который прошел производственные испытания, использует существующую инфраструктуру и требует минимальных изменений.
Что-то вроде экземпляров vmware Linux, работающих в Windows, может быть менее болезненным, чем попытка использовать Windows напрямую.