Как обрабатывать изображения в hadoop с помощью python?

Моя цель - применить фреймворк map-reduce к изображениям кластера с помощью фреймворка hadoop. Для map-reduce я использую программирование на Python, язык и пакет MRJOB, но я не могу создать логику обработки изображений. Как будто у меня есть изображения в формате .tif. У меня есть вопросы

  1. Как сохранить (формат хранения) изображения в hdfs, чтобы получить их для map-reduce в python.
  2. я не получаю ввод / вывод конвейер для использования python и hadoop

Почему бы не использовать PySpark? Тогда можно использовать Tensorflow

OneCricketeer 10.09.2018 16:22

Но даже для pyspark мне пришлось бы хранить и извлекать данные из hdfs. Вопрос в том, как именно будет храниться изображение. В каком формате?

Alay Majmudar 10.09.2018 20:59

Hadoop - это не база данных. Вы можете хранить необработанные JPG, TIF, PNG, что угодно ... если вы архивируете много изображений, поскольку SequenceFile или Bzip2 могут быть лучше, но только для сжатия

OneCricketeer 10.09.2018 21:47

Как я могу добиться этого с помощью Python? Например, как получить доступ к заполнению hdfs непосредственно в Python?

Alay Majmudar 10.09.2018 22:11

У Spark есть API для этого. spark.apache.org/docs/latest/api/python/… В противном случае wesmckinney.com/blog/python-hdfs-interfaces

OneCricketeer 10.09.2018 23:43

Хотя большинство людей предпочли бы Scala или Java для быстрой работы с Hadoop / Spark. stackoverflow.com/questions/44890381/…

OneCricketeer 10.09.2018 23:47

Я не уверен, почему вы, по сути, публикуете один и тот же вопрос несколько раз. Как я уже упоминал, Spark может читать файлы как необработанные двоичные файлы. Вы не «загружаете двоичный код» в Hadoop (в любом случае все файлы уже являются просто двоичными данными, некоторые просто имеют дополнительные метаданные). Вы можете прочитать это для идей stackoverflow.com/questions/tagged/…

OneCricketeer 11.09.2018 08:46

Большое спасибо за все ваши советы и предложения. В другом вопросе я просто немного пояснил, что я исследовал и сделал. В этой теме я просил общего исследования по теме

Alay Majmudar 11.09.2018 11:41
1
8
430
0

Другие вопросы по теме