Apache Spark против MapReduce
Я искал различия между Spark и MapReduce, и все, что я действительно обнаружил, это то, что Spark работает в памяти и на диске, что делает его значительно быстрее.
Я также читал, что MapReduce лучше подходит для действительно огромных наборов данных только потому, что на диск можно загрузить гораздо больше данных, чем в память?
Но, по-видимому, со Spark вы все равно перемещаете данные между памятью и диском, поэтому, если вам не хватает места в памяти, вы перемещаете некоторые обратно на диск, а затем вводите новые данные для обработки.
В принципе, есть ли реальная причина использовать MapReduce больше?
@ cricket_007, так что похоже, что Spark в целом лучше, чем MapReduce. Но когда я изучил это, я увидел, что люди говорят, что MapReduce лучше для действительно огромных наборов данных, и я действительно не понимаю, как это может быть, когда Spark также может использовать диск, но также использует оперативную память. Это всего лишь обучающее упражнение, я ни одно не реализовал.
Дело в том, что MapReduce + Tez будет высвобождать ресурсы в качестве промежуточных задач. Spark будет хранить всю группу DAG выполнения в памяти, даже если вы не используете части предыдущих результатов.
Ответы 1
Насколько мне известно, вот простые и редкие разрешения для Spark и Hadoop Map Reduce:
Hadoop Map Reduce - это пакетная обработка.
В HDFS большая задержка. Вот полное объяснение Hadoop MapReduce и Spark:
http://commandstech.com/basic-difference-between-spark-and-map-reduce-with-examples/
Искра:
В Spark идет потоковая обработка.
Низкая задержка из-за RDD.
Spark и Hadoop Map Reduce используются для обработки огромных данных с меньшим количеством кода.
Вам также следует взглянуть на Tez, который можно использовать вместо MapReduce, и в некоторых тестах он лучше, чем Spark .... В конце концов, ответ таков: это зависит от вашего варианта использования ... Вы занимаетесь машинным обучением, или SQL, запросы графика или потоковая передача? Тогда используйте Spark. Вы просто манипулируете некоторыми наборами данных или выполняете операцию, для которой просто не можете использовать Spark? Или вы поддерживаете старый код? Затем MapReduce