Дискретизированные потоки (D-Stream) — это подход, который обрабатывает потоковые вычисления как серию детерминированных пакетных вычислений на небольших временных интервалах.
Scala — это язык программирования общего назначения, ориентированный главным образом на виртуальную машину Java. Разработанный для краткого, элегантного и типобезопасного выражения общих шаблонов программирования, он объединяет в себе императивные и функциональные…
Apache Spark — это механизм распределенной обработки данных с открытым исходным кодом, написанный на Scala, предоставляющий пользователям унифицированный API и распределенные наборы данных как для пакетной, так и для потоковой обработки. Сценарии использования Apache…
Spark Streaming — это расширение основного API Apache Spark, которое обеспечивает высокопроизводительную и отказоустойчивую потоковую обработку потоков данных в реальном времени. Начиная с версии 1.3.0, он поддерживает семантику однократной обработки даже при сбоях.
Модульное тестирование — это метод, с помощью которого тестируются отдельные единицы исходного кода, чтобы определить, подходят ли они для использования.
Асинхронное программирование — это стратегия откладывания операций с высокой задержкой или низким приоритетом, обычно в попытке улучшить производительность, скорость отклика и / или компонуемость программного обеспечения. Такие стратегии обычно используются с…