Кафка против StreamSets

StreamSets — это графический инструмент, содержащий компоненты, позволяющие перемещать данные, в том числе производители и потребители Kafka, но вы не обязаны их использовать.

Они дополняют друг друга, и с помощью Kafka вы можете допустить обратное давление в системах потоковой передачи или заставить производителей/потребителей, не относящихся к StreamSet, взаимодействовать с другими темами Kafka. Нет, Kafka не перемещает данные (кроме внутренней репликации), это делают клиенты, взаимодействующие с брокерами.

Я не использовал Informatica или SSIS, но я уверен, что если бы вы связались с кем-то из StreamSets, они могли бы ответить, как они сравнивают

1) В StreamSets большую часть времени мы создаем «конвейеры данных», думаем о конвейере как о приложении, которое может состоять из нескольких шагов/задач, первая задача может считывать данные из базы данных или kafka или любого количества источников данных, вторая на шаге можно изменить данные, на третьем шаге можно запустить скрипт... и т. д. и, наконец, он может сохранить преобразованные данные в месте назначения, которое может быть базой данных, AWS... и т. д. Таким образом, Fafka и StreamSets могут работать вместе, где StreamSets может читать данные и писать в Kafka

2) Я думаю о Kafka как о месте, где собираются данные из нескольких источников и доступны для потребителей в течение определенного времени. Например, Kafka может периодически читать из таблицы базы данных и сохранять изменения в «теме», периодически читать из веб-службы, а затем сохранять эти данные в другой теме. Эти темы теперь доступны для потребителей, разработчик теперь может создать приложение, которое считывает данные из первой темы и что-то делать с данными, Kafka может отслеживать то, что читал потребитель, используя смещения, и предлагает репликацию и другие параметры. Это устраняет необходимость писать собственный код, объединяющий несколько источников и мест назначения, вместо этого вы можете настроить эту часть.

StreamSets может читать и писать в Kafka. StreamSets не хранит данные в своей собственной системе, в то время как Kafka хранит данные в течение настраиваемого периода времени.

3) SSIS похож на StreamSets тем, что он используется для создания конвейеров/пакетов, состоящих из нескольких задач, каждая задача может брать данные/результат от предыдущих задач, а затем что-то с ними делать. Как StreamSets, так и SSIS могут подключаться ко многим типам источников данных и мест назначения.

Мое личное мнение о том, чем отличаются StreamSets и SSIS:

• StreamSets основан на веб-интерфейсе, в то время как для SSIS требуется Visual Studio, графический интерфейс StreamSets проще в использовании и не требует установки специального программного обеспечения для каждого разработчика.
• Развертывание конвейеров StreamSets в рабочей среде с системой контроля версий было проще, чем пакетов SSIS.
• SSIS — это продукт Microsoft, поэтому он очень хорошо интегрируется с другими продуктами Microsoft. StreamSets можно установить на любой платформе, что делает его идеальным для облака AWS.
• Если вы хотите писать задачи сценариев SSIS, вы должны использовать C#/DotNet. Задачи скриптов StreamSets можно писать на Jython и JavaScript.
• SSIS старше и имеет массу документации в Интернете.

Спасибо всем, я думаю, что должен поделиться некоторыми идеями о том, как мы можем смотреть на спецификацию между kafka и набором потоков, если мы используем оба в одном кластере, то как мы можем их различать.

«Поскольку мы используем надежность Kafka и простоту Streamset»

1. Streamset устраняет накладные расходы на кодирование для производителя и потребителя.
2. Streamset Использовать для 1 источника 1 адресата
3. Kafka переносит данные из нескольких источников в несколько пунктов назначения (методология pub-sub)
4. Streamset устраняет проблему дрейфа данных