AWS DynamoDB Stream в Redshift

Amazon Kinesis может собирать, обрабатывать и анализировать потоки видео и данных в реальном времени.

• Используйте Видеопотоки Kinesis для захвата, обработки и хранения видеопотоков для аналитики и машинного обучения.
• Используйте Потоки данных Kinesis для создания пользовательских приложений, которые анализируют потоки данных с использованием популярных платформ обработки потоков.
• Используйте Пожарный шланг Kinesis Data для загрузки потоков данных в хранилища данных AWS.
• Используйте Kinesis Data Analytics для анализа потоков данных с помощью SQL.

Потоки DynamoDB действуют так же, как поток данных Kinesis, но автоматически генерируются новыми / измененными данными в DynamoDB. Это позволяет приложениям получать уведомления при добавлении новых данных в таблицу DynamoDB или при изменении данных.

Пожарный шланг Kinesis Data может автоматически выводить поток в Redshift (среди других пунктов назначения).

AWS Lambda может запускать код без предоставления серверов и управления ими. Вы платите только за потраченное время вычислений - плата не взимается, когда ваш код не запущен. Вы можете запускать код практически для любого типа приложения или серверной службы - и все это без необходимости администрирования.

Лямбда полезна для проверки данных, проходящих через поток. Например, его можно использовать для управления форматом данных или для пропуска данных, которые не требуются.

Собирая все вместе, вы можете добавлять / изменять данные в DynamoDB. Это приведет к отправке сообщения DynamoDB Stream, содержащего информацию об изменении. Функция AWS Lambda может проверять данные и управлять / отбрасывать сообщение. Если бы затем можно было перенаправить данные в Пожарный шланг Kinesis Data, чтобы автоматически вставить данные в Амазонка Redshift.

Вот пример:

• Банковская транзакция хранится в DynamoDB
• DynamoDB Streams отправляет его лямбда-функции
• Функция Lambda просматривает транзакцию, а также получает информацию о банковском счете. Если на счете есть баланс достаточный, функция завершает работу и ничего не делает.
• Если в учетной записи есть баланс недостаточный, он может отправить электронное письмо через Amazon SES с сообщением владельцу учетной записи. Затем он может отправить данные в Firehose, который хранит их в Redshift, для сообщения о просроченных счетах.

Преимущество совместного использования этих систем заключается в том, что они могут обеспечить широкие функциональные возможности приложений с минимальным количеством кода. В этом примере кодировать требовалось только лямбда-функции - остальное работало путем связывания вместе различных компонентов. Кроме того, он был полностью бессерверным, то есть не было необходимости запускать приложение на инстансе Amazon EC2.