Как flink читает данные 4mc из HDFS

Есть данные 4mc по HDFS. Когда я использую Flink env.readTextFile ("hdfs: //127.0.0.1: 8020 / search_logs / 4mc")

Он не может знать сжатый формат, поэтому есть ли у Flink связанный API для реализации для обработки данных сжатого формата такого рода?

Спасибо.

readTextFile, если для текстовых файлов. Ваши файлы сжимаются, вам нужно читать двоичные файлы. Я не думаю, что есть готовое решение для файла 4mc во flink. Но вы можете реализовать свой собственный FileInputFormat и использовать функцию readFile

— 18.12.2018 10:28

hadoop hdfs apache-flink flink-streaming

18.12.2018 10:16

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...