Apache Flink: где State Backends хранят состояние?
У меня есть заявление ниже:
"Depending on your state backend, Flink can also manage the state for the application, meaning Flink deals with the memory management (possibly spilling to disk if necessary) to allow applications to hold very large state."
https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/state/state_backends.html
Означает ли это, что только когда серверные части состояния настроены на RocksDBStateBackend, состояние будет сохраняться в памяти и, возможно, при необходимости перетекать на диск?
Однако при настройке на MemoryStateBackend или FsStateBackend состояние сохраняется только в памяти и никогда не будет перенесено на диск.
Ответы 1
Да в общем ты прав. Только с RocksDBStateBackend на диск будет сбрасывание данных.
В случае и MemoryStateBackend, и FsStateBackend состояние всегда хранится в памяти диспетчера задач и, следовательно, должно там умещаться. Разница между этими двумя бэкэндами заключается в том, как они проверяют данные.
В случае
MemoryStateBackendданные контрольной точки отправляются в JobManager и также хранятся там в памяти.FsStateBackendхранит данные о контрольной точке в файловой системе и отправляет только небольшие метаданные в JobManager (или в сценарии высокой доступности хранится в папке метаданных).
Поэтому для любых производственных сценариев использования RocksDBStateBackend настоятельно рекомендуется. Более подробную информацию вы можете найти в здесь.