Flink - удалить ключи вручную
У нас есть функция процесса с ключом, которая использует состояние, и «key by», выполняемый непосредственно перед этим. Атрибут «key by» включает транзакционные значения, поэтому мы ожидаем, что будет создано много ключей. Но они будут недолгими, и мы не ожидаем, что они продлятся более суток. Есть ли способ, с помощью которого мы можем удалить все состояние, связанное с ключом, и сам ключ вручную из функции процесса с ключом?
Будет ли простая установка значения связанных переменных состояния равным нулю, позволит ли Flink очистить его?
Мы обеспокоены тем, что даже минимальное количество остаточных данных, которые могут быть оставлены для каждого ключа-значения, будет накапливаться и способствовать огромному размеру состояния.
Ответы 1
Одним из решений может быть настройка TTL состояния, чтобы состояние автоматически удалялось после некоторого периода неиспользования. Или вы можете зарегистрировать таймер с ключом в своей функции процесса с ключом и вызвать clear() в методе onTimer, чтобы удалить состояние, когда таймер срабатывает.
В KeyedProcessFunction вызов clear() для каждого из значений состояния гарантирует, что ничего не останется. Единственным другим состоянием для каждого ключа являются таймеры, но как только таймер срабатывает, он исчезает.
Спасибо за ответ. Будет ли использование clear() и удаление всех значений состояния гарантировать, что никакие данные, связанные с ключом, не останутся? Или Flink хранит дополнительные данные, кроме состояния, для каждого ключа, которые могут накапливаться с течением времени?