Как проверить недавно не просмотренные данные с помощью материализованного представления в Clickhouse

Несколько способов улучшить производительность:

1. попробуйте оптимизировать оператор IN

CREATE materialized view mv_fresh
    TO target_ids
    AS SELECT
     ..
    FROM source_ids
    where id not in (
        select id from seen_ids 
        where id IN (select id FROM source_ids))

2. рассмотрите возможность уменьшения index_granularity для db.seen_ids или использования пропуска индексов

См. Индексы пропуска: установите.

CREATE TABLE db.seen_ids_local ON CLUSTER cl
(..)
ORDER BY id
ENGINE = MergeTree()
SETTINGS index_granularity = 256 or 512 or ..;

3. попытайтесь найти некоторую информацию о данных, которая поможет уменьшить объем обрабатываемых данных

Например, если id является инкрементальным, то можно применить некоторое условие WHERE id > {some_value_that_calculated_by_MV}

4. использовать движок SET

Имеет смысл рассмотреть возможность использования таблицы с движком SET для хранения просмотренных идентификаторов и использования их в операторе IN.

5. массовая вставка (тысячи строк и более)

Это необходимо

• либо измените логику сервиса, записывающего данные в db.source_ids
• или используйте Buffer engine (см. соответствующие вопросы на SO)

6. использовать распределенное вычисление (шардинг) (разделить идентификаторы на группы, которые выполняются независимо)

Например, для 2 шардов на каждом необходимо выполнить 50 / 2 = 25 mln ряды seen_ids таблицы.

CREATE TABLE db.seen_ids_local ON CLUSTER cl
(..)
ORDER BY id
ENGINE = MergeTree();

/* ! Write data to distributed table to reshard them among shards. Or write data directly to shard based on sharding key. */
CREATE TABLE db.seen_ids ON CLUSTER cl AS db.seen_ids_local
ENGINE = Distributed(cl, db, seen_ids_local, intHash32(id)); /* Reshard data by 'id'. */


CREATE TABLE db.source_ids_local ON CLUSTER cl
(..)
ENGINE = Null;

/* ! Write data to distributed table to reshard them among shards. */
CREATE TABLE db.source_ids ON CLUSTER cl AS db.source_ids_local
ENGINE = Distributed(cl, db, source_ids_local, intHash32(id)); /* Reshard data by 'id'. The same sharding key as for 'seen_ids' */


CREATE TABLE db.target_ids_local ON CLUSTER cl
(..)
ENGINE = MergeTree();

CREATE materialized view db.target_ids_local_mv
TO db.target_ids_local  /* [Optional] Write data to local table */
AS SELECT
..  
FROM db.source_ids_local /* !! Load data from local table */
where id not in (
  select id from db.seen_ids_local /* !! Load data from local table */
)

Посмотрите эти документы: База знаний Altinity.