Резервное копирование базы данных кластера ClickHouse без использования утилиты clickhouse-backup
У меня есть база данных кластера Clickhouse с тремя узлами, которую мне нужно сделать резервной копией с помощью команды резервного копирования Clickhouse.
реплика = 1
осколок = 3
Я попробовал локальное хранилище, доступное как общее на всех узлах, и хранилище s3.
Когда я пытаюсь:
backup database mydb to Disk('backups','backup.zip')
При этом создается резервная копия базы данных, но ее невозможно восстановить с помощью предложения кластера.
backup database mydb on cluster mycluster to Disk('s3','backup.zip')
Это завершается с ошибкой, что узел x потерял блокировку файла backup.zip.
может кто-нибудь порекомендовать правильный способ резервного копирования базы данных кластера.
Вы столкнулись с ошибкой типа DB::Exception: Lock file .lock suddenly disappeared while writing backup Disk...? Если да, ознакомьтесь с этой проблемой — github.com/ClickHouse/ClickHouse/issues/… . В Github также есть несколько связанных проблем — github.com/ClickHouse/ClickHouse/…
Ответы 1
В итоге мне пришлось выбирать между двумя вариантами:
- Резервное копирование отдельных таблиц ReplicationMergetree на каждом узле. При восстановлении восстанавливайте таблицы из резервной копии на соответствующих узлах и заново создайте распределенные таблицы сверху.
- Экспортировать как паркет Это не требует отдельных резервных копий со всех узлов, а при одном экспорте распределенной таблицы будут получены данные из всех прикрепленных к ней таблиц ReplicationMergetree. Он очень быстрый и сжимается с помощью Snappy (по умолчанию). Восстановить так же просто, как: вставить в db.distributed_table из файла/S3/SeCluster(путь к файлу); Я выбираю напильники Parquet.
Функцию резервного копирования я не трогал. Если таблица зарезервирована в локальном хранилище, ее следует восстановить оттуда в исходное место. Кроме того, таблица назначения должна быть пустой или необходима иная настройка. Хотите знать, какой кластер здесь необходим?