Ускорение дампов и импорта MySQL

Использование расширенных вставок в дампах должно ускорить импорт.

1. Получите копию Высокая производительность MySQL. Отличная книга.
2. Удлиненные вставки в отвалах
3. Дамп в формате --tab, чтобы вы могли использовать mysqlimport, который быстрее, чем mysql <dumpfile
4. Импорт с несколькими потоками, по одному для каждой таблицы.
5. Если возможно, используйте другой механизм базы данных. импорт в тяжело транзакционный движок, такой как innodb, ужасно медленный. Вставка в нетранзакционный движок, например MyISAM намного быстрее.
6. Посмотрите на сценарий сравнения таблиц в наборе инструментов Maakit и посмотрите, сможете ли вы обновляйте свои таблицы, а не выгружайте их и импортируйте. Но вы, наверное, говорите о резервном копировании / восстановлении.

отключите проверку внешнего ключа и включите автоматическую фиксацию.

Если вы импортируете в InnoDB, единственная наиболее эффективная вещь, которую вы можете сделать, - это поставить

innodb_flush_log_at_trx_commit = 2

в вашем my.cnf, временно, пока выполняется импорт. Вы можете вернуть его на 1, если вам нужна ACID.

http://www.maatkit.org/ имеет mk-parallel-dump и mk-parallel-restore

If you’ve been wishing for multi-threaded mysqldump, wish no more. This tool dumps MySQL tables in parallel. It is a much smarter mysqldump that can either act as a wrapper for mysqldump (with sensible default behavior) or as a wrapper around SELECT INTO OUTFILE. It is designed for high-performance applications on very large data sizes, where speed matters a lot. It takes advantage of multiple CPUs and disks to dump your data much faster.

В mysqldump также есть различные возможные варианты, такие как не создание индексов во время импорта дампа, а их массовое выполнение по завершении.

Думаю, ваш вопрос также зависит от того, где находится узкое место:

• Если ваша сеть является узким местом, вы также можете взглянуть на флаг -C / --compress для mysqldump.
• Если на вашем компьютере заканчивается память (т. Е. Начинается свопинг), вам следует купить больше памяти.

Также обратите внимание на флаг --quick для mysqldump (и --disable-keys, если вы используете MyIsam).

mysqlhotcopy может быть альтернативой и для вас, если у вас есть только таблицы MyIsam.

Используя индексы, но не слишком много, активируйте кеш запросов, используя sphinx для большой базы данных, вот несколько полезных советов http://www.keedeo.com/media/1857/26-astuces-pour-accelerer-vos-requetes-mysql (на французском)

Другой альтернативой является http://www.mydumper.org - многопоточное резервное копирование / восстановление mysql, которое в 3-10 раз быстрее, чем mysqldump, и может обрабатывать как MyISAM, так и InnoDB, а также Drizzle http://vbtechsupport.com/1695/.