Решения для репликации файлов
Подумайте о процессе сборки, размещенном в Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре обработки данных. Другие машины будут запускать IIS и передавать эти файлы в массы.
Общий размер корпуса будет составлять миллионы файлов, 100 ГБ данных. Придется иметь дело с возможной конкуренцией на целевых серверах, скрытыми ссылками, например. через WAN, чистые серверы с холодным запуском
Решения, о которых я думал до сих пор:
- Система и демоны в очереди либо периодически пробуждаются и копируются, либо запускаются как службы.
- SAN - дороже, сложнее, дороже
- ROBOCOPY, работа по расписанию - просто, но эффективно. Много внутреннего / неопределенного состояния, например. где его при копировании, ошибки
- С полки репл. программное обеспечение - дешевле, чем SAN, но все же дорого
- Общие папки UNC и без ответа. Более высокая задержка, более низкая стоимость - по-прежнему требуется решение для кластеризации.
- Репликация DFS.
Что еще использовали другие люди?
Ответы 4
Я успешно использовал сценарии rsync для этого типа работы, в нашем случае тысячи машин. Я считаю, что для Windows есть сервер rsync, но я не использовал его ни на чем, кроме Linux.
В моей организации мы используем ROBOCOPY для передачи файлов. Он работает очень плавно, и я считаю, что его стоит порекомендовать.
Кроме того, вы не делаете ничего слишком сумасшедшего. Если вы также хорошо разбираетесь в Perl, я уверен, что вы могли бы написать быстрый сценарий, который удовлетворит ваши потребности.
Хотя у нас нет этих миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов в одночасье между нашей основной компанией и ее зарубежными агентствами. Некоторое время мы пользуемся allwaysync. Это позволяет синхронизировать папки / ftp. Он имеет приятный интерфейс, который позволяет анализировать и сравнивать папки и файлы, и, конечно же, его можно запланировать.
Общие папки UNC и отсутствие репликации имеют много недостатков, особенно если IIS будет использовать пути UNC в качестве домашних каталогов для сайтов. При стрессе вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за количества одновременных сеансов с сервером, совместно использующим папку. Кроме того, вы столкнетесь с медленным запуском сайта IIS, поскольку IIS будет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.
Я видел очень многообещающие тесты с DFS, не демонстрирующие ни одного из вышеперечисленных ограничений.
Да, я бы как бы сгруппировал их всех в одну категорию - приложения-краулеры, управляемые консолями.