MS SQL Server - Массовая вставка по сети
У меня есть приложение, использующее MS SQL Server, для которого мне нужно выполнить массовую вставку из файла. Камнем преткновения является то, что база данных и мое приложение будут размещаться на разных серверах. Как лучше всего выполнить массовую вставку по сети? На данный момент я придумал две идеи:
На сервере приложений поделитесь каталогом, который может найти сервер db, и выполните импорт, используя оператор массовой вставки из удаленного файла.
Запустите FTP-сервер с сервера db - когда импорт будет выполнен, просто отправьте файл по ftp на сервер db и выполните импорт, используя массовую вставку из локального файла (я склоняюсь к этому варианту).
Может ли кто-нибудь еще сказать мне, есть ли лучший способ сделать это, а если нет, какой из них имеет наибольший смысл и почему?
Ответы 5
Если файл достаточно мал, то может работать опция ftp (у вас будет дубликат в вашем поле db). Однако я не вижу большой проблемы в выборе варианта 1), если у вас есть гигабитная сеть между ними с одним прыжком.
Я делал это раньше и пробовал оба варианта.
В конце концов, я сделал противоположный выбор: 1. Совместное использование каталога на сервере БД, который может найти приложение. Вам не нужно решать проблемы с пропускной способностью во время массовой вставки.
Вариант FTP-сервера работает, если вас особенно беспокоит безопасность или возможность передачи.
Последний вариант (будьте очень осторожны) - использовать DTS с локализованным SQL-сервером. Это могло быть безопаснее. Если вы сделаете это неправильно, это будет намного менее эффективно.
Насчет 2k08 я не уверен, так как есть дополнительные утилиты для копирования файлов между серверами. FTP будет более быстрым из двух, потому что он не использует файловую систему окна для передачи файла. (есть накладные расходы, но, если файл не большой, им можно пренебречь). У отказа от использования общего ресурса есть и другие преимущества, например удаленный сервер, на котором происходит сбой при доступе к файлу.
Я не согласен с cmartin по поводу добавления открытого общего ресурса на сервер db. Как правило, вы не хотите открывать общие файловые ресурсы на сервере db, поскольку это обычно считается угрозой безопасности, и многие места не позволяют этого. При этом это лишит вас возможности переноса файла в другое место для использования массового импорта.
Я все еще ищу способ сделать это в MS SQL, но то, что я сделал в MySQL, - это сохранить CSV как BLOB во временной таблице, запустить SELECT ... INTO DUMPFILE в каталоге, локальном для сервера БД, затем запустите обычный оператор LOAD DATA для этого локального файла (EDIT: я чувствую, что должен указать, это было до того, как стало доступно LOAD DATA LOCAL).
Думаю, spWriteStringToFile это сделает.
Обновлено: Я кое-что понимаю.
comm.CommandText = @"EXEC spWriteStringToFile @data, 'c:\datadumps', 'data.csv';
BULK INSERT my_table FROM 'c:\datadumps\data.csv';";
comm.Parameters.AddWithValue("data", File.ReadAllText(path));
comm.ExecuteNonQuery();
Фактически вы можете разместить файл как на сервере приложений, так и на сервере базы данных.
Оба файла должны иметь один и тот же путь. На сервере приложений цель только для выбора. Сервер базы данных предназначен для массовой вставки.
Это то, что я сделал для своего клиента, и они тоже согласились с этим простым трюком.