Рекомендации по загрузке файлов в базу данных

вы хотите поместить файлы Excel в БД в виде капли? или вы хотите проанализировать файлы и поместить записи из файлов в базу данных?

Я предполагаю, что это последнее.

Как пользователь я хотел бы иметь возможность знать, в чем заключаются ошибки, чтобы я мог исправить их и повторить попытку. Думаю, как я попробую еще раз, зависит от того, сколько данных я загружаю.

Я бы попытался сделать гибридное решение ... если есть только несколько ошибок, покажите экран для исправления этих ошибок, чтобы пользователь мог быстро двигаться дальше. Если есть масса ошибок, вы должны просто сделать это и попросить пользователя повторить попытку.

Что касается БД. Либо создайте отдельную таблицу, в которую отправляются загрузки, пока они не будут проверены и не получат ваши «реальные» данные, либо столбец UploadUniqueId, чтобы вы могли без особых хлопот откатить любую загрузку.

удалить tableName, где UploadUniqueId = 'GUID'

Если целостность данных в вашей БД важна, не позволяйте импортировать данные, которые содержат ошибки или не соответствуют требованиям проверки вашей БД.

Поскольку это файлы Excel, пользователю должно быть достаточно легко исправить данные в файле Excel, вместо того, чтобы пытаться использовать другой интерфейс для исправления данных. Просто убедитесь, что сообщения об ошибках указывают пользователю, в какой области возникла проблема, и четко объясняют, в чем проблема.

Вы должны загрузить данные, а затем пометить их, если они не пройдут проверку. Для фактической загрузки данных у вас есть несколько вариантов:

• API массовой загрузки ADO.Net - используйте API массовой загрузки, чтобы поместить его в постановку стол. В приведенном ниже фрагменте показан процесс, чтобы открыть файл .CSV и программно загрузить его в промежуточный стол.

.

  public void Load() {
        bool OK = File.Exists(_filename);
        if (OK) {
            string sql = String.Format("Select * from {0}", FileName);
            OleDbConnection csv = new OleDbConnection();
            OleDbCommand cmd = new OleDbCommand(sql, csv);
            OleDbDataReader rs = null;
            SqlConnection db = null;
            SqlCommand clear = null;

            SqlBulkCopy bulk_load = null;
            try {
                    // Note two connections: one from the csv file
                    // and one to the database;
                    csv = new OleDbConnection();
                    csv.ConnectionString = ConnectionString;
                    csv.Open();
                    cmd = new OleDbCommand(sql, csv);
                    rs = cmd.ExecuteReader();

                    // Dung out the staging table
                    db = // [Create A DB conneciton Here]
                    clear = new SqlCommand("Truncate table Staging", db); // Left to the reader
                    clear.ExecuteNonQuery();

                   // Import into the staging table
                    bulk_load = new SqlBulkCopy(db);
                    bulk_load.DestinationTableName = Destination; // Actually an instance var
                    bulk_load.WriteToServer(rs);
                } catch (Exception ee) {
                    string summary = ee.Message;
                    string detail = ee.StackTrace;
                    //Notify(DisplayType.error, summary, detail);
                } finally {
                    if (rs != null) rs.Close();
                    if (csv != null) csv.Close();
                    if (bulk_load != null) bulk_load.Close();
                }
            }
        }

• Используйте BCP или SSIS для импорта, либо прямо из таблицы или из файла .CSV.

Я бы попробовал следующий подход, который хорошо работал в прошлом.

1. Разрешить пользователю загрузить файл, поместить его куда-нибудь на диск.
2. Привяжите результаты файла к некоторой сетке (вы можете подключаться к файлам Excel с помощью ODBC / OLE DB, используя традиционные объекты Connection / Command).
3. Примените проверку к строкам в сетке на основе некоторого набора бизнес-правил (данные Excel обычно довольно грязные).
4. Разрешить пользователю обновлять значения в сетке и исправлять проблемы с проверкой.
5. Когда все данные кошерные и пользователь доволен, выполните массовую вставку в транзакцию.
6. Если что-то «плохое» произойдет, откатитесь и предоставьте некоторую обратную связь с пользователем.