Как оптимизировать код для записи данных, содержащих более 1,4 миллиона строк
у меня есть текстовый файл с 1,4 миллионами строк с разделителями
Моя цель - написать новый файл на основе идентификатора, поэтому, если в данных есть 10 разных идентификаторов, он создаст 10 новых файлов и перечислит данные на основе идентификатора.
Я уже заканчиваю свой код, но моя проблема в том, что данные содержат 1,4 миллиона строк, это заняло так много времени, и мой компьютер может выйти из строя.
это мой код, который я пишу
DateTime date = DateTime.Now;
string tgl = date.Date.ToString("dd");
string bln = date.Month.ToString("d2");
string thn = date.Year.ToString();
string tglskrg = thn + bln + tgl;
System.IO.Directory.CreateDirectory("C:\\Users\\Desktop\\VA");
System.IO.Directory.CreateDirectory("C:\\Users\\Desktop\\VA\\VA_" + tglskrg);
string filename = "X:\\exampledata.txt";
var lines = File.ReadAllLines(filename);
//group by first value (ID)
var groups = lines.Skip(1)
.Select(x => x.Split(';'))
.GroupBy(x => x[0]).ToArray();
// iterate groups write the joined lines back to a new file with the key name
foreach (var group in groups)
{
File.WriteAllLines(@"C:\\Users\\Desktop\\VA\\VA_" + tglskrg+"\\exampledata_" + group.Key +"_"+tglskrg + ".txt", new[] { "COMPANY CODE;CUSTOMER NUMBER;CUSTOMER NAME;INSERT DATE;TRANSACTION ID;TRANSACTION AMOUNT;ADMIN FEE;TRANSACTION REF;FLAG STATUS;TRANSACTION STATUS" }.Concat(group.Select(x => string.Join(";", x))));
}
foreach (var group in groups)
{
string path = @"C:\\Users\\Desktop\\VA\\VA_" + tglskrg + "\\exampledata_" + group.Key + "_" + tglskrg + ".txt";
using (ZipFile zip = new ZipFile())
{
zip.UseUnicodeAsNecessary = true;
zip.Password = group.Key + "VA#";
zip.AddFile(path, "VA_" + group.Key +"_"+tglskrg);
zip.Save(@"C:\Users\Desktop\exampledata_" + group.Key +"_"+tglskrg + ".zip_");
}
}
Кто-то говорит использовать StreamReader, но я действительно не знаю, как это работает, и я не думаю, что это будет быстрее, чем то, что я использую сейчас.
Может быть, кто-то может помочь мне оптимизировать мой код?
@TheGeneral хм, есть ли эффективный способ группировки по идентификатору, кроме .groupby()? или нет другого способа исправить мой код
GroupBy принимает все время, или файл прокручивается или сжимается? Мы не знаем, ты не знаешь, тебе нужно это понять
@TheGeneral хм, я попытаюсь отладить его 1 на 1, я не думаю, что сжатие делает его длинным, потому что он зависает, когда File.WriteAllLines
@TheGeneral группа, занимая все время, когда я запускаю код для группировки по идентификатору, его завершение занимает много времени, я думаю, это потому, что данные будут вставлены в переменную, для завершения которой требуется время.
Возможно, вы могли бы прочитать этот файл построчно и добавить его к файлу с правильным идентификатором и правильному zip-файлу. Я даже не уверен, что есть удовлетворительный многопоточный способ сделать это, который бы так сильно помог.
Вы также можете просто проанализировать начало строки до первого ;, это будет лучше, чем string.Split, тогда вам не нужно Join
Сколько разных групп/идентификаторов вы ожидаете?
Каков размер файла? 1.4 millions of rows Не очень информативно (и, честно говоря, звучит не слишком, если только в каждой строке нет тысячи символов).
@dyukha 183 Мб ._.
Ответы 1
Вместо того, чтобы читать весь файл в память, а затем группировать, вы должны прочитать каждую строку отдельно и решить, в какой файл она должна попасть.
Я опустил часть вашей логики именования файлов, чтобы упростить пример, но вот к чему он сводится:
var writers = new Dictionary<string, TextWriter>();
const string header = "COMPANY CODE;CUSTOMER NUMBER;CUSTOMER NAME;INSERT DATE;TRANSACTION ID;TRANSACTION AMOUNT;ADMIN FEE;TRANSACTION REF;FLAG STATUS;TRANSACTION STATUS";
const string inputFile = "X:\\exampledata.txt";
const string outputPath = "C:\\Users\\Desktop\\VA\\";
using (var reader = File.OpenText(inputFile))
{
// skip header
reader.ReadLine();
try
{
while (!reader.EndOfStream)
{
// read one line and separate key and value
var line = reader.ReadLine();
var separatorIndex = line.IndexOf(';');
var id = line.Substring(0, separatorIndex);
var value = line.Substring(separatorIndex + 1);
// get a writer or create one
if (!writers.TryGetValue(id, out var writer))
{
writer = File.CreateText($"{outputPath}{id}.txt");
writer.WriteLine(header);
writers.Add(id, writer);
}
// write the line to the correct file
writer.WriteLine(value);
}
}
finally
{
// dispose all the writers
foreach (var writer in writers.Values)
{
writer.Dispose();
}
}
}
хм, у записи out var есть сообщение об ошибке в условии if, имя var не существует в текущем контексте, а значение tryget имеет несколько допустимых аргументов.
@EnricoHasnawi Какая ошибка? Вы используете более старую версию C#? В этом случае сделайте TextWriter writer; if (!writers.TryGetValue(id, out writer)), что то же самое в pre-C# 7.
@ckuri хм, я использую Visual Studio Express 2010 C#
Если возможно, обновитесь до сообщества VS 2019. если нет, используйте 2 строки из @ckuri, чтобы заменить оператор if
@EnricoHasnawi C#7 является частью Visual Studio 2017. Поэтому я бы рекомендовал обновить его, так как C#7 и C#8 (Visual Studio 2019) имеют множество замечательных функций, а версии Community бесплатны.
@wertzui работает хорошо и так быстро, кстати, как я могу указать идентификатор? потому что ваш код заставляет идентификатор исчезать в данных
Изменить writer.WriteLine(value); на writer.WriteLine(line);
Нет смысла использовать
StreamReaderили любую ленивую технику, поскольку вы используетеGroupBy. на самом деле это занимает много времени, потому что вы делаете большую работу. Вам нужно профилировать свой собственный код, выяснить, что занимает больше всего времени, и оценить, можно ли его ускорить.