Файл журнала синтаксического анализа, неоднозначный разделитель

Используя Regex, я смог все разобрать. Похоже, что данные взяты из Excel, потому что доля секунд имеет двоеточие вместо точки. С# не любит двоеточие, поэтому мне пришлось заменить двоеточие точкой. Я также проанализировал справа налево, чтобы обойти проблемы с двоеточием.

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.IO;


namespace ConsoleApplication3
{
    class Program1
    {
        const string FILENAME = @"c:\temp\test.txt";
        static void Main(string[] args)
        {
            string line = "";
            int rowCount = 0;
            StreamReader reader = new StreamReader(FILENAME);
            string pattern = @"^(?'time'.*):\[(?'systemid'[^\]]+)\]:(?'sending'[^:]+):(?'receiving'[^:]+):(?'length'[^:]+):(?'data'[^:]+):\[(?'ws_name'[^\]]+)\]";

            while ((line = reader.ReadLine()) != null)
            {
                line = line.Trim();
                if (line.Length > 0)
                {
                    if (++rowCount != 1) //skip header row
                    {
                        Log_Data newRow = new Log_Data();
                        Log_Data.logData.Add(newRow);
                        Match match = Regex.Match(line, pattern, RegexOptions.RightToLeft);

                        newRow.ws_name = match.Groups["ws_name"].Value;
                        newRow.data = match.Groups["data"].Value;
                        newRow.length = int.Parse(match.Groups["length"].Value);
                        newRow.receiving_system = match.Groups["receiving"].Value;
                        newRow.sending_system = match.Groups["sending"].Value;
                        newRow.systemid  = match.Groups["systemid"].Value;
                        //end data is first then start date is second
                        string[] date = match.Groups["time"].Value.Split(new char[] {'|'}).ToArray();
                        string replacePattern = @"(?'leader'.+):(?'trailer'\d+)";
                        string stringDate = Regex.Replace(date[1], replacePattern, "${leader}.${trailer}", RegexOptions.RightToLeft);
                        newRow.startDate = DateTime.Parse(stringDate);
                        stringDate = Regex.Replace(date[0], replacePattern, "${leader}.${trailer}", RegexOptions.RightToLeft);
                        newRow.endDate = DateTime.Parse(stringDate );
                    }
                }
            }


        }
    }
    public class Log_Data
    {
        public static List<Log_Data> logData = new List<Log_Data>();

        public DateTime startDate { get; set; } //transaction_date_time:[systemid]:sending_system:receiving_system:data_length:data:[ws_name]
        public DateTime endDate { get; set; }
        public string systemid { get; set; }
        public string sending_system { get; set; }
        public string receiving_system { get; set; }
        public int length { get; set; }
        public string data { get; set; }
        public string ws_name { get; set; }
    }
}

Поскольку входная строка не совсем разделяемый, поскольку разделитель char также является частью содержимого, вместо этого можно использовать простое регулярное выражение.
Простой, но, вероятно, достаточно быстрый, даже с настройками по умолчанию.

Различные части входной строки можно разделить с помощью следующих групп захвата:

string pattern = @"^(.*?)\|(.*?):\[(.*?)\]:(.*?):(.*?):(\d+):(.*?):\[(.*)\]$";

Это даст вам 8 групп + 1 (Group[0]), которые содержат всю строку.

Используя класс регулярное выражение, просто передайте строку для анализа (с именем line, здесь) и регулярное выражение (с именем pattern) методу Соответствовать(), используя настройки по умолчанию:

var result = Regex.Match(line, pattern);

Свойство Группы.Значение возвращает результат каждой группы захвата. Например, две даты:

var dateEnd = DateTime.ParseExact(result.Groups[1].Value, "yyyy-MM-dd hh:mm:ss:ttt", CultureInfo.InvariantCulture),
var dateStart = DateTime.ParseExact(result.Groups[2].Value, "yyyy-MM-dd hh:mm:ss:ttt", CultureInfo.InvariantCulture),

IpAddress извлекается с помощью: \[(.*?)\].
Вы можете дать имя этой группе, чтобы было понятнее, к чему относится значение. Просто добавьте строку с префиксом ? и заключенную в <> или одинарные кавычки ', чтобы назвать группу:

...\[(?<IpAddress>.*?)\]...

Однако обратите внимание, что присвоение имени группе изменит индексацию Regex.Groups: группы без имени будут вставлены первыми, а группы с именами — после. Таким образом, если назвать только группу IpAddress, она станет последним элементом Groups[8]. Конечно, вы можете назвать все группы, и индексация будет сохранена.

var hostAddress = IPAddress.Parse(result.Groups["IpAddress"].Value);

Этот шаблон должен позволить машине Средняя анализировать 130,000~150,000 строк в секунду.
Вам придется протестировать его, чтобы найти шаблон идеально. Например, первое совпадение (соответствующее первой дате): (.*?)\|, намного быстрее, если не жадное (используя ленивый квантификатор *?). Обратное для последнего матча: \[(.*)\]. Шаблон, используемый йдвенг, даже быстрее, чем тот, который используется здесь.

См. Регулярное выражение101 для подробного описания использования и значения каждого токена.