Powershell улучшил производительность и эффективность кодирования при очистке текста и выводе в файл

Допустим, у вас есть CSV-файл с именем sample.csv, который выглядит следующим образом:

1,lori renier,shark
2,marc cuban,shark
3,adam,tuna
4,Olaf,Chubb

Я бы загрузил данные чем-то вроде...

$contents = Import-CSV -Path .\sample.csv -Delimiter ',' -Header @('id','name','type')

Затем я просматривал содержимое, делая все, что мне нужно было сделать...

foreach ($record in $contents) {
    if ($record.id.length -eq '') { $record.id = ... }
    if ($record.name -eq '') { $record.name = ... }
    if ($record.type -eq '') { $record.type = ... }
}

Затем я бы экспортировал чистые результаты...

Export-CSV -Path .\clean.csv -Delimiter ',' -Encoding 'ASCII' -NoTypeInformation -Append

Методы/объекты .NET обычно быстрее. Таким образом, использование [System.IO.File]::ReadLines("..."), вероятно, будет работать немного лучше, но люди Powershell обычно сначала смещают доступные командлеты, прежде чем вернуться к коду .NET.

Я не уверен, что это сильно вам поможет, но вы можете создать две небольшие функции тестирования, чтобы несколько упростить код. Кроме того, вместо того, чтобы выполнять так много конкатенаций строк ($results=$results + ...), я думаю, что использование объекта Stringbuilder будет работать намного лучше.

function Test-Length ([string]$value,[int]$size) {
    return (!([string]::IsNullOrEmpty($value)) -and $value.Length -gt $size) 
}

function Test-NotMatch([string]$value,[string]$regex) {
    return (!([string]::IsNullOrEmpty($value)) -and $value -notmatch $regex)
}

$Nrecord = 0
# use a StringBuilder object for better performance
$results = New-Object -TypeName 'System.Text.StringBuilder'
foreach ($record in [System.IO.File]::ReadLines("...")) {
    $ary=$record.split('|')
    $Nrecord++
    # $i is the array index counter that makes it easier to write the result
    $i = 0

    if (Test-Length $ary[$i++] 50)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-Length $ary[$i++] 50)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-NotMatch $ary[$i++] "^[012]{1}$") {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    $i++     # skipping element 3. Not important?
    if (Test-NotMatch $ary[$i++] "^[0-9]{2}$") {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-NotMatch $ary[$i++] "^[123]{1}$") {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-NotMatch $ary[$i++] "^[0-9]{8}$") {[void]$results.AppendLine("$Nrecord|$i|C|Date")}
    if (Test-NotMatch $ary[$i++] "^[0-9]{8}$") {[void]$results.AppendLine("$Nrecord|$i|C|Date")}
    if (Test-NotMatch $ary[$i++] "^.{2}$")     {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-NotMatch $ary[$i++] "^.{2}$")     {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-NotMatch $ary[$i++] "^.{2}$")     {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-NotMatch $ary[$i++] "^.{2}$")     {[void]$results.AppendLine("$Nrecord|$i|B|Category")}
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    $i++    # skipping element 15. Not important?
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    $i++    # skipping element 17. Not important?
    if (Test-Length $ary[$i++] 4)              {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    $i = 26 # skipping elements 19 to 25. Not important?
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    $i++    # skipping element 28. Not important?
    if (Test-Length $ary[$i++] 10)             {[void]$results.AppendLine("$Nrecord|$i|A|String length")}
    if (Test-NotMatch $ary[$i++] "^[01]{1}$")  {[void]$results.AppendLine("$Nrecord|$i|B|Category")}

    Add-Content -Path "..." -Value $results.ToString()
    # we're reusing the stringbuilder for the next iteration
    [void]$results.Clear()
}