Powershell, попытка эффективного сравнения наборов данных

У меня есть 2 набора данных. Set1 имеет примерно 129 тыс. строк, имеет столбец ID и, что немаловажно, код второго столбца, который мне понадобится позже. Set2 имеет только столбец ID. Set2 также содержит около 83 тысяч строк, и все они должны находиться в Set1. Оба файла/набора данных должны быть упорядочены по идентификатору, если это имеет значение. Оба должны быть строками, но все идентификаторы дополняются до 10 цифр.

• Набор 1:

ID,Code
0000000002,0
0000012345,1
0000023456,0
0000056789,1
0000034567,0
0000078908,1

• Набор 2:

0000000002
0000012345
0000056789
0000034567

Я пытаюсь найти все идентификаторы в наборе 1, которых нет в наборе 2, включая этот второй столбец для каждого идентификатора из набора данных 1. Мне также нужны все идентификаторы в наборе 1, которые находятся в наборе 2, включая этот второй столбец для каждого идентификатора.

Мне также нужны подмножества для каждого из них:

1. Все идентификаторы в наборе 1, которых нет в наборе 2, включая этот столбец кода, разделенные кодом 0,1,2.

2. Все идентификаторы в наборе Set1, которые находятся в наборе Set2, включая этот столбец кода, разделенные кодом 0,1,2.

Основные проблемы, с которыми я сталкиваюсь, заключаются в том, что наборы данных не совпадают: в основном наборе данных есть 2 столбца, а в наборе сравниваемых данных - только 1. И тот факт, что наборы данных настолько велики, что я пытаюсь сделать это эффективно, поэтому это не займет много времени, поскольку это ежедневная программа, и после того, как я получу эти списки подмножеств, нужно будет запустить и другие вещи.

1. Я пытался импортировать массивы и сравнивать их, чтобы получить нужные мне наборы данных, но это занимает слишком много времени, чтобы быть практичным. Я говорю примерно 1 час+. это даже не доходит до того, что мне нужно подмножество их на основе 2-го столбца.

   $IDsNotIn2 = $Array1 | Where {$Array2 -NotContains $_}
   

2. Я пытался использовать хеш-таблицы, но не смог заставить сравнения работать. Я импортировал CSV как хэш-таблицы. Затем называется Compare-Object. Ничего не вернули/ничего не показали при звонке.

   import-CSV -Path $FILE_LOC | ForEach-Object { $hashtable1[$_.ID] = $_.Code }
   
   import-CSV -Path $FIXED_FILE_LOC -Header ID | ForEach-Object { $hashtable2[$_.ID] }
   
   Compare-Object -ReferenceObject $hashtable1 -DifferenceObject $hashtable2 -Property ID -PassThru | ? {$_.SideIndicator -eq "< = "} | Select-Object -Property * -ExcludeProperty SideIndicator
   
   Compare-Object -ReferenceObject $hashtable1 -DifferenceObject $hashtable2
   

3. Я попробовал .GetEnumerator и перебрал первую хеш-таблицу, и если ключ существует во второй, создал третью таблицу с новыми значениями. Но по какой-то причине все значения из первой таблицы помещаются в новую таблицу.

   $hashtable1.GetEnumerator() | ForEach-Object {
   IF (-Not ($hashtable2.ContainsKey($_.key))){
       $ID = $_.key
       $columncode = $_.value
       $ID_Not_in_First_File[$ID] = @{
        $Code= $columncode 
           }
       }
   }