Добавление данных, если элементы из двух разных строк в двух разных файлах CSV совпадают, с использованием сценариев Bash

== файл: chk.awk ==

@load "filefuncs"
{
  #// input: file=xxx.csv

  #// check if $file defined
  if (file= = "") {
    printf ("Please use `-v file=xxx.csv` to define a csv file\n");
    exit 2;
  }

  #// check if inout file exist
  ret=stat(file,fdata)
  if (ret<0) {
    printf ("File '%s' seems not exist !?\n", file);
    exit 3;
  }

  printf ("* NR=%d\n", NR);

  printf ("1st file:'%s'\n", $0);
  #// Read from 2nd file
  ret = getline sec < file
  if (ret)
    printf ("2nd file:'%s'\n", sec);
  else
    printf ("2nd file already EOF\n");
    #//? Terminated ? 
} END {
  #// 1st file END, but how about 2nd?
  if (ret) {
    printf ("2nd left: --\n");
    while (ret) {
      ret = getline sec < file
      if (ret) printf ("2nd: '%s'\n", sec );
    }
  }
}

командная строка:

$ gawk -k  -v file=2.csv -f chk.awk 1.csv
* NR=1
1st file:'Account,Entity,Data'
2nd file:'Account,Entity,Data'
* NR=2
1st file:'A1101,E101,1000'
2nd file:'A1101,E101,2000'
2nd left: --
2nd: 'A1101,E102,2000'
2nd: 'A1101,E102,2000'
2nd: 'A1101,E102,2000'
2nd: 'A1101,E102,2000'

или

$ gawk -k  -v file=1.csv -f chk.awk 2.csv
* NR=1
1st file:'Account,Entity,Data'
2nd file:'Account,Entity,Data'
* NR=2
1st file:'A1101,E101,2000'
2nd file:'A1101,E101,1000'
* NR=3
1st file:'A1101,E102,2000'
2nd file already EOF
* NR=4
1st file:'A1101,E102,2000'
2nd file already EOF
* NR=5
1st file:'A1101,E102,2000'
2nd file already EOF
* NR=6
1st file:'A1101,E102,2000'
2nd file already EOF

Теперь вы можете сами сравнить разницу между этими двумя файлами.

В вашем скрипте bash отсутствует сравнение двух входных данных и сумма при совпадении строк.

Если вы абсолютно хотите сделать это всего лишь с помощью bash, если ваши файлы CSV такие же простые, как то, что вы показываете (без полей в кавычках, без новых строк в полях...), если вы хотите также печатать строки, которые встречаются только в одном из два входных файла, и если вас не волнует окончательный порядок, вы можете попробовать:

#!/bin/bash

declare -iA a=()
declare -i Data
declare Account Entity

FILE1 = "csv_file1.csv"
FILE2 = "csv_file2.csv"

head -n1 "$FILE1"

while IFS=, read -r Account Entity Data; do
  a["$Account,$Entity"]+=Data
done < <(tail -n +2 "$FILE1"; tail -n +2 "$FILE2")

for k in "${!a[@]}"; do
  printf '%s,%d\n' "$k" ${a[$k]}
done

По соображениям производительности awk будет лучшим выбором, чем bash. С теми же предположениями, что и для версии bash, вы можете попробовать следующее с любым awk:

awk '
BEGIN { FS = OFS = "," }
NR == 1 { print; next }
FNR == 1 { next }
{ a[$1 OFS $2] += $3 }
END { for(k in a) print k, a[k] }
' csv_file1.csv csv_file2.csv

Мы объявляем запятую разделителем входных (FS) и выходных (OFS) полей. Мы печатаем строку заголовка первого файла и пропускаем строку заголовка второго файла.

При анализе файлов мы сохраняем содержимое в массиве a с двумя первыми полями в качестве ключа и последним полем в качестве значения (например, a[A1101,E101] = 1000), добавляя третье поле к значению, если ключ уже существует.

В конце (END) мы печатаем содержимое массива a.

Если ваш формат CSV более сложный, с полями в двойных кавычках, возможно, содержащим экранированные двойные кавычки ("") или даже символы новой строки, вы можете попробовать опцию --csv в последних версиях GNU awk:

awk --csv '
function quote(s) {
  if (s ~ /[",\n]/) {
    gsub(/"/, "\"\"", s)
    s = "\"" s "\""
  }
  return s
}

BEGIN { OFS = "," }
NR == 1 { print; next }
FNR == 1 { next }
{ a[$1][$2] += $3 }
END { for(k1 in a) for(k2 in a[k1]) print quote(k1), quote(k2), a[k1][k2] }
' csv_file1.csv csv_file2.csv

Демо:

$ cat csv_file1.csv 
Account,Entity,Data
A1101,E101,1000
A1101,"E101,E102",3000
A1101,"hello, ""world""",1000

$ cat csv_file2.csv 
Account,Entity,Data
A1101,E101,2000
A1101,E102,2000
A1101,"E101,E102",2000
A1101,"hello, ""world""",4000

$ awk --csv -f foo2.awk csv_file*
Account,Entity,Data
A1101,"hello, ""world""",5000
A1101,E101,3000
A1101,E102,2000
A1101,"E101,E102",5000

Но тогда настоящий синтаксический анализатор CSV, вероятно, будет безопаснее.