Сделать разницу, игнорировать регистр умлаутов

Я думаю, что подход нормализации uconv работает только для латинских символов (но этого достаточно для обработки умлаутов).

Следующий код должен позволять diff -i работать со всеми символами верхнего или нижнего регистра UTF-8 (латиница, греческий, кириллица, адлам и т. д.):

case2ascii()(
    perl -CSD -pe '
        s/[[:lower:]]/c$&/g;
        s/[[:upper:]]/C\l$&/g;
    ' "$@"
)

ascii2case()(
    perl -CSD -pe '
        s{([cC])(.)}{ $1 eq "c" ? $2 : uc($2) }ge;
    ' "$@"
)

diff -i <(echo äæðαа𞤱 | case2ascii) <(echo ÄÆÐΑА𞤏 | case2ascii) | ascii2case

• кодировать:
  • преобразуйте каждую прописную или строчную букву в строчную и префикс (экранирование) с помощью верхнего или нижнего c в зависимости от ситуации
• декодировать:
  • найти escape-последовательности и отменить escape, при необходимости преобразовать обратно в верхний регистр

GNU sed также работает:

case2ascii()(
    sed '
        s/[[:lower:]]/c&/g;
        s/[[:upper:]]/C\l&/g;
    ' "$@"
)

ascii2case()(
    sed '
        s/C\(.\)/\u\1/g;
        s/c\(.\)/\1/g;
    ' "$@"
)

Сравните нормализованные строки, см. Формы нормализации Юникода:

 diff -i <(echo ä| uconv -x Any-NFD) <(echo Ä| uconv -x Any-NFD)

Примечание: использовано uconv из sudo apt install icu-devtools

К вашему сведению:

Form   String StrLen Unicode
----   ------ ------ -------
NFC    äÄ          2 \u00e4\u00c4
NFD    äÄ          4 \u0061\u0308\u0041\u0308
NFKC   äÄ          2 \u00e4\u00c4
NFKD   äÄ          4 \u0061\u0308\u0041\u0308

Обновлять:

из info diff^{[Emphasis mine]}:

18.1.1 Обработка многобайтовых символов и символов различной ширины

«diff», «diff3» и «sdiff» рассматривают каждую строку ввода как строку. из однобайтовые символы. В некоторых случаях это может привести к неправильной обработке многобайтовых символов. Например, когда его просят игнорировать пробелы, «diff» неправильно игнорировать многобайтовый символ пробела.

Кроме того, «diff» в настоящее время предполагает, что каждый байт имеет ширину одного столбца, и это предположение неверно в некоторых локалях, например локалях, которые используйте кодировку UTF-8. Это вызывает проблемы с «-y» или Вариант «--side-by-side» из «diff».

Эти проблемы необходимо устранять, не оказывая при этом чрезмерного ущерба производительность утилит в однобайтовых средах.

Команда по интернационализации Технологического центра IBM GNU/Linux предложены патчи для поддержки интернационализированного «diff» (http://oss.software.ibm.com/developer/opensource/linux/patches/i18n/diffutils-2.7.2-i18n-0.1.patch.gz). К сожалению, эти патчи неполные и предназначены для более старых версий. версию «diff», поэтому в этой области необходимо проделать дополнительную работу.

_{Ubuntu 24.04 LTS (GNU/Linux 5.15.153.1-microsoft-standard-WSL2 x86_64)}