Объединение двух кодовых страниц в одной программе на языке C

Итак, файл, который у вас есть, действительно имеет две разные кодировки однобайтовых символов в каждой строке. Это настоящий технический подвиг, который можно было бы осуществить с помощью любого обычного текстового редактора! :)

Давайте возьмем строку hören68 3f 72 65 6e 20 2d 20 f1 eb f3 f8 e0 ec в качестве примера, но я собираюсь немного изменить ее, потому что шестнадцатеричный дамп, который вы показываете, уже поврежден; байт 3F — это знак вопроса, а не то, что было бы ö в ISO-8859-1 (F6).

Я собираюсь использовать Python, чтобы проиллюстрировать проблемы, с которыми вы столкнетесь, поскольку он хорошо справляется с различными кодировками.

>>> x = '68 f6 72 65 6e 20 2d 20 f1 eb f3 f8 e0 ec'
>>> b = bytes.fromhex(x)
b'h\xf6ren - \xf1\xeb\xf3\xf8\xe0\xec'

Если мы просто декодируем шестнадцатеричную кодировку этих байтов в строку байтов, мы сможем увидеть ее презентацию Python repr, где все печатаемые 7-битные байты ASCII отображаются как сами по себе, а все остальное отображается как escape-последовательность. Не обманывайтесь, это не текст, читабельный для человека, это просто последовательность байтов, которая частично выглядит читабельной.

Хорошо, давайте попробуем декодировать это в текст как ISO-8859-1 (также известный как Latin-1) (что близко к кодовой странице CP1252).

>>> b.decode("latin-1")
'hören - ñëóøàì'

Мы видим, что ö для hören декодируется хорошо, но кириллица не читается моджибаке.

Тогда поступим по-другому:

>>> b.decode("cp1251")
'hцren - слушам'

Немецкий получается немного неудачным, потому что байт \xf6 интерпретируется как ц в CP1251, а русский проверяется (во всяком случае, согласно Google Translate).

Итак, если бы мы использовали Python, мы бы декодировали это, разделив его и декодировав каждую половину:

>>> de_bytes, _, ru_bytes = b.partition(b" - ")
>>> (de_bytes.decode("latin-1"), ru_bytes.decode("cp1251"))
('hören', 'слушам')

(и это действительно отлично распечатывается на терминале моего Mac, а также в Режиме Python UTF-8 в Windows).

Теперь вернемся к стране C: проблема в том, что fgets() и его друзьям плевать на кодировки — они все просто байты (хотя fgets() знает, что байт 0x0a (10 в десятичном формате) — это символ новой строки в кодировке ASCII, и перестает там читать).

Когда вы читаете эти байты, вы получаете именно эти байты, и ваше приложение должно их интерпретировать. Когда вы выводите эти байты с помощью printf() на обычном терминале Windows, он будет использовать текущую кодовую страницу вывода консоли для перевода байтов в глифы.

Технически вы можете правильно вывести эти файлы на свой терминал Windows с помощью чего-то вроде

1. прочитать строку
2. переключиться на кодовую страницу 1252 (SetConsoleOutputCP(1252);)
3. выписывайте каждый латинский байт, пока не найдете пробел-тире-пробел
4. переключиться на кодовую страницу 1251 (SetConsoleOutputCP(1251);)
5. выписывайте каждый байт кириллицы, пока не выйдете из этой строки

... промыть и повторить.

Другой вариант — прочитать ваш ввод в кодовые точки Unicode, например. UTF-8 или UTF-16. Вам все равно придется интерпретировать каждую половину строк по-разному, а UTF-8, в частности, представляет собой кодировку переменной ширины, поэтому вы больше не можете доверять strlen(), чтобы дать вам фактическую длину строки для человеческого глаза, но при по крайней мере, ваша игровая площадка будет достаточно ровной, чтобы вы могли использовать некоторые ответы в Правильно печатайте символы utf8 в консоли Windows.

Сначала проверьте свою кодовую страницу на консоли, набрав chcp. Он покажет вашу активную кодовую страницу. Например. Active code page: 437

Введите chcp 65001 на консоли. (65001 – Юникод UTF-8) Теперь это совместимость с UTF-8.

В своем коде вы можете использовать wchar.h вместо fgetws и fputws.

Также следует отметить, что BYTE_COUNT не является числом широких символов. Это количество байтов в файле.

• Например. пъ состоит из 2 широких символов, но также имеет 4 байта
• 你 это широкий символ, но он имеет 3 байта

#include <stdio.h>
#include <stdlib.h>
#include <wchar.h>

#define BYTE_COUNT 100

void readG(){
  FILE *fptr = fopen("file.txt", "r");

  printf("LERNWORTSCHATZ\n");
  printf("A1\n");
  printf("-------------------------------------------------\n");

  wchar_t str[BYTE_COUNT ];
  if (fgetws(str, BYTE_COUNT , fptr) != NULL) {
    fputws(str, stdout);
  }

  fclose(fptr);
}