Как использовать польские специальные буквы в С++?

Самый простой способ справиться с этим — использовать широкую строку. Единственная ловушка - правильная обработка кодировки/локали.

Итак, попробуйте следующее:

#include <algorithm>
#include <iostream>
#include <locale>
#include <string>

int main()
try {
    std::locale cLocale{ "C.UTF-8" };
    std::locale::global(cLocale);

    std::locale sys { "" };
    std::wcin.imbue(sys);
    std::wcout.imbue(sys);

    std::wstring line;
    while (getline(std::wcin, line)) {
        std::transform(line.begin(), line.end(), line.begin(), [&cLocale](auto ch) { return std::toupper(ch, cLocale); });
        std::wcout << line << L'\n';
    }
} catch (const std::exception& e) {
    std::cerr << e.what() << '\n';
}

https://godbolt.org/z/3cKaEeW3z

Сейчас:

• cLocale определяет локаль, которая будет использоваться стандартной библиотекой при взаимодействии с вашей программой.
• sys — это языковой стандарт системы, который определяет, какую кодировку следует использовать для входных и выходных потоков. Обратите внимание, какой перегружатель используется.

Тот же код должен работать с std::string и std::cinstd::cout, только если вы используете однобайтовую кодировку, которая работает для польского языка. В таком случае вы должны изменить строку в cLocale на:

#include <algorithm>
#include <iostream>
#include <locale>
#include <string>

int main()
try {
    std::locale cLocale{ ".1250" };
    std::locale::global(cLocale);

    std::locale sys { "" };
    std::cin.imbue(sys);
    std::cout.imbue(sys);

    std::string line;
    while (getline(std::cin, line)) {
        std::transform(line.begin(), line.end(), line.begin(), [&cLocale](auto ch) { return std::toupper(ch, cLocale); });
        std::cout << line << '\n';
    }
} catch (const std::exception& e) {
    std::cerr << e.what() << '\n';
}

Обратите внимание, что это имя локали зависит от платформы и компилятора, а также система должна быть настроена для работы. Выше работает в Windows с MSVC (я проверял это). Не могу продемонстрировать это, так как нет онлайн-компилятора, поддерживающего польскую локаль.

Если используется многобайтовая кодировка, преобразование завершится ошибкой, так как не удастся обработать эти многобайтовые символы.

Источник вашей проблемы

std::string хранит символы как chars, длина которых составляет один байт, поэтому их значение может быть только от 0 до 255.

Это делает невозможным хранение u'ą' в одном char, например, поскольку значение Юникода для ą равно 0x105 (= 261 в десятичном виде, что больше, чем 255).

Чтобы избежать этой проблемы, люди изобрели UTF-8, стандарт кодирования символов, который позволяет кодировать любые символы Unicode в виде байтов. Разумеется, для кодирования символов с более высоким значением потребуется несколько байтов.

Весьма вероятно, что ваши символы std::string закодированы в UTF-8. (Я говорю очень вероятно, потому что ваш код прямо не указывает на это, но почти на 100% уверен, что это так, потому что это единственный универсальный способ кодирования букв с диакритическими знаками в строках на основе char. Чтобы быть абсолютно на 100% конечно, вам нужно проверить код Qt, так как это похоже на то, что вы используете)

Результатом этого является то, что вы не можете просто использовать for для перебора char ваших std::string так, как вы есть, потому что вы в основном предполагаете, что один char равен одной букве, что просто не так.

Например, в случае ą он будет закодирован как байты C4 85, поэтому у вас будет один char со значением 0xC4 (= 196), за которым следует другой char со значением 0x85 (= 133).

Конкретный случай для символов, которые вы хотите использовать заглавными буквами

Часть Latin Extended-A таблицы Unicode ( архив), к счастью, показывает нам, что эти специальные заглавные буквы идут прямо перед их строчными копиями.

Более того, мы можем видеть, что:

• От индекса Unicode от 0x100 до 0x137 (включая оба) строчные буквы являются нечетными индексами.
• От 0x139 до 0x148 (включая оба) строчные буквы являются четными индексами.
• От 0x14A до 0x177 (включая оба) строчные буквы являются нечетными индексами.
• От 0x179 до 0x17E (включая оба) строчные буквы являются четными индексами.

Это облегчит преобразование строчных кодовых точек в прописные, поскольку все, что нам нужно сделать, это проверить, соответствует ли индекс символа строчному, и если да, вычесть из него единицу, чтобы сделать его прописным.

Кодирование одного из этих символов в UTF-8

Чтобы закодировать их в UTF-8 (источник):

• Преобразуйте кодовую точку (значение Unicode, если вы предпочитаете так говорить) в двоичном формате.
• Первый байт вашего символа в кодировке UTF-8 будет иметь двоичное значение 110xxxxx, замените xxxxx старшими пятью байтами двоичного кода символа.
• Второй байт будет иметь двоичное значение 10xxxxxx, замените xxxxxx младшими шестью байтами двоичной кодовой точки символа.

Итак, для ą значение 0x105 в шестнадцатеричном формате, поэтому 00100000101 в двоичном формате.

Тогда значение первого байта равно 11000100 (= 0xC4).

Тогда значение второго байта равно 10000101 (= 0x85).

Обратите внимание, что этот «метод» кодирования работает, потому что символы, которые вы хотите использовать с заглавными буквами, имеют свое значение (кодовую точку) между 0x80 и 0x7FF. Оно меняется в зависимости от того, насколько велико значение, см. документацию здесь.

Исправление вашего кода

Я переписал вашу функцию to_upper в соответствии с тем, что я написал до сих пор:

string to_upper(string nazwa)
{
    for (int i = 0; i < (int)nazwa.size(); i++)
    {
        // Getting the current character we are working with
        char chr1 = nazwa[i];

        // We want to find UTF-8-encoded polish letters here
        // So we are looking for a character that has first three bits set to 110,
        // as all polish letters encoded in UTF-8 are in UTF-8 Class 1 and therefore
        // are two bytes long, the first byte being of binary value 110xxxxx
        if (((chr1 >> 5) & 0b111) != 0b110) {
            nazwa[i] = toupper(chr1); // Do the std toupper here for regular characters
            continue;
        }

        // If we are here, then the character we are dealing with is two bytes long, so get its value.
        // We won't need to check for that second byte during next iteration, so we increment i
        i++;
        char chr2 = nazwa[i];

        // Get the unicode value of the encoded character
        uint16_t fullChr = ((chr1 & 0b11111) << 6) | (chr2 & 0b111111);

        // Get the various conditions to check for lowercase code points
        bool lowercaseIsOdd =  (fullChr >= 0x100 && fullChr <= 0x137) || (fullChr >= 0x14A && fullChr <= 0x177);
        bool lowercaseIsEven = (fullChr >= 0x139 && fullChr <= 0x148) || (fullChr >= 0x179 && fullChr <= 0x17E);
        bool chrIndexIsOdd =   (fullChr % 2) == 1;

        // Depending of whether the code point needs to be odd or even to be lowercase and depending of if the code point
        // is odd or even, decrease it by one to make it uppercase
        if ((lowercaseIsOdd && chrIndexIsOdd)
        || (lowercaseIsEven && !chrIndexIsOdd))
            fullChr--;

        // Support for some additional, more commonly used accented letters
        if (fullChr >= 0xE0 && fullChr <= 0xF6)
            fullChr -= 0x20;

        // Re-encode the character point in UTF-8
        nazwa[i-1] = (0b110 << 5) | ((fullChr >> 6) & 0b11111); // We incremented i earlier, so subtract one to edit the first byte of the letter we're encoding
        nazwa[i] = (0b10 << 6) | (fullChr & 0b111111);
    }

    return nazwa;
}

Примечание: не забудьте #include <cstdint>, чтобы uint16_t работало.

Примечание 2: я добавил поддержку некоторых букв Latin 1 Supplement ( архив), потому что вы просили об этом в комментариях. Хотя мы вычитаем 0x20 из строчных кодовых точек, чтобы получить прописные, это почти тот же принцип, что и для других букв, которые я рассмотрел в этом ответе.

Я включил много комментариев в свой код, пожалуйста, прочтите их для лучшего понимания.

Я протестировал его со строкой "ĀāĂ㥹ĆćĈĉĊċČčĎďĐđĒēĔĕĖėĘęĚěĜĝĞğĠġĢģĤĥĦħĨĩĪīĬĭĮįİıIJijĴĵĶķĸĹĺĻļĽľĿŀŁłŃńŅņŇňŊŋŌōŎŏŐőŒœŔŕŖŗŘřŚśŜŝŞşŠšŢţŤťŦŧŨũŪūŬŭŮůŰűŲųŴŵŶŷŸŹźŻżŽž", и он преобразовал ее в "ĀĀĂĂĄĄĆĆĈĈĊĊČČĎĎĐĐĒĒĔĔĖĖĘĘĚĚĜĜĞĞĠĠĢĢĤĤĦĦĨĨĪĪĬĬĮĮİİIJIJĴĴĶĶĸĹĹĻĻĽĽĿĿŁŁŃŃŅŅŇŇŊŊŌŌŎŎŐŐŒŒŔŔŖŖŘŘŚŚŜŜŞŞŠŠŢŢŤŤŦŦŨŨŪŪŬŬŮŮŰŰŲŲŴŴŶŶŸŹŹŻŻŽŽ", так что все работает отлично:

int main() {
    string str1 = "ĀāĂ㥹ĆćĈĉĊċČčĎďĐđĒēĔĕĖėĘęĚěĜĝĞğĠġĢģĤĥĦħĨĩĪīĬĭĮįİıIJijĴĵĶķĸĹĺĻļĽľĿŀŁłŃńŅņŇňŊŋŌōŎŏŐőŒœŔŕŖŗŘřŚśŜŝŞşŠšŢţŤťŦŧŨũŪūŬŭŮůŰűŲųŴŵŶŷŸŹźŻżŽž";
    string str2 = to_upper(str1);

    printf("str1: %s\n", str1.c_str());
    printf("str2: %s\n", str2.c_str());
}

Примечание. Все терминалы используют UTF-8 по умолчанию, метки Qt также, в основном ВСЕ используют UTF-8, КРОМЕ Windows CMD, поэтому, если вы тестируете приведенный выше код на Windows CMD или Powershell, вам необходимо изменить их на UTF. -8 с помощью команды chcp 65001 или добавив вызов Windows API для изменения кодировки CMD при выполнении кода.

Примечание 2. Когда вы пишете необработанные строки непосредственно в своем коде, ваш компилятор по умолчанию кодирует их в UTF-8. Вот почему моя версия функции to_upper работает с польскими буквами, написанными непосредственно в коде без дальнейших модификаций. Когда я говорю, что ВСЕ использует UTF-8, я имею в виду именно это.

Примечание 3. Я сохранил его, чтобы не создавать проблем с вашим текущим кодом, но вы используете string вместо std::string, подразумевая, что где-то в вашем коде есть using namespace std;. В этом случае см. Почему «использование пространства имен std;» считается плохой практикой?

Обратите внимание на другие ответы

Пожалуйста, имейте в виду, что мой ответ очень специфичен для вашего случая. Он направлен на то, чтобы, как вы и просили, сделать польские буквы заглавными.

Другие ответы основаны на функциях std, которые, по-видимому, более универсальны и работают со всеми языками, поэтому я предлагаю вам взглянуть на них.

Всегда лучше полагаться на существующие функции, чем изобретать велосипед, но я думаю, что также хорошо иметь самодельную альтернативу, которая может быть проще для понимания, а иногда и более эффективна.

Это должно работать на большинстве систем Unix-y, за исключением странных случаев, таких как турецкий I и, возможно, немецкий ß.

#include <clocale>
#include <locale>
#include <iostream>
#include <string>
#include <cwctype>
#include <codecvt>

inline std::wstring stow(const std::string& p)
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>> wconv;
    return wconv.from_bytes(p);
}

inline std::string wtos(const std::wstring& p)
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>> wconv;
    return wconv.to_bytes(p);
}


int main()
{
    std::locale loc("");

    // AFAICT the calls below are optional on a Mac 
    // for this particular task but it could be a 
    // good idea to use them anyway
    // std::setlocale(LC_ALL, "");
    // std::locale::global(loc);
    // std::cin.imbue(loc);
    // std::cout.imbue(loc);

    std::string s;
    std::getline(std::cin, s);

    std::wstring w = stow(s);
    for (auto& c: w)
    {
        c = std::toupper(c, loc);
    }

    std::cout << wtos(w) << "\n";
}

Обратите внимание, что он использует устаревшие средства C++ для преобразования кода UTF-8. Если вас это беспокоит, подставьте любые преобразователи UTF-8 в UTF-32 и обратно в stow и wtos. Также не стесняйтесь заменять локаль, существующую в вашей системе (может быть "pl_PL.UTF-8" или аналогичная).,