Использование UTF в коде C++

UTC - это универсальное скоординированное время, а не набор символов (я не нашел кодировки под названием UTC).

Для внутреннего представления вы можете использовать wchar_t для каждого символа и std :: wstring для строк. Они используют ровно 2 байта для каждого символа, поэтому поиск и произвольный доступ будут быстрыми.

Для хранения, если большая часть данных не ASCII (т.е. код> = 128), вы можете использовать UTF-16, который почти такой же, как сериализованные wstring и wchar_t.

Поскольку UTF-16 может быть прямым или обратным порядком байтов, для проводного транспорта попробуйте преобразовать его в UTF-8, который не зависит от архитектуры.

Я бы посоветовал:

• Для представления в коде wchar_t или эквивалент.
• Для представления хранилища UTF-8.
• Для представления проводов UTF-8.

Преимущество UTF-8 в ситуациях хранения и передачи данных в том, что порядок байтов машины не имеет значения. Преимущество использования в коде символа фиксированного размера, такого как wchar_t, заключается в том, что вы можете легко узнать длину строки, не просматривая ее.

Вы читали статью Джоэла Спольски о Абсолютный минимум. Каждый разработчик программного обеспечения должен абсолютно точно знать о Unicode и наборах символов (без оправданий!)?

What is the difference between UTF and UCS.

Кодировки UCS имеют фиксированную ширину и обозначаются количеством байтов, используемых для каждого символа. Например, UCS-2 требует 2 байта на символ. Символы с кодовыми точками за пределами доступного диапазона не могут быть закодированы в кодировке UCS.

Кодировки UTF имеют переменную ширину и отмечены минимальным количеством бит для хранения символа. Например, для UTF-16 требуется не менее 16 бит (2 байта) на символ. Символы с большими кодовыми точками кодируются с использованием большего количества байтов - 4 байта для астральных символов в UTF-16.

• Internal representation inside the code
• Best storage representation (i.e. In file)
• Best on wire transport format (Transfer between application that may be on different architectures and have a different standard locale)

Для современных систем наиболее разумной кодировкой хранения и транспорта является UTF-8. Есть особые случаи, когда другие могут быть подходящими - UTF-7 для старых почтовых серверов, UTF-16 для плохо написанных текстовых редакторов - но UTF-8 является наиболее распространенным.

Предпочтительное внутреннее представительство будет зависеть от вашей платформы. В Windows это UTF-16. В UNIX это UCS-4. У каждого есть свои плюсы:

• Строки UTF-16 никогда не используют больше памяти, чем строка UCS-4. Если вы храните много больших строк с символами в основном в базовой многоязычной плоскости (BMP), UTF-16 потребует гораздо меньше места, чем UCS-4. Вне BMP он будет использовать такое же количество.
• О UCS-4 легче рассуждать. Поскольку символы UTF-16 могут быть разделены на несколько «суррогатных пар», может быть сложно правильно разделить или отобразить строку. Текст UCS-4 не имеет этой проблемы. UCS-4 также действует так же, как текст ASCII в массивах "char", поэтому существующие текстовые алгоритмы могут быть легко перенесены.

Наконец, некоторые системы используют UTF-8 в качестве внутреннего формата. Это хорошо, если вам нужно взаимодействовать с существующими системами на основе ASCII или ISO-8859, потому что байты NULL не присутствуют в середине текста UTF-8 - они находятся в UTF-16 или UCS-4.

Во внутреннем представлении внутри кода вам лучше сделать это как для европейских, так и для неевропейских символов:

\ uNNNN

Символы в диапазоне от \ u0020 до \ u007E и небольшие пробелы (например, конец строки) могут быть записаны как обычные символы. Все, что выше \ u0080, если вы напишете это как обычный символ, то оно будет компилироваться только на вашей кодовой странице (например, ОК во Франции, но нарушение в России, ОК в России, но нарушение в Японии, ОК в Китае, но нарушение в США и т. д.).