Вы еще свободно владеете Unicode?

Я некоторое время работал с программным обеспечением для поисковых систем - вы не поверите, сколько веб-сайтов обслуживают контент с заголовками HTTP или метатегами, которые лгут о кодировке страниц. Часто вы даже получаете документ, содержащий как символы ISO-8859, так и символы UTF-8.

Как только вы справитесь с некоторыми из таких проблем, вы начнете серьезно относиться к правильной кодировке данных, которые вы производите.

С тех пор, как я прочитал статью Джоэла и некоторые другие статьи I18n, я всегда внимательно следил за своей кодировкой символов; И это действительно работает, если вы делаете это постоянно. Если вы работаете в компании, где стандартно использовать UTF-8, и все это знают / делают это, это сработает.

Вот несколько интересных статей (помимо статьи Джоэла) на эту тему:

• http://www.tbray.org/ongoing/When/200x/2003/04/06/Unicode
• http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF

Цитата из первой статьи; Советы по использованию Unicode:

• Примите Unicode, не сопротивляйтесь; это, вероятно, правильный поступок, и если бы это было не так, вам, вероятно, все равно пришлось бы поступить.
• Внутри вашего программного обеспечения храните текст как UTF-8 или UTF-16; то есть выберите одно из двух и придерживайтесь его.
• По возможности обмениваться данными с внешним миром, используя XML; это избавляет от множества потенциальных проблем.
• Постарайтесь сделать ваше приложение основанным на браузере, а не писать собственный клиент; браузеры действительно неплохо справляются с текстами мира.
• Если вы используете чужой библиотечный код (а вы, конечно, используете), предполагайте, что его обработка Unicode нарушена, пока не будет доказано, что это правильно.
• Если вы занимаетесь поиском, постарайтесь передать лингвистические проблемы и проблемы с персонажами тому, кто их понимает.
• Сходите на Amazon или где-нибудь и купите последнюю версию печатного стандарта Unicode; он содержит довольно хорошо все, что вам нужно знать.
• Потратьте некоторое время на изучение веб-сайта Unicode и изучение того, как работают диаграммы кода.
• Если вам придется серьезно поработать с азиатскими языками, купите книгу О'Рейли по этой теме Кена Лунде.
• Если у вас Macintosh, бегите и возьмите инструмент проверки шрифтов Unicode от Lord Pixel. Совершенно круто.
• Если вам действительно придется разобраться с данными, сходите на одну из конференций по Unicode, проводимых два раза в год. Идут все эксперты, и если вы не знаете, что вам нужно знать, вы сможете найти там кого-нибудь, кто знает.

Эмпирическое правило: если вы никогда не просматриваете строку и не просматриваете ее, а вместо этого относитесь к ней строго как к блоку данных, вам будет намного лучше.

Даже выполнение такой простой задачи, как разделение слов или строчные строки, становится трудным, если вы хотите сделать это «в стиле Юникода».

И если вы хотите сделать это «по-юникодски», вам понадобится ужасно хорошая библиотека. Это невероятно сложно.

.NET Framework использует кодировку Windows по умолчанию для хранения строк, которая оказывается UTF-16. Если вы не укажете кодировку при использовании большинства классов текстового ввода-вывода, вы напишете UTF-8 без спецификации и прочитаете, сначала проверив спецификацию, а затем предположив UTF-8 (я точно знаю, что StreamReader и StreamWriter ведут себя так Это довольно безопасно для «тупых» текстовых редакторов, которые не понимают спецификации, но для более умных, которые могут отображать UTF-8, или ситуации, когда вы фактически пишете символы вне стандартного диапазона ASCII.

Обычно это незаметно, но может интересным образом вскинуть голову. Вчера я работал с кем-то, кто использовал сериализацию XML для сериализации объекта в строку с помощью StringWriter, и он не мог понять, почему кодировка всегда была UTF-16. Поскольку строка в памяти будет иметь кодировку UTF-16 и это обеспечивается .NET, это единственное, что может сделать структура сериализации XML.

Итак, когда я пишу что-то, что не является просто одноразовым инструментом, я указываю кодировку UTF-8 с помощью спецификации. Технически в .NET вы всегда будете случайно распознавать Unicode, но только если ваш пользователь знает, что ваша кодировка определяется как UTF-8.

Это заставляет меня немного плакать каждый раз, когда я вижу, как кто-то спрашивает: «Как мне получить байты строки?» и предлагаемое решение использует Encoding.ASCII.GetBytes() :(