Как вы устанавливаете строки в верхний / нижний регистр в Юникоде?

Существует файл сопоставления, который содержит все сопоставления случаев, которые имеют соотношение сопоставления 1: 1. Обычно операционные системы / фреймворки / библиотеки поддерживают определенную версию Unicode, и поскольку этот файл сопоставлений случаев является версионным, вы получите сопоставления для той версии Unicode, которая поддерживается вашей конкретной ОС / фреймворком / библиотекой / всем, что случилось.

Для получения дополнительной информации о сопоставлении регистра Unicode см .: http://www.unicode.org/faq/casemap_charprop.html

В большинстве систем письма нет отдельных прописных и строчных букв. Согласно Википедии, исключения включают «римский, греческий, кириллический и армянский алфавиты».

Так что не так уж много писем, о которых стоит беспокоиться. Эта страница показывает, что большие диапазоны символов следуют простой схеме добавления 1 к символу верхнего регистра, чтобы получить эквивалент в нижнем регистре (хотя, конечно, есть некоторые исключения).

Я собираюсь обратиться к части этого вопроса, касающейся MS SQL Server, но «правильный» ответ на самом деле зависит от поддерживаемого языка (языков) и приложения.

Когда вы создаете таблицу в SQL Server, каждое текстовое поле имеет неявно или явно заданное сопоставление. Это влияет как на порядок сортировки, так и на поведение сравнения. По умолчанию для большинства языковых стандартов английского языка (США) используется Latin1_General_CI_AS или Latin 1, без учета регистра, с учетом диакритических знаков. Это означает, например, что a = A, но a! = Ä и a! = Ä. Вы также можете использовать нечувствительность к акценту (Latin1_General_CI_AI), которая рассматривает все диакритические вариации буквы «A» как равные.

Некоторые языковые стандарты поддерживают другие категории сравнения; например, во французском языке слова, содержащие диакритические знаки, упорядочиваются несколько иначе, чем в немецком. Турецкий считает, что i без точки и i с точками семантически различаются, поэтому I и i не совпадают даже с нечувствительными к регистру сравнениями, если вы используете турецкую сортировку без учета регистра и с учетом акцента.

Вы можете изменить параметры сортировки для каждой базы данных, для каждой таблицы, для каждого поля и, за определенную плату, даже для каждого запроса. Насколько я понимаю, индексы нормализуются в соответствии с указанным порядком сопоставления, что означает, что в основном индекс сохраняет сглаженную версию исходной строки. Например, при сопоставлении без учета регистра яблоко и яблоко хранятся как яблоко. Перед поиском запросы выравниваются с использованием той же сортировки.

В японском языке существует еще одна категория нормализации, где символы полной и половинной ширины, такие как ア = ｱ, а в некоторых случаях два символа половинной ширины сглаживаются до одного семантически эквивалентного символа (バ = ﾊﾞ). Наконец, для некоторых языков есть еще один восковой шар с составными символами, где отдельные диакритические символы могут быть составлены с другими символами (например, умляут в ä - это один символ, составленный с простой формой a). В этой категории есть вариации на вьетнамском, тайском и некоторых других языках. Если есть каноническая форма, нормализация Unicode позволяет рассматривать составные и разложенные формы как эквивалентные. Нормализация Unicode обычно применяется до проведения каких-либо сравнений.

Подводя итог, для сравнения без учета регистра вы делаете то же самое, что и при сравнении строк диапазона ASCII: выравнивайте левую и правую стороны сравнения «в нижний регистр» (например), затем сравнивайте массив как двоичный множество. Разница в том, что вам нужно 1) нормализовать строки к той же форме Unicode (kC или kD) 2) нормализовать строки к одному и тому же регистру в соответствии с правилами этой локали 3) нормализуйте акценты в соответствии с правилами чувствительности к акцентам 4) сравнить по бинарному сравнению 4) если применимо, например, в случае сортировки, сравните с использованием дополнительных вторичных и тернарных правил сортировки, которые включают в себя вещи, аналогичные вещам вроде «Mc» сортирует перед «M» в некоторых языках.

И да, Windows хранит таблицы для всех этих правил. Вы не получаете их все по умолчанию при каждой установке, если только вы не добавите их поддержку с помощью поддержки восточноазиатских языков и поддержки сложных сценариев с панели управления.

Правильный ответ немного сложнее, в зависимости от того, что вы пытаетесь сделать.

При сравнении символьных строк для приложений сортировки или поиска правильный алгоритм для использования указывается в UTS № 10: «Алгоритм сортировки Unicode».. Нечувствительность к регистру является частью смеси, но существуют разные способы представления множества символов, и приложениям часто приходится рассматривать различные представления как эквивалент.

Правила сортировки зависят от региона. В основном это проблема, когда вы сортируете результаты для отображения пользователю. Игнорирование правил может расстроить пользователей и даже привести к уязвимости системы безопасности.

Если вы просто пытаетесь использовать слова с большой буквы для отображения, правила там тоже могут быть хитрыми; есть преобразования "один ко многим" и другие проблемы. В зависимости от языкового стандарта одна и та же буква может использоваться по-разному. Положение буквы в слове может иметь значение. Также существует четкое понятие «заглавный регистр», когда вы просто хотите использовать первую букву каждого слова с заглавной буквы. Иногда регистр заголовка символа не совпадает с его верхним регистром.