Как отсортировать массив строк UTF-8?

Это очень сложный проблема, поскольку данные в кодировке UTF-8 могут содержать любой символ Unicode (т.е. символы из многих 8-битных кодировок, которые по-разному сопоставляются в разных регионах).

Возможно, если вы преобразовали данные UTF-8 в Unicode (извините, не знакомы с функциями PHP unicode), а затем нормализовали их в NFD или NFKD, а затем сортировка по кодовым точкам могла бы дать некоторую сортировку, которая будет иметь для вас смысл (например, «A» до » Ä ").

Проверьте ссылки, которые я предоставил.

Обновлено: поскольку вы упомянули, что ваши входные данные ясны (я предполагаю, что все они попадают в кодовую страницу "windows-1252"), вам следует выполнить следующее преобразование: UTF-8 → Unicode → Windows-1252, на котором Windows-1252 закодированные данные выполняют сортировку, выбирая локаль "CP1252".

Использование вашего примера с кодовой страницей 1252 отлично работало здесь, на моей машине для разработки Windows.

$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$oldLocal=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, 'German_Germany.1252'));
usort($array, 'strcoll');
var_dump(setlocale(LC_COLLATE, $oldLocal));
var_dump($array);

... отрезать ...

Это было с PHP 5.2.6. Кстати.

function traceStrColl($a, $b) {
    $outValue = strcoll($a, $b);
    echo "$a $b $outValue\r\n";
    return $outValue;
}

$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
setlocale(LC_COLLATE, 'German_Germany.65001');
usort($array, 'traceStrColl');
print_r($array);

дает:

Ungetüme Äpfel 2147483647
Ungetüme Birnen 2147483647
Ungetüme Apfel 2147483647
Ungetüme Ungetiere 2147483647
Österreich Ungetüme 2147483647
Äpfel Ungetiere 2147483647
Äpfel Birnen 2147483647
Apfel Äpfel 2147483647
Ungetiere Birnen 2147483647

Я нашел несколько отчеты об ошибках, которые были помечены как фальшивка ... Лучше всего, что у вас есть, - это заполнить отчет об ошибке, я полагаю ...

Ваша сортировка должна соответствовать набору символов. Поскольку ваши данные закодированы в UTF-8, вам следует использовать параметры сортировки UTF-8. На разных платформах он может называться по-разному, но лучше предположить, что это будет de_DE.utf8.

В системах UNIX вы можете получить список установленных в настоящее время локалей с помощью команды

locale -a

В конце концов, эта проблема не может быть решена простым способом без использования перекодированных строк (UTF-8 → Windows-1252 или ISO-8859-1), как предлагает ΤΖΩΤΖΙΟΥ, из-за очевидной ошибки PHP, обнаруженной Хуппи. Чтобы обобщить проблему, я создал следующий фрагмент кода, который ясно демонстрирует, что проблема заключается в функции strcoll () при использовании кодовой страницы 65001 Windows-UTF-8.

function traceStrColl($a, $b) {
    $outValue=strcoll($a, $b);
    echo "$a $b $outValue\r\n";
    return $outValue;
}

$locale=(defined('PHP_OS') && stristr(PHP_OS, 'win')) ? 'German_Germany.65001' : 'de_DE.utf8';

$string = "ABCDEFGHIJKLMNOPQRSTUVWXYZÄÖÜabcdefghijklmnopqrstuvwxyzäöüß";
$array=array();
for ($i=0; $i<mb_strlen($string, 'UTF-8'); $i++) {
    $array[]=mb_substr($string, $i, 1, 'UTF-8');
}
$oldLocale=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, $locale));
usort($array, 'traceStrColl');
setlocale(LC_COLLATE, $oldLocale);
var_dump($array);

Результат:

string(20) "German_Germany.65001"
a B 2147483647
[...]
array(59) {
  [0]=>
  string(1) "c"
  [1]=>
  string(1) "B"
  [2]=>
  string(1) "s"
  [3]=>
  string(1) "C"
  [4]=>
  string(1) "k"
  [5]=>
  string(1) "D"
  [6]=>
  string(2) "ä"
  [7]=>
  string(1) "E"
  [8]=>
  string(1) "g"
  [...]

Тот же фрагмент кода работает на компьютере с Linux без каких-либо проблем, создавая следующий результат:

string(10) "de_DE.utf8"
a B -1
[...]
array(59) {
  [0]=>
  string(1) "a"
  [1]=>
  string(1) "A"
  [2]=>
  string(2) "ä"
  [3]=>
  string(2) "Ä"
  [4]=>
  string(1) "b"
  [5]=>
  string(1) "B"
  [6]=>
  string(1) "c"
  [7]=>
  string(1) "C"
  [...]

Этот фрагмент также работает при использовании строк в кодировке Windows-1252 (ISO-8859-1) (конечно, тогда необходимо изменить кодировку mb_ * и языковой стандарт).

Я отправил отчет об ошибке на bugs.php.net: Ошибка № 46165 strcoll () не работает со строками UTF-8 в Windows.. Если у вас возникла та же проблема, вы можете оставить свой отзыв команде PHP на странице отчета об ошибке (две другие, вероятно, связанные ошибки были классифицированы как фальшивка - я не думаю, что это ошибка фальшивка ;-).

Спасибо вам всем.

Обновление по этому вопросу:

Несмотря на то, что обсуждение этой проблемы показало, что мы могли обнаружить ошибку PHP с strcoll() и / или setlocale(), это явно не так. Проблема скорее заключается в ограничении реализации setlocale() в Windows CRT (PHP setlocale() - это просто тонкая оболочка вокруг вызова CRT). Ниже приводится ссылка на Страница MSDN "setlocale, _wsetlocale":

The set of available languages, country/region codes, and code pages includes all those supported by the Win32 NLS API except code pages that require more than two bytes per character, such as UTF-7 and UTF-8. If you provide a code page like UTF-7 or UTF-8, setlocale will fail, returning NULL. The set of language and country/region codes supported by setlocale is listed in Language and Country/Region Strings.

Поэтому невозможно использовать строковые операции с учетом локали в PHP в Windows, когда строки закодированы в многобайтовом формате.

$a = array( 'Кръстев', 'Делян1', 'делян1', 'Делян2', 'делян3', 'кръстев' );
$col = new \Collator('bg_BG');
$col->asort( $a );
var_dump( $a );

Печать:

array
  2 => string 'делян1' (length=11)
  1 => string 'Делян1' (length=11)
  3 => string 'Делян2' (length=11)
  4 => string 'делян3' (length=11)
  5 => string 'кръстев' (length=14)
  0 => string 'Кръстев' (length=14)

Класс Collator определен в Расширение PECL intl. Он распространяется с исходными кодами PHP 5.3, но может быть отключен для некоторых сборок. Например. в Debian он находится в пакете php5-intl.

Collator::compare полезен для usort.

Мне очень помогает нашел эту следующую вспомогательную функцию для преобразования всех букв строки в буквы ASCII.

function _all_letters_to_ASCII($string) {
  return strtr(utf8_decode($string), 
    utf8_decode('ŠŒŽšœžŸ¥µÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝßàáâãäåæçèéêëìíîïðñòóôõöøùúûüýÿ'),
    'SOZsozYYuAAAAAAACEEEEIIIIDNOOOOOOUUUUYsaaaaaaaceeeeiiiionoooooouuuuyy');
}

После этого простой array_multisort() даст вам то, что вы хотите.

$array = array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$reference_array = $array;

foreach ($reference_array as $key => &$value) {
  $value = _all_letters_to_ASCII($value);
}
var_dump($reference_array);

array_multisort($reference_array, $array);
var_dump($array);

Конечно, вы можете приспособить вспомогательную функцию к более продвинутым потребностям. Но пока все выглядит неплохо.

array(6) {
  [0]=> string(6) "Birnen"
  [1]=> string(5) "Apfel"
  [2]=> string(8) "Ungetume"
  [3]=> string(5) "Apfel"
  [4]=> string(9) "Ungetiere"
  [5]=> string(10) "Osterreich"
}

array(6) {
  [0]=> string(5) "Apfel"
  [1]=> string(6) "Äpfel"
  [2]=> string(6) "Birnen"
  [3]=> string(11) "Österreich"
  [4]=> string(9) "Ungetiere"
  [5]=> string(9) "Ungetüme"
}

У меня такая же проблема с немецким «Умлауте». После некоторых исследований это сработало для меня:

$laender =array("Österreich", "Schweiz", "England", "France", "Ägypten");  
$laender = array_map("utf8_decode", $laender);  
setlocale(LC_ALL,"de_DE@euro", "de_DE", "deu_deu");  
sort($laender, SORT_LOCALE_STRING);  
$laender = array_map("utf8_encode", $laender);  
print_r($laender);

Результат:

Array
(
[0] => Ägypten
[1] => England
[2] => France
[3] => Österreich
[4] => Schweiz
)