Python кодирует китайский язык в специальный символ
У меня есть запрос scrape / curl для получения html с другого сайта, на котором есть китайский язык, но какой-то текстовый результат странный, он выглядит так:
°¢Àï°Í°ÍΪÄúÌṩÁË×ÔÁµÕß¹¤³§Ö±ÏúÆ·ÅƵç×Ó±í ÖÇÄÜʱÉг±Á÷ŮʿÊÖ»·ÊÖÁ´Ê×Êαí´øµÈ²úÆ·£¬ÕâÀïÔƼ¯ÁËÖÚ¶àµÄ¹©Ó¦ÉÌ£¬²É¹ºÉÌ£¬ÖÆÔìÉÌ¡£ÓûÁ˽â¸ü¶à×ÔÁµÕß¹¤³§Ö±ÏúÆ·ÅƵç×Ó±í ÖÇÄÜʱÉг±Á÷ŮʿÊÖ»·ÊÖÁ´Ê×Êαí´øÐÅÏ¢£¬Çë·ÃÎÊ°¢Àï°Í°ÍÅú·¢Íø£¡
это должно быть на китайском языке, и это мой код:
str(result.decode('ISO-8859-1'))
Если без декодирования 'ISO-8859-1' (возвращает только переменную результат), он будет отображать вопросительный знак следующим образом:
����Ͱ�Ϊ���ṩ�������߹���ֱ��Ʒ�Ƶ��ӱ� ����ʱ�г���Ůʿ�ֻ��������α����Ȳ�Ʒ�������Ƽ����ڶ�Ĺ�Ӧ�̣��ɹ��̣������̡����˽���������߹���ֱ��Ʒ�Ƶ��ӱ� ����ʱ�г���Ůʿ�ֻ��������α�����Ϣ������ʰ���Ͱ���������
Не могли бы вы помочь мне, какой кодирование / декодирование мне следует использовать?
Спасибо
@ThuYeinTun Я вижу результат заголовка, отображаемый как text / html; charset = GBK, когда я использую iso-8859-1, он отображается как первый результат выше ° Àï ° Í ° ÍΪÄúÌá¹ © ÁË × ÔÁµÕß¹¤xxx
Если это GBK, то вам стоит попробовать этот конвертировать-GBK-в-UTF8-строка-в-Python
Ответы 3
У китайского языка есть несколько возможных кодировок.
3 распространенных китайских кодировки: gb2312, big5 и gbk.
.
Вот фрагмент для преобразования из gb2312 в utf-8.
import codecs
infile = codecs.open("in.txt", "r", "gb2312")
lines = infile.readline()
infile.close()
print(lines)
outfile = codecs.open("out.txt", "wb", "utf-8")
outfile.writelines(lines)
outfile.close()
Попробуйте этот блок кода.
Вы можете сделать это, импортировав файл unquote и закодировав контент, используя механизм кодирования latin1.
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from urllib2 import unquote
bytesquoted = u'å%8f°å%8d%97 親å%90é¤%90廳'.encode('latin1')
unquoted = unquote(bytesquoted)
print unquoted.decode('utf8')
Вывод :
台南 親子 餐廳
В конце строки у меня AttributeError: 'str' object has no attribute 'decode', trinket.io/python/63e1aef683
Как упоминал @Thu Yein tun, это было действительно простое решение, чтобы увидеть ответ заголовка ссылки http-запроса для типа контента, и он отображается как text / html; charset = GBK, затем я даю решение своему коду следующим образом
result.decode('gbk')
Вы должны проверить, какую кодировку использует сайт. Вы можете проверить переменную «content-type» в заголовке HTTP, чтобы узнать, имеют ли они значение «encoding =». И используйте это для декодирования. А что будет при декодировании с помощью "iso-8859-1"? Он правильно отображается?