Преобразование объектов XML / HTML в строку Unicode в Python
Я занимаюсь парсингом в Интернете, и сайты часто используют объекты HTML для представления символов, отличных от ascii. Есть ли в Python утилита, которая принимает строку с объектами HTML и возвращает тип Unicode?
Например:
Я вернусь:
ǎ
который представляет собой «ǎ» со знаком тона. В двоичном формате это представлено как 16 бит 01ce. Я хочу преобразовать объект html в значение u'\u01ce'
Ответы 10
Здесь вы можете найти ответ - Получение международных символов с веб-страницы?
РЕДАКТИРОВАТЬ: Похоже, что BeautifulSoup не конвертирует сущности, записанные в шестнадцатеричной форме. Это можно исправить:
import copy, re
from BeautifulSoup import BeautifulSoup
hexentityMassage = copy.copy(BeautifulSoup.MARKUP_MASSAGE)
# replace hexadecimal character reference by decimal one
hexentityMassage += [(re.compile('&#x([^;]+);'),
lambda m: '&#%d;' % int(m.group(1), 16))]
def convert(html):
return BeautifulSoup(html,
convertEntities=BeautifulSoup.HTML_ENTITIES,
markupMassage=hexentityMassage).contents[0].string
html = '<html>ǎǎ</html>'
print repr(convert(html))
# u'\u01ce\u01ce'
РЕДАКТИРОВАТЬ:
Функция unescape(), упомянутая @dF, которая использует стандартный модуль htmlentitydefs, и unichr() может быть более подходящей в этом случае.
Это решение не работает с примером: print BeautifulSoup ('<html> & # x01ce; </html>', convertEntities = BeautifulSoup.HTML_ENTITIES) Это возвращает тот же объект HTML
Примечание: это применимо только к BeautifulSoup 3, не рекомендуется и считается устаревшим с 2012 года. BeautifulSoup 4 автоматически обрабатывает такие объекты HTML.
@MartijnPieters: правильно. html.unescape() - лучший вариант на современном Python.
Абсолютно. Если все, что вам нужно, - это декодировать объекты HTML, вам вообще не нужно использовать BeatifulSoup.
@MartijnPieters: в старых версиях Python, если только взлом HTMLParser.HTMLParser().unescape() не сработал для вас, использование BeautifulSoup может быть лучшей альтернативой, чем определение unescape () вручную (продажа чистой библиотеки Python вместо копирования-вставки функции).
Используйте встроенный unichr - BeautifulSoup не требуется:
>>> entity = 'ǎ'
>>> unichr(int(entity[3:],16))
u'\u01ce'
Но это требует, чтобы вы автоматически и недвусмысленно знали, где в строке находится закодированный символ Unicode, чего вы не можете знать. И вам нужно получить try...catch исключение, если вы ошиблись.
unichar был удален в python3. Есть предложения по этой версии?
В Python есть модуль htmlentitydefs, но он не включает функцию для отмены экранирования HTML-сущностей.
Разработчик Python Фредрик Лунд (среди прочего, автор elementtree) имеет такую функцию на его сайте, которая работает с десятичными, шестнадцатеричными и именованными объектами:
import re, htmlentitydefs
##
# Removes HTML or XML character references and entities from a text string.
#
# @param text The HTML (or XML) source text.
# @return The plain text, as a Unicode string, if necessary.
def unescape(text):
def fixup(m):
text = m.group(0)
if text[:2] == "&#":
# character reference
try:
if text[:3] == "&#x":
return unichr(int(text[3:-1], 16))
else:
return unichr(int(text[2:-1]))
except ValueError:
pass
else:
# named entity
try:
text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
except KeyError:
pass
return text # leave as is
return re.sub("&#?\w+;", fixup, text)
Абсолютно. Почему нет в stdlib?
Глядя на его код, кажется, что он не работает с & и тому подобным, не так ли?
Только что успешно протестирован для & amp;
Это функция, которая должна помочь вам сделать это правильно и преобразовать объекты обратно в символы utf-8.
def unescape(text):
"""Removes HTML or XML character references
and entities from a text string.
@param text The HTML (or XML) source text.
@return The plain text, as a Unicode string, if necessary.
from Fredrik Lundh
2008-01-03: input only unicode characters string.
http://effbot.org/zone/re-sub.htm#unescape-html
"""
def fixup(m):
text = m.group(0)
if text[:2] == "&#":
# character reference
try:
if text[:3] == "&#x":
return unichr(int(text[3:-1], 16))
else:
return unichr(int(text[2:-1]))
except ValueError:
print "Value Error"
pass
else:
# named entity
# reescape the reserved characters.
try:
if text[1:-1] == "amp":
text = "&amp;"
elif text[1:-1] == "gt":
text = "&gt;"
elif text[1:-1] == "lt":
text = "&lt;"
else:
print text[1:-1]
text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
except KeyError:
print "keyerror"
pass
return text # leave as is
return re.sub("&#?\w+;", fixup, text)
Почему этот ответ изменен? Мне это кажется полезным.
потому что человеку нужен символ в юникоде вместо символов utf-8. Наверное :)
Не уверен, почему поток переполнения стека не включает ";" в поиске / замене (например, лямбда m: '& #% d * ; *'). Если вы этого не сделаете, BeautifulSoup может заблокировать, потому что соседний символ может быть интерпретирован как часть HTML-кода (например, & # 39B для & # 39 Блэкаут).
У меня это сработало лучше:
import re
from BeautifulSoup import BeautifulSoup
html_string='<a href = "/cgi-bin/article.cgi?f=/c/a/2010/12/13/BA3V1GQ1CI.DTL"title = "">'Blackout in a can; on some shelves despite ban</a>'
hexentityMassage = [(re.compile('&#x([^;]+);'),
lambda m: '&#%d;' % int(m.group(1), 16))]
soup = BeautifulSoup(html_string,
convertEntities=BeautifulSoup.HTML_ENTITIES,
markupMassage=hexentityMassage)
- Int (m.group (1), 16) преобразует числовой формат (указанный в base-16) обратно в целое число.
- m.group (0) возвращает все совпадение, m.group (1) возвращает группу захвата регулярного выражения
- В основном использование markupMessage такое же, как:
html_string = re.sub ('& # x ([^;] +);', лямбда m: '& #% d;'% int (m.group (1), 16), html_string)
спасибо за обнаружение ошибки. Я редактировал мой ответ.
Альтернатива, если у вас есть lxml:
>>> import lxml.html
>>> lxml.html.fromstring('ǎ').text
u'\u01ce'
Однако будьте осторожны, потому что это также может вернуть объект типа str, если нет специального символа.
Лучшее решение, когда все выходит из строя, на помощь приходит только lxml. :)
Собственный HTMLParser стандартной библиотеки имеет недокументированную функцию unescape (), которая делает именно то, что вы думаете:
до Python 3.4:
import HTMLParser
h = HTMLParser.HTMLParser()
h.unescape('© 2010') # u'\xa9 2010'
h.unescape('© 2010') # u'\xa9 2010'
Python 3.4+:
import html
html.unescape('© 2010') # u'\xa9 2010'
html.unescape('© 2010') # u'\xa9 2010'
Этот метод не задокументирован в документации Python HTMLParser, и в источнике есть комментарий, в котором говорится, что он предназначен для внутреннего использования. Однако в Python 2.6–2.7 он работает как угощение и, вероятно, является лучшим решением. До версии 2.6 он декодировал только именованные объекты, такие как & или >.
Он представлен как функция html.unescape() в Python 3.4+.
Это поднимает UnicodeDecodeError со строками utf-8. Сначала вы должны либо decode('utf-8'), либо использовать xml.sax.saxutils.unescape.
Другое решение - встроенная библиотека xml.sax.saxutils (как для html, так и для xml). Однако он преобразует только & gt, & amp и & lt.
from xml.sax.saxutils import unescape
escaped_text = unescape(text_to_escape)
Вот версия ответ dF для Python 3:
import re
import html.entities
def unescape(text):
"""
Removes HTML or XML character references and entities from a text string.
:param text: The HTML (or XML) source text.
:return: The plain text, as a Unicode string, if necessary.
"""
def fixup(m):
text = m.group(0)
if text[:2] == "&#":
# character reference
try:
if text[:3] == "&#x":
return chr(int(text[3:-1], 16))
else:
return chr(int(text[2:-1]))
except ValueError:
pass
else:
# named entity
try:
text = chr(html.entities.name2codepoint[text[1:-1]])
except KeyError:
pass
return text # leave as is
return re.sub("&#?\w+;", fixup, text)
Основные изменения касаются htmlentitydefs, который теперь называется html.entities, и unichr, который теперь называется chr. Смотрите это Руководство по портированию Python 3.
В Python 3 вы бы просто использовали html.unescape(); зачем заводить собаку и лаять себе?
html.entities.entitydefs["apos"] does not exist, and html.unescape('can't') produces "can't" which uses the U+0027 (') instead of the proper U+2019 (’) (or U+02BC, depending on which argument you follow.). But I guess that’s intended according to the ссылка на символьный объект.
связанные: Расшифровать объекты HTML в строке Python?