Избегание декодирования «символьного аргумента вне диапазона» python3
Я пытаюсь декодировать содержимое вызова requests.get() для определенного URL-адреса. URL-адрес, который вызывает проблему, не всегда одинаков при нескольких запусках кода, однако часть запрошенного контента, которая создает проблему, имеет тройную обратную косую черту, что дает ошибку при декодировании с использованием unicode-escape.
Как упрощенная версия кода, работающего в Python 3.6.1.
r=b'\xf0\\\xebI'
r.decode('unicode-escape').strip().replace('{','\n')
выдает следующую ошибку:
OverflowError: character argument not in range(0x110000)
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
OverflowError: decoding with 'unicode-escape' codec failed (OverflowError: character argument not in range(0x110000))
Я хотел бы просто пропустить часть, которая вызывает ошибку. Я начинающий программист на Python, поэтому любая помощь приветствуется.
В этом случае я бы ожидал: 'ðëI'. Просто пропуская часть, которая вызывает ошибку, это то, что мне нужно здесь.
Почему вы декодируете с помощью unicode-escape вместо любой кодировки, указанной в заголовке типа содержимого ответа?
Хорошо, я смог кое-что приготовить, чтобы расшифровать это, проверьте, имеет ли это смысл для вас!
Ответы 2
Данные, по-видимому, закодированы как latin-1*, поэтому самым простым решением было бы декодировать, а затем удалить обратную косую черту.
>>> r=b'\xf0\\\xebI'
>>> r.decode('latin-1').replace('\\', '')
'ðëI'
* Я предполагаю, что latin-1 (также известный как ISO-8859-1) — заголовок типа содержимого ответа должен указывать используемую кодировку, которая может быть одной из других кодировок ISO-8859-*.
Спасибо за ответ - это сработало для меня. При дальнейшем осмотре я обнаружил, что кодировка utf-8, однако использование этой стратегии с указанным типом кодировки не работает. Мне придется копаться в этом глубже, но пока это решение работает для меня. Еще раз спасибо.
Это может не сработать, если у вас есть обычная двойная косая черта
@DeveshKumarSingh Я как раз собирался прокомментировать, что, поскольку ОП подтвердил, что кодировка utf-8, ваш ответ более правильный :)
Ха-ха, думаю, ОП должен принять мой ответ, тогда лол! Я также обновил свой ответ для обычного случая @melo_gonzo с двойной обратной косой чертой :)
Спасибо вам обоим - я ценю всю помощь, так как я всего лишь новичок!
Этот набор шагов должен работать в вашем случае
In [1]: r=b'\xf0\\\xebI'
#Decode to utf-8 using backslashreplace
In [2]: x=r.decode('utf-8', errors='backslashreplace')
In [3]: x
Out[3]: '\\xf0\\\\xebI'
#Replace the extra backslash
In [4]: y = x.replace('\\\\','\\')
In [5]: y
Out[5]: '\\xf0\\xebI'
#Encode to ascii and decode to unicode-escape
In [6]: z = y.encode('ascii').decode('unicode-escape')
In [7]: z
Out[7]: 'ðëI'
Обратите внимание, что это также работает в случае двойной косой черты, ваш обычный сценарий
r=b'\xf0\\xebI'
x=r.decode('utf-8', errors='backslashreplace')
y = x.replace('\\\\','\\')
z = y.encode('ascii').decode('unicode-escape')
print(z)
#ðëI
Каков ожидаемый результат?