Как скачать и проанализировать JSON с помощью Python FAST

Я пытаюсь загрузить файл JSON с помощью

with urlopen(url_str) as url:
    return json.loads(url.read().decode())

и работает неприемлемо медленно (в 10+ раз медленнее, чем эквивалентный Java-код).

Есть ли способ выполнить эту операцию на нормальной скорости?

ОБНОВИТЬ

Я написал так:

def read_json_data(url_str: str):
    req = Request(url_str, headers = {'Accept-encoding': 'gzip'})
    with urlopen(req) as resp:
        if resp.info().get('Content-Encoding') == 'gzip':
            with gzip.GzipFile(fileobj=resp) as fp:
                data = json.load(fp)
        else:
            data = json.load(resp)
        return data

Но получаю ошибку на json.load(fp):

TypeError: the JSON object must be str, not 'bytes'

Почему? Разве json.load (без s) не принимает указатель файла?

не могли бы вы предоставить ссылку, которую вы загружаете? И каков приблизительный размер? Наконец, если важна скорость, я бы не стал рассматривать использование Python в первую очередь.

— 15.05.2018 23:53

Это произошло из-за использования сжатия gzip, которое поддерживал код Java, а python - нет.

— 16.05.2018 00:06

модуль requests поддерживает gzip.

— 16.05.2018 00:16

python json python-3.x performance download

15.05.2018 23:49

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

757

Ответы 1

urlopen поддерживает gzip, вам просто нужно спросить об этом:

import urllib.request
import gzip
import json

urlstr = "http://example.com/your-json-url"

req = urllib.request.Request(urlstr,
    headers = {'Accept-encoding':'gzip'})

resp = urllib.request.urlopen(req)
if resp.info().get('Content-Encoding') == 'gzip':
    print("got gzip")
    data = json.load(gzip.GzipFile(resp))
else:
    print("no gzip")
    data = json.load(resp)

для меня gzip.GzipFile() не принимает resp, говоря TypeError: invalid file: <http.client.HTTPResponse object at 0x00000192A6343DA0>

— 16.05.2018 14:57

16.05.2018 00:35