Я создаю веб-приложение Django, которое по существу будет предоставлять пользователям статические данные. Под статическим я подразумеваю, что администраторы смогут загружать новые наборы данных, но пользователи не будут вводить данные. По сути, после загрузки данных они будут доступны только для чтения по запросу пользователя.
Учитывая, что это довольно большие наборы данных (более 200 тыс. строк), я решил, что SQL будет лучшим способом хранения данных — это позволяет избежать чтения больших наборов данных в памяти (как вам пришлось бы делать с рассола или json?). Это имеет дополнительный бонус использования моделей Django для доступа к данным.
Однако я не уверен, как лучше всего это сделать и есть ли лучшая альтернатива SQL. В настоящее время у меня есть страница администратора, которая позволяет загружать файлы .xlsx, которые затем анализируются и добавляются в качестве записей модели построчно. Это занимает НАВСЕГДА (30+ минут для 100 тыс. строк). Возможно, мне следует создать совершенно новую базу данных за пределами Django, а затем каким-то образом импортировать ее, но я не могу найти много документации о том, как это можно/должно быть сделано. Благодарим за любую идею! Заранее спасибо за любую мудрость.






Вы можете попробовать использовать формат файла .csv вместо .xlsx. Python имеет библиотеки, которые позволяют вам легко записывать в базу данных sql, используя формат .csv (значения, разделенные запятыми). Ответ Этот может оказаться полезным. Надеюсь, вы найдете то, что ищете, и удачного кодирования!
@CameronHyde, если вы считаете, что это ответ, отметьте его как правильный. Я счастлив, что смог помочь.
Я рассматривал такой вариант. Я буду следить за сообщением, которое вы связали, спасибо!