Хранилище данных Django - SQL или что-то еще?

Я создаю веб-приложение Django, которое по существу будет предоставлять пользователям статические данные. Под статическим я подразумеваю, что администраторы смогут загружать новые наборы данных, но пользователи не будут вводить данные. По сути, после загрузки данных они будут доступны только для чтения по запросу пользователя.

Учитывая, что это довольно большие наборы данных (более 200 тыс. строк), я решил, что SQL будет лучшим способом хранения данных — это позволяет избежать чтения больших наборов данных в памяти (как вам пришлось бы делать с рассола или json?). Это имеет дополнительный бонус использования моделей Django для доступа к данным.

Однако я не уверен, как лучше всего это сделать и есть ли лучшая альтернатива SQL. В настоящее время у меня есть страница администратора, которая позволяет загружать файлы .xlsx, которые затем анализируются и добавляются в качестве записей модели построчно. Это занимает НАВСЕГДА (30+ минут для 100 тыс. строк). Возможно, мне следует создать совершенно новую базу данных за пределами Django, а затем каким-то образом импортировать ее, но я не могу найти много документации о том, как это можно/должно быть сделано. Благодарим за любую идею! Заранее спасибо за любую мудрость.

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
0
54
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете попробовать использовать формат файла .csv вместо .xlsx. Python имеет библиотеки, которые позволяют вам легко записывать в базу данных sql, используя формат .csv (значения, разделенные запятыми). Ответ Этот может оказаться полезным. Надеюсь, вы найдете то, что ищете, и удачного кодирования!

Я рассматривал такой вариант. Я буду следить за сообщением, которое вы связали, спасибо!

Cameron Hyde 21.03.2019 06:22

@CameronHyde, если вы считаете, что это ответ, отметьте его как правильный. Я счастлив, что смог помочь.

rawplutonium 21.03.2019 11:41

Другие вопросы по теме