Разбор CSV в базу данных для API с использованием Python?
Я собираюсь использовать данные из .csv, чтобы обучить модель прогнозирования активности пользователей в объявлениях Google (показы, клики) в зависимости от погоды на данный день. И у меня есть .csv, содержащий 6000+ записей этой информации, и я хочу проанализировать ее в базе данных с помощью Python.
Я попытался сделать df в пандах, но по какой-то причине вся таблица не отображается. Средние столбцы (я думаю, около 7 столбцов) и строки (как я уже упоминал, их пронумеровано более 6000) заменяются на '...', когда я распечатываю таблицу, поэтому я не уверен, сохраняется ли вся информация и если это можно будет использовать.
Моей следующей попыткой будет SQLite, но, поскольку это локальная память, не будет ли это мешать кому-то другому делать запросы к моей конечной точке API, если у меня не будет активно открываться база данных все время?
Заранее спасибо.
Ответы 1
Если вы использовали pd.read_csv(), могу вас заверить, что вся информация там есть, просто она не отображается.
Вы можете проверить это, выполнив что-то вроде print(df['Column_name_you_are_interested_in'].tolist()), просто чтобы убедиться. Вы также можете использовать различные методы типа count в пандах, чтобы убедиться, что все ваши строки присутствуют.
Panadas довольно универсален, поэтому у него не должно возникнуть проблем с 6000 строками.
Спасибо! Я использовал read.csv (). Я бы включил код, но вчера вечером я удалил его все, пытаясь исправить все с помощью какого-либо решения SQL.
Но также, если вы не против ответить, как мне преобразовать даты, используемые для получения данных о погоде, в числовые значения, когда я хочу обучить с ними модель? Когда дело доходит до ML, я очень зелёный за ушами.
Я бы использовал что-то вроде datetime, чтобы преобразовать время в UNIX и перейти оттуда. На всякий случай, если вы не знакомы с этим, UNIX-время - это целое число секунд с 1 января 1970 года ... оно должно быть вам полезно
Если вы выберете sqlite, вы можете импортировать файлы CSV в таблицы из его программы оболочки командной строки
sqlite3, код не требуется: sqlite.org/cli.html#csv_import