Загрузите и создайте таблицу из CSV-файла в BigQuery
Я попытался создать таблицу в наборе данных, который я уже создал и сохранил, первый файл CSV был успешно загружен, но второй файл, который я попробовал, показывает следующую ошибку, когда я нажимаю «Создать таблицу»: Не удалось создать таблицу: ошибка при чтении данных, сообщение об ошибке: в таблице CSV обнаружено слишком много ошибок, отказ. Рядов: 100; ошибки: 100. Для получения более подробной информации просмотрите коллекцию ошибок[]. Глядя на детали, он показывает много сообщений, как показано ниже:
Ошибка при чтении данных, сообщение об ошибке: Неверный часовой пояс: AM; номер_строки: 2 byte_offset_to_start_of_line: 15 индекс_столбца: 1 имя_столбца: «Время» тип_столбца: значение TIMESTAMP: «01.04.2016 7:54:00»
Ошибка при чтении данных, сообщение об ошибке: Неверный часовой пояс: AM; номер_строки: 3 byte_offset_to_start_of_line: 50 индекс_столбца: 1 имя_столбца: «Время» тип_столбца: значение TIMESTAMP: «01.04.2016 7:54:05» И т. д
Как я могу исправить эти ошибки в файле? он слишком велик, чтобы Excel мог его открыть... а я новичок в BigQuery, а также в R! Любая помощь будет оценена по достоинству! Большое спасибо!
Ответы 2
Значения временных меток в вашем CSV (4/1/2016 7:54:00 AM) не соответствуют формату, ожидаемому BigQuery. См. Загрузка данных CSV из Cloud Storage:
При загрузке данных JSON или CSV значения в столбцах
TIMESTAMPдолжны использовать тире (-) или косую черту (/) для разделителя даты в метке времени, а дата должна быть в одном из следующих форматов:YYYY-MM-DD(год-месяц) -день) илиYYYY/MM/DD(год/месяц/день). В части метки времениhh:mm:ss(часы-минуты-секунды) необходимо использовать разделитель двоеточие (:).
Вам необходимо сгенерировать данные, используя формат временных меток, который понимает BigQuery, или предварительно обработать их, прежде чем пытаться загрузить в BigQuery.
Пост-процесс может здесь упростить задачу (загрузить данные в BQ как строку и использовать parse_timestamp для обратного преобразования)
@Eugenia24 Eugenia24, если ответ вам помог, этикет StackOverflow заключается в том, чтобы проголосовать за ответ :)
Пара вариантов
- Вместо предварительной обработки перейдите к постобработке
- Измените тип данных столбца на String (после первой загрузки) → Это позволит вам беспрепятственно загружать данные, начиная со второй загрузки.
- Создайте представление для обратного преобразования строки в метку времени с помощью функции parse_timestamp.
- Используйте
LOAD DATA SQLс опциейOVERWRITE, не указывая никакой схемы, чтобы создать новую таблицу (аналогично первой загрузке таблицы). https://cloud.google.com/bigquery/docs/reference/standard-sql/other-statements#load_data_statement
Большое спасибо! но как я могу предварительно обработать свои данные (это будет изменение формата даты/времени на формат TIMESTAMP), если мой файл слишком велик для открытия в Excel? есть ли способ изменить это в csv или другой программе? извините, это очень ново, и я застрял на этом. Любая помощь приветствуется!