Импорт файлов csv в таблицы кустов; Данные содержат дополнительные запятые и, следовательно, не импортируются правильно

У меня хорошее сочетание запятых, одинарных и двойных кавычек в данных csv. Сначала я попытался создать таблицу Hive непосредственно из файла csv, и это работает.

Однако заказчик хочет, чтобы паркетный стол был доступен как для Hive, так и для Impala. Поэтому я изменил один простой запрос, который строит таблицу кустов, на запрос из трех частей, который

  1. создает основную таблицу
  2. создает постоянный улей и
  3. импорт из таблицы 1 в таблицу 2.

Теперь сам файл csv импортируется в среду Hive. Я пробовал два способа сделать это

# 1 используйте текст для столбцов, чтобы разделить все столбцы и

# 2 без текста в столбцы, а прямой импорт.

Проблема №1 в том, что есть дополнительный ручной шаг. Проблема с подходом №2 заключается в том, что весь текст теперь отображается в 1 столбце, и это нормально. Но когда я использую запрос из трех частей для его импорта, данные не выравниваются в итоговой таблице. Пример записи в таблице1 показан ниже -

[email protected],"FirstName","LastName","Xyz, Abcd; Damage Claim T20212020","Hdgsd, Fashs; Damage Claim T20212020","","[email protected]","10/10/1600 4:04:22 PM","10/10/1600 4:04:22 PM","10/10/1600 12:00:00 AM","Accepted","11/11/1600 6:22:48 AM","14428","SOMENAME"

Мой первый запрос здесь-

Create External Table If Not Exists ${environment}folder.sample_table(
email1 string,
firstName string,
lastName string,
matter string,
holdname string,
id1 string,
email2 string,
email3 string,
date1 string,
date2 string,
response string,
date3 string,
id2 string,
Account string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES ('separatorChar' = ",",'quoteChar'= "\"", 'escapeChar' = "\\")
STORED AS TEXTFILE
LOCATION '/${directory}/loc1/loc2/loc3/';

Мой запрос на вставку sql находится здесь -

Insert overwrite table ${environment}folder2.sme
select
split(email,",")[0] as email
split(email,",")[1] as firstname

Если я не использую функцию разделения, все данные останутся в одном столбце. Если я использую функцию разделения, она работает нормально до нескольких первых столбцов и начинает ломаться, если точка данных находится в таком формате: «Мое имя, привет, привет». Я пробовал reg_exp, но не уверен, работает ли он так же, как и в других местах (например, в python). Любые предложения приветствуются. TIA

Я думаю, проблема в кавычках. можно ли их удалить перед загрузкой? И я думаю, что размещение данных в соответствующих столбцах лучше, чем использование split.

Koushik Roy 06.04.2021 06:41
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
1
17
0

Другие вопросы по теме