Hive create table input.regex - отфильтровать все строки, начинающиеся с символа
Я хочу создать таблицу в Hive
CREATE TABLE table (
a string
,b string
)
PARTITIONED BY ( pr_filename string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES ('input.regex'='reg_exp') ;но исходные данные имеют многострочный заголовок, начинающийся с "#"
# <some comment>
#
# <some other comments>
# <some other comments>
# <some other comments>
#
a,b
1,2
8,2
8,9
Можно ли написать reg_exp, чтобы отфильтровать все строки, начинающиеся с выбранного символа, или мне нужно использовать временную таблицу для обработки этого заголовка?
Ответы 1
Если вы попытаетесь фильтровать следующим образом:
'input.regex'='^([^#]+),([a-zA-Z])' --first group is everything except #
Строка все равно будет возвращена с NULL, вы можете фильтровать такие записи.
RegexSerDe JavaDocs говорит: На этапе десериализации если строка не соответствует регулярному выражению, то все столбцы в строке будут NULL. Если строка соответствует регулярному выражению, но содержит меньше ожидаемых групп, отсутствующие группы будут иметь значение NULL. Если строка соответствует регулярному выражению, но содержит больше групп, чем ожидалось, дополнительные группы просто игнорируются.
Решение состоит в том, чтобы использовать промежуточную таблицу + строки фильтра при выборе из нее.