Исключить определенные папки S3 при создании представления в Hive

Я пытаюсь создать представление для извлечения данных из корзины, исключив определенные папки внутри S3 в Hive. Я смог успешно создать представление на Athena, но не смог сделать то же самое на Hive.

Вид на Афину:

CREATE VIEW test
as
SELECT *
FROM TABLE_A
WHERE NOT ("$PATH LIKE '%PASSENGER_DATA%')
AND NOT ("$PATH LIKE '%CUSTOMER_DATA%');

Не могли бы вы посоветовать, как можно добиться того же на Hive?

Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
0
51
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Нет такого же средства для фильтрации по пути. Однако, в зависимости от того, какую версию вы используете, вы можете использовать Ranger для исключения данных, чтобы они не отображались.

Если вы должны сделать это путем просмотра, попробуйте использовать:

CREATE TABLE filter_out [blah blah blah]
LOCATION '%CUSTOMER_DATA%'

SELECT *
FROM TABLE_A
WHERE NOT EXISTS (SELECT ID FROM filter_out WHERE TABLE_A.ID = filter_out.ID)
Ответ принят как подходящий

Возможно, вы действительно захотите рассмотреть возможность перемещения данных в отдельные папки. Затем вы можете построить их в виде таблицы с помощью:

CREATE VIEW TABLE_DATA
as
SELECT *
FROM TABLE_A --("$PATH LIKE '%PASSENGER_DATA%')
UNION
SELECT *
FROM TABLE_B -- ("$PATH LIKE '%CUSTOMER_DATA%');

Это, вероятно, также упростит решение ваших проблем с разрешениями.

И при необходимости вы можете легко использовать одну таблицу или обе таблицы.

Другие вопросы по теме