Как протестировать запросы Amazon Athena
У меня довольно сложный запрос Athena, который я хотел бы протестировать на локальной машине без подключения к Athena. Я указал некоторые фиктивные данные для целей тестирования и надеялся, что смогу использовать что-нибудь простое, например SQLite, для развертывания локальной базы данных, заполнения ее фиктивными данными, запуска тестов и разрушения базы данных.
Проблема в том, что диалект SQLite настолько отличается, что мой запрос Athena не удался. Каковы передовые методы решения этой задачи? Должен ли я подключиться к реальной Athena и создать там фиктивные данные? Существуют ли какие-либо инструменты, которые могут конвертировать SQL-запросы между диалектами?
Тестирование проводится на Python.
Ответы 1
Возможность добиться того, что вы предложили, - через localstack.
Здесь обширное руководство, в котором также показано, как создавать различные типы таблиц с фиктивными данными, а затем подключаться к локальному стеку через pyathena.
В любом случае, поддержка Athena в localstack, похоже, есть в версии Pro (проверьте страницу цен , чтобы получить больше информации).
Если данные, с которыми вы имеете дело, достаточно малы, лучшим выбором может быть использование реального сервиса Athena от AWS — в этом случае рассмотрите возможность использования отдельной среды.
Я выбрал «прямой подход Афины», поскольку тестовые данные невелики. Спасибо за предложение по локальному стеку, возможно, оно будет полезно в какой-то другой ситуации.
Amazon Athena (в основном) использует Trino | Распределенный механизм SQL-запросов для больших данных. Тем не менее, я бы посоветовал вам использовать Athena, если это возможно — это очень дешево (плата взимается только за данные, считанные с диска, что будет небольшим для целей тестирования), и вы можете использовать AWS CLI для копирования данных из локального хранилища. диск на S3.