Dynamodb: сканирование против запроса с использованием Python

У меня есть таблица в Dynamodb со следующими элементами столбца:

clientId : Primary partition Key
timeId : Sort Key

clientId предназначен для различения записей разных клиентов, а timeId - это просто временная метка эпохи, связанная с конкретным clientID. Пример вывода таблицы будет выглядеть так:

clientId             timeId              Bucket         dateColn
0000000028037c08     1544282940.0495     MyAWSBucket    1544282940
0000000028037c08     1544283640.119842   MyAWSBucket    1544283640

Я использую следующий код для получения записей:

ap.add_argument("-c","--clientId",required=True,help = "name of the client")
ap.add_argument("-st","--startDate",required=True,help = "start date to filter")
ap.add_argument("-et","--endDate",required=True,help = "end date to filter")
args = vars(ap.parse_args())

dynamodb = boto3.resource('dynamodb', region_name='us-west-1')

table = dynamodb.Table('MyAwsBucket-index')

response = table.query(
    KeyConditionExpression=Key('clientId').eq(args["clientId"]) and Key('timeId').between(args['startDate'], args['endDate'])
)

По сути, я пытаюсь сначала разбить динамодб на основе clientId, а затем следуют две временные метки - время начала и время окончания. Я мог получить все записи без временных меток, используя следующее:

KeyConditionExpression=Key('clientId').eq(args["clientId"])

Однако, когда я включаю дату и время начала, я получаю следующую ошибку:

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the Query operation: Query condition missed key schema element: clientId

Как мне решить эту проблему и использовать как clientId, так и время начала и время окончания. Я читал, что могу использовать scan, но также где-то читал, что scan не извлекает записи быстро. Поскольку в моей таблице миллионы строк, теперь я уверен, следует ли мне использовать scan. Может кто поможет?

Также мои входные данные для поиска по времени начала и окончания являются целыми числами, как указано в dateColn, по сравнению с типом float, указанным в timeId. Не уверен, что это создает какие-либо ошибки.

Стоит ли изучать PHP в 2026-2027 годах?
Стоит ли изучать PHP в 2026-2027 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
0
1 296
2

Ответы 2

I read that I could use scan but also read somewhere scan don't fetch the records quickly. Since my table has millions of rows, now sure if I should use scan.

Сканирование DynamoDB - очень дорогостоящая операция, поскольку при этом читаются все документы, что потребляет значительную часть выделенной пропускной способности. Следовательно, scan следует по возможности воздерживаться от запросов к таблице.

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the Query operation: Query condition missed key schema element: clientId

Эта ошибка означает, что значение ключа раздела clientId не указано в запросе. Это немного сбивает с толку, поскольку значение действительно может быть непустым, но это может означать, что ключ раздела ожидает число, но args["clientId"] - это строка, которая неприемлема. Пожалуйста, обратитесь к документации это, чтобы узнать, как указать предполагаемый тип данных аргументов.

Спасибо за ваш ответ. Я просмотрю документацию и вернусь

Apricot 11.12.2018 01:08

Очевидная проблема с вашим запросом заключается в том, что вы используете and вместо &. Используя "и", вы в основном удаляете первую часть вашего запроса.

Спасибо ... Поскольку я не мог заставить его работать и у меня были более сжатые сроки, я перешел на публикацию лямбда-сообщений в Elasticsearch. Спасибо. Я попробую это в следующий раз.

Apricot 20.02.2019 04:47

Другие вопросы по теме