Моя таблица составляет около 220 МБ с 250 тыс. записей. Я пытаюсь вытащить все эти данные в python. Я понимаю, что это должен быть пакетный пакетный процесс и зацикливаться, но я не уверен, как я могу установить партии, чтобы начать, где предыдущий остановился.
Есть ли способ фильтровать сканирование? Из того, что я прочитал, фильтрация происходит после загрузки, а загрузка останавливается на 1 мб, поэтому я бы не смог сканировать в новых объектах.
Любая помощь будет оценена.
import boto3
dynamodb = boto3.resource('dynamodb',
aws_session_token = aws_session_token,
aws_access_key_id = aws_access_key_id,
aws_secret_access_key = aws_secret_access_key,
region_name = region
)
table = dynamodb.Table('widgetsTableName')
data = table.scan()