Aws s3 ls Время ожидания чтения

Я пытаюсь получить огромный список файлов из ведра AWS S3 с помощью этой команды:

aws s3 ls --human-readable --recursive my-directory

Этот каталог содержит десятки тысяч файлов, поэтому иногда после продолжительной паузы я получаю эту ошибку:

('The read operation timed out',)

Я пробовал параметр --page-size с разными значениями, но это не помогло. Как я могу исправить эту ошибку?

Ответ 1

Не разумно читать огромные данные в распределенной системе. Это блок на сервере, а также на клиенте.

Если у вас есть образец того, как хранятся данные, попробуйте запустить их параллельно, а затем добавить в один файл.

например.

aws s3 ls s3://ведро/год/месяц --рекурсивный

Надеюсь, что это поможет.