Я пытаюсь выполнить операцию загрузки/копирования для импорта данных из файлов JSON в ведро S3 непосредственно в Redshift. Операция COPY завершается успешно, и после COPY таблица имеет правильное количество строк/записей, но каждая запись NULL!
Требуется ожидаемое количество времени для загрузки, команда COPY возвращает OK, консоль Redshift сообщает об успешных результатах и никаких ошибок... но если я выполню простой запрос из таблицы, он возвращает только значения NULL.
JSON очень прост + плоский и отформатирован правильно (согласно примерам, которые я нашел здесь: http://docs.aws.amazon.com/redshift/latest/dg/r_COPY_command_examples.html)
В принципе, это одна строка на строку, отформатированная как:
{ "col1": "val1", "col2": "val2", ... }
{ "col1": "val1", "col2": "val2", ... }
{ "col1": "val1", "col2": "val2", ... }
Я пробовал такие вещи, как переписывание схемы на основе значений и типов данных, найденных в объектах JSON, а также копирование из несжатых файлов. Я подумал, что, возможно, JSON правильно разбирался при загрузке, но он должен, вероятно, вызвать ошибку, если объекты не могут быть проанализированы.
Моя команда COPY выглядит так:
copy events from 's3://mybucket/json/prefix'
with credentials 'aws_access_key_id=xxx;aws_secret_access_key=xxx'
json 'auto' gzip;
Любое руководство будет оценено! Спасибо.