Как загрузить файл с S3 с помощью boto только в том случае, если удаленный файл является более новым, чем локальная?

Я пытаюсь загрузить файл с S3 с помощью boto, но только если локальная копия файла старше удаленного файла.

Я использую заголовок 'If-Modified-Since' и код ниже:

#!/usr/bin/python
import os
import datetime
import boto
from boto.s3.key import Key

bucket_name = 'my-bucket'

conn = boto.connect_s3()
bucket = conn.get_bucket(bucket_name)

def download(bucket, filename):
    key = Key(bucket, filename)
    headers = {}
    if os.path.isfile(filename):
        print "File exists, adding If-Modified-Since header"
        modified_since = os.path.getmtime(filename)
        timestamp = datetime.datetime.utcfromtimestamp(modified_since)
        headers['If-Modified-Since'] = timestamp.strftime("%a, %d %b %Y %H:%M:%S GMT")
    try:
        key.get_contents_to_filename(filename, headers)
    except boto.exception.S3ResponseError as e:
        return 304
    return 200

print download(bucket, 'README')

Проблема в том, что, когда локальный файл не существует, все работает хорошо, и файл загружается. Когда я запускаю script во второй раз, моя функция возвращает 304, как ожидалось, но файл, который был ранее загружен, удаляется.

ОТВЕТЫ

Ответ 1

boto.s3.key.Key.get_contents_to_filename открыть файл с режимом wb; он обрезает файл в начале функции (boto/s3/key.py). Кроме того, он удаляет файл при возникновении исключения.

Вместо get_contents_to_filename вы можете использовать get_contents_to_file с другим открытым режимом.

def download(bucket, filename):
    key = Key(bucket, filename)
    headers = {}
    mode = 'wb'
    updating = False
    if os.path.isfile(filename):
        mode = 'r+b'
        updating = True
        print "File exists, adding If-Modified-Since header"
        modified_since = os.path.getmtime(filename)
        timestamp = datetime.datetime.utcfromtimestamp(modified_since)
        headers['If-Modified-Since'] = timestamp.strftime("%a, %d %b %Y %H:%M:%S GMT")
    try:
        with open(filename, mode) as f:
            key.get_contents_to_file(f, headers)
            f.truncate()
    except boto.exception.S3ResponseError as e:
        if not updating:
            # got an error and we are not updating an existing file
            # delete the file that was created due to mode = 'wb'
            os.remove(filename)
        return e.status
    return 200

ПРИМЕЧАНИЕ file.truncate используется для обработки случая, когда новый файл меньше предыдущего.