Обслуживание динамически создаваемых ZIP-архивов в Django

Как обслуживать пользователей динамически созданный ZIP-архив в Django?

Я создаю сайт, на котором пользователи могут выбирать любую комбинацию доступных книг и загружать их в виде ZIP-архива. Я волнуюсь, что создание таких архивов для каждого запроса замедлит мой сервер до обхода. Я также слышал, что Django в настоящее время не имеет хорошего решения для работы с динамически генерируемыми файлами.

Ответ 1

Решение состоит в следующем.

Используйте Python module zipfile для создания zip-архива, но в качестве файла укажите StringIO (для конструктора ZipFile требуется файл-подобный объект). Добавьте файлы, которые вы хотите сжать. Затем в приложении Django верните содержимое объекта StringIO в HttpResponse с типом mimetype, установленным в application/x-zip-compressed (или, по крайней мере, application/octet-stream). Если вы хотите, вы можете установить заголовок content-disposition, но это не должно быть действительно необходимо.

Но будьте осторожны, создание zip-архивов по каждому запросу - плохая идея, и это может убить ваш сервер (не считая таймаутов, если архивы большие). Эффективный подход состоит в том, чтобы кэшировать сгенерированную выходную информацию где-то в файловой системе и восстанавливать ее только в том случае, если исходные файлы были изменены. Еще лучшая идея - заранее подготовить архивы (например, задание cron), и ваш веб-сервер будет обслуживать их как обычную статику.

Ответ 2

Здесь вид Django для этого:

import os
import zipfile
import StringIO

from django.http import HttpResponse


def getfiles(request):
    # Files (local path) to put in the .zip
    # FIXME: Change this (get paths from DB etc)
    filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]

    # Folder name in ZIP archive which contains the above files
    # E.g [thearchive.zip]/somefiles/file2.txt
    # FIXME: Set this to something better
    zip_subdir = "somefiles"
    zip_filename = "%s.zip" % zip_subdir

    # Open StringIO to grab in-memory ZIP contents
    s = StringIO.StringIO()

    # The zip compressor
    zf = zipfile.ZipFile(s, "w")

    for fpath in filenames:
        # Calculate path for file in zip
        fdir, fname = os.path.split(fpath)
        zip_path = os.path.join(zip_subdir, fname)

        # Add file, at correct path
        zf.write(fpath, zip_path)

    # Must close zip for all contents to be written
    zf.close()

    # Grab ZIP file from in-memory, make response with correct MIME-type
    resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
    # ..and correct content-disposition
    resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename

    return resp

Ответ 3

Django напрямую не обрабатывает создание динамического содержимого (в частности, файлы Zip). Эта работа будет выполняться стандартной библиотекой Python. Вы можете посмотреть, как динамически создавать Zip файл в Python здесь.

Если вы беспокоитесь о том, что это замедляет работу вашего сервера, вы можете кэшировать запросы, если вы ожидаете иметь много одинаковых запросов. Вы можете использовать Django кэш-инфраструктуру, чтобы помочь вам в этом.

В целом, файлы zipping могут быть интенсивными, но Django не должен быть медленнее, чем другая веб-инфраструктура Python.

Ответ 4

Бесстыдный плагин: вы можете использовать django-zipview для этой же цели.

После pip install django-zipview:

from zipview.views import BaseZipView

from reviews import Review


class CommentsArchiveView(BaseZipView):
    """Download at once all comments for a review."""

    def get_files(self):
        document_key = self.kwargs.get('document_key')
        reviews = Review.objects \
            .filter(document__document_key=document_key) \
            .exclude(comments__isnull=True)

        return [review.comments.file for review in reviews if review.comments.name]

Ответ 5

Этот модуль создает и передает архив: https://github.com/allanlei/python-zipstream

(Я не связан с развитием, просто думаю об использовании его.)

Ответ 6

Для python3 я использую io.ByteIO, поскольку StringIO не рекомендуется для этого. Надеюсь, что это поможет.

import io

def my_downloadable_zip(request):
    zip_io = io.BytesIO()
    with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
        backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
                                                 # and do some iteration over it
     response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
     response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
     response['Content-Length'] = zip_io.tell()
     return response

Ответ 7

Я предлагаю использовать отдельную модель для хранения этих zip файлов temp. Вы можете создать zip на лету, сохранить модель с файловым полем и, наконец, отправить URL-адрес пользователю.

Преимущества:

  • Работа с статическими zip файлами с помощью медиа-механизма django (например, обычных загрузок).
  • Возможность очистки устаревших zip файлов с помощью обычного выполнения cron script (который может использовать поле даты из zip файла).

Ответ 8

Не можете ли вы просто написать ссылку на "zip-сервер" или еще что-то? Почему сам zip-архив должен обслуживаться из Django? 90-й CGI script, чтобы генерировать zip и наплевать его на stdout, действительно все, что требуется здесь, по крайней мере, насколько я могу видеть.