У меня есть разреженный файл 1 ТБ, который хранит фактически 32 МБ данных в Linux.
Возможно ли "эффективно" сделать пакет для хранения разреженного файла? Пакет должен быть распакован, чтобы быть разрешенным файлом 1 ТБ на другом компьютере. В идеале "пакет" должен быть около 32 МБ.
Примечание. В качестве возможного решения можно использовать "tar" : https://wiki.archlinux.org/index.php/Sparse_file#Archiving_with_.60tar.27
Однако для разреженного файла размером 1 Тбайт, хотя шарик тангажа может быть небольшим, архивирование разреженного файла займет слишком много времени.
Изменить 1
Я тестировал tar и gzip, и результаты выглядят следующим образом (обратите внимание, что этот разреженный файл содержит данные из 0 байт).
$ du -hs sparse-1
0 sparse-1
$ ls -lha sparse-1
-rw-rw-r-- 1 user1 user1 1.0T 2012-11-03 11:17 sparse-1
$ time tar cSf sparse-1.tar sparse-1
real 96m19.847s
user 22m3.314s
sys 52m32.272s
$ time gzip sparse-1
real 200m18.714s
user 164m33.835s
sys 10m39.971s
$ ls -lha sparse-1*
-rw-rw-r-- 1 user1 user1 1018M 2012-11-03 11:17 sparse-1.gz
-rw-rw-r-- 1 user1 user1 10K 2012-11-06 23:13 sparse-1.tar
1TB файл разреженный-1, который содержит 0 байтовых данных, может быть заархивирован "tar" до шарика 10KB tar или сжат gzip в файл размером 1 ГБ. gzip занимает около 2-х раз больше времени, чем используется tar.
Из сравнения "tar" кажется лучше gzip.
Однако, 96 минут слишком длинны для разреженного файла, содержащего данные из 0 байта.
Изменить 2
rsync кажется завершенным копированием файла за время больше tar, но меньше gzip:
$ time rsync --sparse sparse-1 sparse-1-copy
real 124m46.321s
user 107m15.084s
sys 83m8.323s
$ du -hs sparse-1-copy
4.0K sparse-1-copy
Следовательно, tar + cp или scp должен быть быстрее, чем непосредственно rsync для этого крайне редкого файла.
Изменить 3
Благодаря @mvp для указания функциональности SEEK_HOLE в новом ядре. (Я ранее работал над ядром Linux 2.6.32).
Примечание: требуется версия bsdtar >= 3.0.4 (здесь: http://ask.fclose.com/4/how-to-efficiently-archive-a-very-large-sparse-file?show=299#c299).
В новом выпуске ядра и Fedora (17), tar и cp эффективно разрешает разреженный файл очень.
[[email protected] tmp]$ ls -lh pmem-1
-rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1
[[email protected] tmp]$ time tar cSf pmem-1.tar pmem-1
real 0m0.003s
user 0m0.003s
sys 0m0.000s
[[email protected] tmp]$ time cp pmem-1 pmem-1-copy
real 0m0.020s
user 0m0.000s
sys 0m0.003s
[[email protected] tmp]$ ls -lh pmem*
-rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1
-rw-rw-r-- 1 zma zma 1.0T Nov 7 20:15 pmem-1-copy
-rw-rw-r-- 1 zma zma 10K Nov 7 20:15 pmem-1.tar
[[email protected] tmp]$ mkdir t
[[email protected] tmp]$ cd t
[[email protected] t]$ time tar xSf ../pmem-1.tar
real 0m0.003s
user 0m0.000s
sys 0m0.002s
[[email protected] t]$ ls -lha
total 8.0K
drwxrwxr-x 2 zma zma 4.0K Nov 7 20:16 .
drwxrwxrwt. 35 root root 4.0K Nov 7 20:16 ..
-rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1
Я использую ядро 3.6.5:
[[email protected] t]$ uname -a
Linux office.zhiqiangma.com 3.6.5-1.fc17.x86_64 #1 SMP Wed Oct 31 19:37:18 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux