Набор тестовых наборов файловой системы

Я хотел спросить о тестировании наборов, доступных для тестирования файловых систем Linux. Я ищу больше наборов для тестирования нагрузок и нагрузок, которые могут подчеркнуть систему, найти коррупцию, подтвердив данные, которые она написала, между прочим.

Имеется ли такой инструмент как для локальной FS, такой как ext *, так и для сетевых протоколов, таких как NFS/CIFS?

Спасибо заранее.

Ответ 1

Позвольте сосредоточиться на конкретных частях вашего вопроса. Инструменты и комплекты будут предоставлены для следующих файловых систем Linux: ext4, CIFS, NFS.

Общие тестовые наборы (для корректности и надежности)

xfstests - http://git.kernel.org/cgit/fs/xfs/xfstests-dev.git/tree/
Тестовый проект Linux - https://github.com/linux-test-project/ltp/tree/master/testcases/kernel/io, https://github.com/linux-test-project/ltp/tree/master/testcases/kernel/fs (в xfstests иногда есть более новые копии тестов в этой папке)
pjdfstest (POSIX Filesystem Test Suite) - http://sourceforge.net/p/ntfs-3g/pjd-fstest/ci/master/tree/ (также см. https://github.com/pjd/pjdfstest для оригинальной авторской версии)

"Комплекты стресс-тестирования и нагрузки"

fsx - https://git.kernel.org/pub/scm/fs/xfs/xfstests-dev.git/tree/ltp/fsx.c - это современная версия fsx для Linux (но также смотрите увлекательную страницу Дэйва Джонса fsx history (ссылка на archive.org) для фона этого инструмента)
дбенч - http://dbench.samba.org/
Crefi - https://github.com/vijaykumar-koppad/Crefi
xdd - https://github.com/bws/xdd
mtd-utils (содержит тесты потери мощности) - http://git.infradead.org/mtd-utils.git/tree/HEAD: /tests
Тестирование потери мощности в Fsync - https://gist.github.com/bradfitz/3172656
Смотрите ниже упражнения для ввода/вывода (dt, fio, vdbench)

"найти повреждения, проверив данные"

dt (модуль ввода-вывода и верификатор) - https://github.com/RobinTMiller/dt
fio (устройство ввода-вывода и верификатор) - https://github.com/axboe/fio
vdbench (тренажер ввода-вывода и верификатор) - https://www.oracle.com/downloads/server-storage/vdbench-downloads.html

CIFS

smbtorture (только бэкэнд) - https://git.samba.org/?p=samba.git;a=tree;f=source4/torture;hb=HEAD
См. Connectathon ниже

NFS

Connectathon - http://git.linux-nfs.org/?p=steved/cthon04.git;a=tree
Pynfs - http://git.linux-nfs.org/?p=bfields/pynfs.git;a=tree
Набор тестов NFS - http://git.linux-nfs.org/?p=mora/nfstest.git;a=tree
Инструменты тестирования SGI NFS - https://web.archive.org/web/20090514072259/http://oss.sgi.com/projects/nfs/testtools/ (ссылка на archive.org, поскольку HP отключила oss.sgi.com давным-давно)

Источники

Ответ 2

Зависит от того, как далеко вниз по кроличьей дыре вы идете. Для начала, вот список утилит тестирования Linux, которые выполняют базовый бенчмаркинг для файловых систем Linux. http://ltp.sourceforge.net/tooltable.php

Если вы делаете серьезную оценку производительности, я бы предложил что-то вроде filebench или iozone, оба из которых являются очень гибкими инструментами для бенчмаркинга. Они будут работать как для локальных, так и для сетевых файловых систем, но они просто записывают файлы в смонтированную файловую систему, они не используют драйвер NFS или CIFS напрямую.

Также ознакомьтесь с файловым сервером для файловой системы (исходная ссылка сломана с 2017 года, доступна архивная версия), в которой есть хороший длинный список доступных инструментов тестирования, а также их приложения. Он также получил кучу информации о том, как правильно настроить тесты для исправления таких вещей, как кеш-эффекты, так что ваши номера отражают истинную производительность.

Вы можете включить диагностический режим в iozone, чтобы проверить наличие сбоев, и я считаю, что файл файл имеет что-то подобное. Или просто проверите свои данные и подтвердите их в конце, но это немного меньше из коробки.