Лучшая распределенная файловая система для товарного Linux-накопителя

У меня есть много запасных серверов linux linux вокруг (сотни) и вы хотите использовать их для распределенной файловой системы в веб-хостинге и среде совместного использования файлов. Это не для приложения HPC, поэтому высокая производительность не является критичной. Основным требованием является высокая доступность, если один сервер отключен, данные, хранящиеся на нем, все еще доступны из других узлов. Он должен работать через TCP/IP и предоставлять стандартные разрешения для файлов POSIX.

Я рассмотрел следующее:

Luster (http://wiki.lustre.org/index.php?title=Main_Page): Поставляется очень близко, но он не обеспечивает избыточность данных на node, Вы должны сделать данные HA с помощью RAID или DRBD. Поддерживается Sun и Open Source, поэтому он должен быть на некоторое время
gfarm (http://datafarm.apgrid.org/): похоже, что он обеспечивает избыточность, но за счет сложности и ремонтопригодности. Не так хорошо поддерживается как Luster.

Есть ли у кого-нибудь опыт работы с этими или любыми другими системами, которые могут работать?

Ответ 1

проверить также GlusterFS

Изменить (Aug-2012): Ceph наконец готовится. В последнее время авторы создали Inktank, независимую компанию для продажи коммерческой поддержки. Согласно некоторым представлениям, монтируемая POSIX-совместимая файловая система является самым верхним слоем и еще не протестирована, но нижние слои используются в производстве уже некоторое время.

Интересной частью является слой RADOS, который представляет собой объектно-ориентированное хранилище, имеющее как "собственный" доступ через библиотеку librados (доступный для нескольких языков), так и API-интерфейс RESP, совместимый с Amazon S3. Любой из них делает его более чем достаточным для добавления массивного хранилища в веб-службу.

Это видео является хорошим описанием философии, архитектуры, возможностей и текущего состояния.

Ответ 2

В последнее время Gluster получает довольно много прессы:

http://www.gluster.org/

Ответ 3

На мой взгляд, лучшей файловой системой для Linux является MooseFS, она довольно новая, но у меня была возможность сравнить ее с Ceph и Luster, и я точно говорю, что MooseFS - лучшая.

Ответ 4

Если кто-то не заставит вас использовать его, я также настоятельно рекомендую использовать что-либо еще, кроме Luster. Из того, что я слышу от других, и то, что также давало мне кошмары в течение некоторого времени, является тот факт, что Люстер довольно легко ломается во всех ситуациях. И если только один клиент в системе ломается, он ставит себя в бесконечный do_nothing_loop режим, как правило, сохраняя какую-то важную глобальную блокировку, поэтому в следующий раз, когда другой клиент попытается получить доступ к одной и той же информации, он также будет зависать. Таким образом, вы часто завершаете перезагрузку всего кластера, и я думаю, это то, чего вы обычно избегаете;)

Современные параллельные файловые системы, такие как FhGFS (http://www.fhgfs.com), более надежны здесь, а также позволяют делать приятные вещи, такие как запуск серверных и клиентских компонентов на одних и тех же машинах (хотя встроенные функции HA все еще находятся в стадии разработки, как сказал мне кто-то из их команды, но их реализация будет довольно удивительной из того, что я слышал).

Ответ 5

Ластер работает для нас. Это не идеально, но это единственное, что мы пробовали, который не разбился о нагрузке. Мы по-прежнему получаем LBUGS время от времени, а работа с файловыми системами 100TB + никогда не бывает легкой, но система Luster работает и увеличивает производительность и доступность.

Ответ 6

Ceph выглядит многообещающим новшеством на арену. Однако сайт утверждает, что он еще не готов к производству.

Ответ 7

Я много читал о распределенных файловых системах, и я думаю, что FhGFS является лучшим.

http://www.fhgfs.com/

Это стоит попробовать. Подробнее об этом можно узнать по адресу:

http://www.fhgfs.com/wiki/