Мне интересно, какие лучшие способы хранения графиков в постоянном хранилище - для последующего анализа, поиска, кластеризации и т.д.
Я вижу, что neo4j является опцией, мне любопытно, есть ли другие доступные базы данных графов. Кто-нибудь знает, как большие социальные сети хранят свои данные на основе графиков (или другие сайты, требующие хранения графических моделей, например RDF).
Как насчет таких параметров, как Cassandra или MySQL?
Базы данных диаграмм:
Источник: http://nosql.mypopescu.com/post/498705278/quick-review-of-existing-graph-databases
Библиотеки графиков:
Отказ от ответственности. Я говорю о точке анализа графика.
Существует несколько форматов файлов для хранения данных графа: GraphML, GXL и несколько других. Но хранение обычно не является проблемой. Работа с графиками без полной загрузки их в ОЗУ - сложная часть.
Модель RDF слишком универсальна, чтобы выполнять серьезный анализ графиков. Если вы не возражаете против медленного анализа и программирования алгоритмов, перейдите к существующим базам данных графов - см. wikipedia.
Для реального анализа загрузите все данные в ОЗУ с помощью существующих библиотек анализа графиков, например SNAP или см. Этот вопрос.
Здесь нет абсолютно правильного ответа; существует большое разнообразие вариантов, выбор которых серьезно зависит от ваших потребностей. При крупномасштабных поисках/обходах (например, в социальных сетях и аналогичных back-end) вы быстро столкнетесь с узким местом случайного ввода-вывода; Я считаю, что сохранение графика в ОЗУ в настоящее время является единственным практическим направлением. Меньше чувствительных к задержкам приложений имеют довольно широкий спектр опций, включая neo4j (с открытым исходным кодом с коммерческим вкусом) и Allegrograph (коммерческая версия с ограниченной бесплатной версией).
В Delver мы завершили реализацию нашей собственной модели денормализованных данных (по существу, списка смежности для представления графика) в ОЗУ поверх GigaSpaces (некоторую информацию можно найти в эту презентацию), с настраиваемым кодом уменьшения размера для запросов и анализа данных. Если вы идете по этому маршруту, Cassandra кажется жизнеспособной платформой с открытым исходным кодом, на которой можно строить.
Вы можете посмотреть InfiniteGraph, который скоро будет выпущен для бета (http://www.infinitegraph.com/)
Если это для коммерческого использования, вы увидите, что оно нацелено на сайты с большими графами. Сайты социальных сетей создали собственные решения, которые в то время работали на них. Но они - внутренние решения, более ограниченные, чем использование чего-то вроде InfiniteGraph. Такие продукты, как Cassandra или MySQL, не были разработаны для этого набора проблем "многие-ко-многим". Ты можешь сделать это? Конечно, но это много рукописного кодирования, а не масштабируемого. Сообщите нам, если у вас есть настоящий проект, мы могли бы помочь вам разобраться в ваших графических требованиях. Благодаря, кроличий садок [email protected]