Hadoop Обучение машинам/идея проекта интеллектуального анализа данных?

Я студент-выпускник CS (Data mining и машинное обучение) и хорошо разбираюсь в ядре Java ( > 4 года). Я прочитал кучу вещей на Hadoop и Map/Reduce

Теперь я хотел бы сделать проект на этом материале (в течение моего свободного времени), чтобы лучше понять.

Любые хорошие проектные идеи будут действительно оценены. Я просто хочу сделать это, чтобы учиться, поэтому я действительно не возражаю против изобретательства колеса. Кроме того, все, что связано с интеллектуальным анализом данных/машинным обучением, будет дополнительным бонусом (соответствует моим исследованиям), но абсолютно не обязательно.

Ответ 1

Вы ничего не писали о ваших интересах. Я знаю, что алгоритмы в горном графике реализованы в рамках hadoop. Это программное обеспечение http://www.cs.cmu.edu/~pegasus/ и документ: "PEGASUS: система гранулометрического графа - реализация и наблюдения" может дать вам отправную точку.

Далее, эта ссылка обсуждает что-то похожее на ваш вопрос: http://atbrox.com/2010/02/08/parallel-machine-learning-for-hadoopmapreduce-a-python-example/, но он находится в python. И есть очень хорошая статья Эндрю Нг "Map-Reduce для машинного обучения на многоядерном компьютере".

Был проведен семинар NIPS 2009 по аналогичной теме "Масштабное машинное обучение: Parallelism и массивные наборы данных". Вы можете просмотреть часть бумаги и получить представление.

Изменить: Также есть Apache Mahout http://mahout.apache.org/ → "Наши основные алгоритмы для кластеризации, классификации классов и пакетной фильтрации совместной работы реализованы поверх Apache Hadoop с использованием парадигмы map/reduce"

Ответ 2

См. http://www.quora.com/Machine-Learning/What-are-some-good-class-projects-for-machine-learning-using-MapReduce

и некоторые хорошие проекты игрушек для начала: http://www.quora.com/Programming-Challenges-1/What-are-some-good-toy-problems-in-data-science

Ответ 3

Почему бы вам не внести вклад в Apache Hadoop/Mahout, помогая им реализовать дополнительные алгоритмы?

https://cwiki.apache.org/confluence/display/MAHOUT/Algorithms

Имеет ряд алгоритмов, обозначенных как "открыто". Насколько я понимаю, они могли бы использовать помощь в их реализации? И есть сотни алгоритмов, даже отсутствующих в этом списке.

Каким-либо образом, поскольку вы хотите что-то сделать с Hadoop, почему бы вам не спросить их, что им нужно, а не спрашивать на каком-то случайном интернет-сайте?

Ответ 4

Попытка думать об эффективном способе реализации иерархического агломерационного кластеризации на Hadoop - хороший проект для работы. Он не только включает алгоритмические аспекты, но также имеет оптимизацию, связанную с основной картой hasoop.