Большие общедоступные наборы данных?

Ответ 1

1. Большие примеры журналов веб-сервера, которые были анонимизированы.

Эти работы начинаются с:

• UCI Machine Learning Repository
  • Анонимные веб-данные Microsoft
  • MSNBC.com Анонимные веб-данные
  • Рейтинги веб-страниц Syskill и Webert

Есть много и много доступных наборов данных, чем эти (см. гамму других ответов), но это самый низкий висящий плод, который соответствует вашим первоначальным критериям. В качестве бонуса они имеют контактную ссылку, если у вас есть конкретные потребности, о которых они могут знать.

2. Наборы данных, используемые для бенчмаркинга производительности базы данных.

Это звучит неправильно, потому что вы просите эмпирические наборы данных, которые описывают четко определенные алгоритмический проблемы. В частности, похоже, что вы пытаетесь найти наборы данных, которые вы можете использовать для тестирования и тестирования различных систем баз данных в режиме реального времени, используя четко определенные нормализованные реляционные данные, которые могут использоваться в качестве набора тестовых примеров для определения наиболее эффективное решение, отвечающее вашим потребностям.

Я не согласен с этим подходом. Вместо того, чтобы находить множество систем баз данных и их консервированных реализаций, гораздо лучше изучить алгоритм гарантирует эти системы как ваш первый порт захода. После того, как вы определили алгоритмические ограничения, которые отвечают вашим потребностям, вы можете отточить набор готовых решений, которые можно сравнить с эффективностью, например, индексированием, сортировкой, поиском, вставкой, удалением и извлечением.

Wikipedia предоставляет краткую статью о концепциях тестирования баз данных, которую вы можете использовать для определения и записи тестовых примеров для производительности бенчмаркинга. Например, вы можете использовать интерфейс доступа к агностическим данным, например JDBC и JDBC Benchmark, чтобы определить относительные тайминги каждой операции. Отсюда вы можете отточить правильное решение.

Короче говоря, сначала перейдите в исследование для определения гарантий баз данных. После того, как был определен набор потенциальных решений, вы можете выбрать среди них тестирование (или иное определение) постоянной эффективности времени каждой желаемой операции.

Ответ 2

На основе ответов Quora и моих личных коллекций в моих исследованиях был создан репозиторий awesome-public-datasets и обновлен на GitHub:

Ниже приведен снимок этой версии. Для получения новейшего списка посетите Github:

Этот список источников общедоступных данных собирается и очищается от блогов, ответов и ответов пользователей. Большинство наборов данных, перечисленных ниже, являются бесплатными, однако некоторые из них не являются. Этот список происходит от https://github.com/caesar0301/awesome-public-datasets.

Климат

• Австралийская погода: http://www.bom.gov.au/climate/dwo/
• Климатические данные: http://www.cru.uea.ac.uk/cru/data/temperature/#datter и ftp://ftp.cmdl.noaa.gov/
• Глобальные климатические данные с 1929 года: http://www.tutiempo.net/en/Climate
• NOAA Беринговое море Климат: http://www.beringclimate.noaa.gov/
• Наборы данных климата NOAA: http://ncdc.noaa.gov/data-access/quick-links
• Историческая погода WU Worldwide: http://www.wunderground.com/history/index.html

Экономика

• Американская экономическая жопа. (AEA): http://www.aeaweb.org/RFE/toc.php?show=complete
• EconData (UMD): http://inforumweb.umd.edu/econdata/econdata.html
• База данных кода продукта в Интернете: http://www.upcdatabase.com/
• Всемирный банк: http://data.worldbank.org/indicator

Финансы

• Обмен фьючерсами CBOE: http://cfe.cboe.com/Data/
• Google Finance: https://www.google.com/finance
• Тенденции Google: http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
• NASDAQ: https://data.nasdaq.com/
• OANDA: http://www.oanda.com/
• ОСУ Финансовые данные: http://fisher.osu.edu/fin/osudata.htm
• Quandl: http://www.quandl.com/
• Сент-Луис Федеральный: http://research.stlouisfed.org/fred2/
• Yahoo Finance: http://finance.yahoo.com/

Биология

• CRCNS: http://crcns.org/data-sets
• Gene Expression Omnibus: http://www.ncbi.nlm.nih.gov/geo/
• Проект микробиома человека: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• Данные о генотике MIT Cancer: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• Данные микроматрицы NIH: ftp://ftp.ncbi.nih.gov/pub/geo/DATA/supplementary/series/GSE6532/
• Структура белка: http://www.infobiotic.net/PSPbenchmarks/
• Public Gene Data: http://www.pubgene.org/
• Данные о микроархите Стэнфорда: http://smd.stanford.edu/
• UniGene: http://www.ncbi.nlm.nih.gov/unigene

Физика

• НАСА: http://nssdc.gsfc.nasa.gov/nssdc/obtaining_data.html

Здоровье

• Расширенные наборы данных для здоровья EHDP: http://www.ehdp.com/vitalnet/datasets.htm
• Gapminder: http://www.gapminder.org/data/
• Файл данных Medicare: http://go.cms.gov/19xxPN4

Геокосмический

• EOSDIS: http://sedac.ciesin.columbia.edu/data/sets/browse
• Фактические глобальные данные о местоположении: http://www.factual.com/
• Геопространственные данные: http://geodacenter.asu.edu/datalist/

Транспорт

• Данные авиакомпаний (2009 ASA Challenge): http://stat-computing.org/dataexpo/2009/the-data.html
• Аэропорты и их местоположения: http://www.infochimps.com/datasets/airports-and-their-locations
• Bike Share Data Systems: https://github.com/BetaNYC/Bike-Share-Data-Best-Practices/wiki/Bike-Share-Data-Systems
• Данные о границах для внутренних полетов США с 1990 по 2009 год: http://data.memect.com/?p=229
• Полмиллиона аттракционов Hubway: http://hubwaydatachallenge.org/trip-history-data/
• Данные о рейсах такси NYC 2013 (FOIA/FOIL): https://archive.org/details/nycTaxiTripData2013
• OpenFlights (данные аэропортов, авиакомпаний и маршрутов): http://openflights.org/data.html
• Данные о производительности во время работы авиакомпании RITA: http://www.transtats.bts.gov/Tables.asp?DB_ID=120
• Сбор данных транспорта RITA: http://www.transtats.bts.gov/DataIndex.asp
• Транспорт для Лондона: http://www.tfl.gov.uk/info-for/open-data-users/our-feeds
• U.S. Структура анализа фрахта: http://ops.fhwa.dot.gov/freight/freight_analysis/faf/index.htm

Правительство

• Архив-это:: https://www.archive-it.org/explore?show=Collections
• Австралия: http://www.abs.gov.au/AUSSTATS/[email protected]/DetailsPage/3301.02009?OpenDocument
• Канада: http://www.data.gc.ca/default.asp?lang=En&n=5BCD274E-1
• Чикаго: https://data.cityofchicago.org/
• FDA: https://open.fda.gov/index.html
• Статистика: http://www.fedstats.gov/cgi-bin/A2Z.cgi
• Мировые правительства стражей: http://www.guardian.co.uk/world-government-data
• HUD: http://www.huduser.org/portal/datasets/pdrdatas.html
• London Datastore, U.K: http://data.london.gov.uk/dataset
• Новая Зеландия: http://www.stats.govt.nz/browse_for_stats.aspx
• NYC betanyc: http://betanyc.us/
• Открытые данные NYC: http://nycplatform.socrata.com/
• OECD: http://www.oecd.org/document/0,3746,en_2649_201185_46462759_1_1_1_1,00.html
• RITA: http://www.transtats.bts.gov/OT_Delay/OT_DelayCause1.asp
• Сан-Франциско. Наборы данных: http://datasf.org/
• Всемирный банк: http://wdronline.worldbank.org/
• территории Великобритании. Данные правительства: http://data.gov.uk/data
• U.S. Бюро переписи населения: http://www.census.gov/data.html
• U.S. Федеральные правительственные агентства: http://www.data.gov/metric
• U.S. Каталог данных федерального правительства: http://catalog.data.gov/dataset
• U.S. Открытое правительство: http://www.data.gov/open-gov/
• Проект открытого атласа Великобритании 2011 года: http://www.alex-singleton.com/2011-census-open-atlas-project/
• Организация Объединенных Наций: http://data.un.org/
• Наборы данных для общественного здравоохранения США CDC: http://www.cdc.gov/nchs/data_access/ftp_data.htm

Проблемы с данными

• Проблемы машинного обучения: http://www.chalearn.org/
• ICWSM Data Challenge (с 2009 года): http://icwsm.cs.umbc.edu/
• Данные конкурса Kaggle: http://www.kaggle.com/
• Кубок KDD от Tencent 2012: https://www.kddcup2012.org/
• Приз за Netflix: http://www.netflixprize.com/leaderboard
• Задача набора Yelp: http://www.yelp.com/dataset_challenge

Машинное обучение

• eBay Online Auctions: http://www.modelingonlineauctions.com/datasets
• База данных IMDb: http://www.imdb.com/interfaces
• Репозиторий Keel: http://sci2s.ugr.es/keel/datasets.php
• Кредитные данные о кредитном клубе: https://www.lendingclub.com/info/download-data.action
• Реестр хранилищ данных машинного обучения: http://mldata.org/
• Million Song Dataset: http://blog.echonest.com/post/3639160982/million-song-dataset
• Дополнительные наборы песен: http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets
• Наборы данных MovieLens: http://datahub.io/dataset/movielens
• Данные RDataMining R и Data Mining: http://www.rdatamining.com/data
• Зарегистрированные метеориты на Земле: http://www.analyticbridge.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
• База данных SF ресторанов: http://missionlocal.org/san-francisco-restaurant-health-inspections/
• Реестр UCI для машинного обучения: http://archive.ics.uci.edu/ml/
• Университет Торонто Delve Datasets: http://www.cs.toronto.edu/~delve/data/datasets.html
• Рейтинги Yahoo и данные классификации: http://webscope.sandbox.yahoo.com/catalog.php?datatype=r

Натуральный язык

• 40 миллионов объектов в контексте: https://code.google.com/p/wiki-links/downloads/list
• ClueWeb09 FACC: http://lemurproject.org/clueweb09/FACC1/
• ClueWeb12 FACC: http://lemurproject.org/clueweb12/FACC1/
• Персональные таксоны Flickr: http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html
• Google Books Ngrams: http://aws.amazon.com/datasets/8172056142375670
• Google Web 5gram, 2006 (1T): https://catalog.ldc.upenn.edu/LDC2006T13
• Список электронных книг Gutenberg: http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
• Hansards: http://www.isi.edu/natural-language/download/hansard/
• Машинный перевод: http://statmt.org/wmt11/translation-task.html#download
• СМС-спам: http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
• USENET corpus: http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.html
• WordNet: http://wordnet.princeton.edu/wordnet/download/

Обработка изображений

• 2GB фотографий кошек: http://bit.do/UJZZ
• Контрольная точка распознавания лиц: http://www.face-rec.org/databases/
• ImageNet: http://www.image-net.org/

Временной ряд

• Библиотека временных рядов Библиотека: https://datamarket.com/data/list/?q=provider:tsdl
• Временные ряды UC Riverside: http://www.cs.ucr.edu/~eamonn/time_series_data/

Общественные науки

• China Hotel Checkin/out данные: http://www.360doc.com/content/13/1105/13/7863900_326788919.shtml
• CMU Enron Электронная почта: http://www.cs.cmu.edu/~enron/
• Социальные сети Facebook (с 2007 года): http://law.di.unimi.it/datasets.php
• Facebook100 (2005): https://archive.org/details/oxford-2005-facebook-matrix
• Foursquare (2010,2011): http://www.public.asu.edu/~hgao16/dataset.html
• Foursquare (UMN/Sarwat, 2013): https://archive.org/details/201309_foursquare_dataset_umn
• Общее социальное исследование (GSS): http://www3.norc.org/GSS+Website/
• GetGlue (рейтинг пользователей телешоу): http://getglue-data.s3.amazonaws.com/getglue_sample.tar.gz
• Архив GitHub: http://www.githubarchive.org/
• ICPSR: http://www.icpsr.umich.edu/icpsrweb/ICPSR/index.jsp
• Мобильные социальные сети (UMASS): https://kdl.cs.umass.edu/display/public/Mobile+Social+Networks
• PewResearch Internet Project: http://www.pewinternet.org/datasets/pages/2/
• Социальные сети: http://www.cs.cmu.edu/~jelsas/data/ancestry.com/
• Диаграмма SourceForge: http://www.nd.edu/~oss/Data/data.html
• Титанический набор данных о выживании: https://github.com/caesar0301/awesome-public-datasets/blob/master/Datasets/titanic.csv.zip
• График Twitter: http://an.kaist.ac.kr/traces/WWW2010.html
• UC Berkeley D-Lab Achive: http://ucdata.berkeley.edu/
• Архив данных социальных наук UCLA: http://dataarchives.ss.ucla.edu/Home.DataPortals.htm
• Наборы данных социальной сети UNIMI: http://law.di.unimi.it/datasets.php
• Университеты всего мира: http://univ.cc/
• UPJOHN для исследований занятости: http://www.upjohn.org/erdc/erdc.html
• График Yahoo и социальные данные: http://webscope.sandbox.yahoo.com/catalog.php?datatype=g
• График Youtube (2007,2008): http://netsg.cs.sfu.ca/youtubedata/

Комплексные сети

• URL-адреса CrossRef DOI: https://archive.org/details/doi-urls
• DBLP Citation dataset: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Патентные цитаты: http://nber.org/patents/
• Сбор данных сложных сетей NIST: http://math.nist.gov/~RPozo/complex_datasets.html
• Сеть взаимодействия белка с белком: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• Сеть зависимостей PyPI и Maven: http://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• База данных цитат Scopus: http://www.elsevier.com/online-tools/scopus
• Stanford GraphBase (Стивен Скиена): http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Коллекция наборов данных большой сети Stanford: http://snap.stanford.edu/data/
• Коллекция сети Koblenz: http://konect.uni-koblenz.de/
• Репозиторий сетевых данных UCI: http://networkdata.ics.uci.edu/resources.php
• UFL разреженная матричная коллекция: http://www.cise.ufl.edu/research/sparse/matrices/
• UNIMI Большой веб-график: http://law.di.unimi.it/datasets.php
• База данных WSU Graph: http://www.eecs.wsu.edu/mgd/gdb.html

Компьютерные сети

• 3.5B Веб-страницы: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Веб-клики: http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset
• CAIDA Internet Datasets: http://www.caida.org/data/overview/
• ClueWeb09: http://lemurproject.org/clueweb09/
• ClueWeb12: http://lemurproject.org/clueweb12/
• Веб-данные CommonCrawl: http://commoncrawl.org/the-data/get-started/
• Dartmouth CRAWDAD Беспроводные наборы данных: http://crawdad.cs.dartmouth.edu/
• OpenMobileData (MobiPerf): https://console.developers.google.com/storage/openmobiledata_public/
• Сетевой телескоп UCSD: http://www.caida.org/projects/network_telescope/

Данные SEs

• Академические торренты: http://academictorrents.com/
• Datahub.io: http://datahub.io/dataset
• DataMarket: https://datamarket.com/data/list/?q=all
• Harvard Dataverse: http://thedata.harvard.edu/dvn/
• Statista: http://www.statista.com/
• Freebase: http://www.freebase.com/

Публичные Doamins

• Amazon: http://aws.amazon.com/datasets
• Archive.org Datasets: https://archive.org/details/datasets
• Архив данных CMU JASA: http://lib.stat.cmu.edu/jasadata/
• Коллекции CMU StatLab: http://lib.stat.cmu.edu/datasets/
• Data360: http://www.data360.org/index.aspx
• Datamob.org: http://datamob.org/datasets
• Google: http://www.google.com/publicdata/directory
• infochimps: http://www.infochimps.com/
• Коллекции данных KDNuggets: http://www.kdnuggets.com/datasets/index.html
• Numbray: http://numbrary.com/
• Коллекция RevolutionAnalytics: http://www.revolutionanalytics.com/subscriptions/datasets/
• Примеры наборов данных R: http://stat.ethz.ch/R-manual/R-patched/library/datasets/html/00Index.html
• Stats4Stem R: http://www.stats4stem.org/data-sets.html
• StatSci.org: http://www.statsci.org/datasets.html
• The Washington Post List: http://www.washingtonpost.com/wp-srv/metro/data/datapost.html
• Сбор данных UCLA SOCR: http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data
• Отчеты UFO: http://www.nuforc.org/webreports.html
• Перехват пейджера Wikileaks 911: http://911.wikileaks.org/files/index.html
• Yahoo Webscope: http://webscope.sandbox.yahoo.com/catalog.php

Дополнительные коллекции

• DataWrangling: http://www.datawrangling.com/some-datasets-available-on-the-web
• Внутри-r: http://www.inside-r.org/howto/finding-data-internet
• Quora: http://www.quora.com/Where-can-I-find-large-datasets-open-to-the-public
• Коллекция RS 100+: http://rs.io/2014/05/29/list-of-data-sets.html
• StaTrek: http://hsiamin.com/posts/2014/10/23/leveraging-open-data-to-understand-urban-lives/

Ответ 3

Вот несколько. Получайте удовольствие.

http://archive.ics.uci.edu/ml/

http://aws.amazon.com/datasets?_encoding=UTF8&jiveRedirect=1

http://crawdad.org/

http://data.austintexas.gov

http://data.cityofchicago.org

http://data.govloop.com

http://data.gov.uk/

http://data.medicare.gov

http://data.seattle.gov

http://data.sfgov.org

http://data.sunlightlabs.com

https://datamarket.azure.com/

http://ftp.ncbi.nih.gov/

http://gettingpastgo.socrata.com

http://books.google.com/ngrams/

http://linkeddata.org/

http://medihal.archives-ouvertes.fr

http://public.resource.org/

http://rechercheisidore.fr

http://reddit.com/r/datasets

http://timetric.com/public-data/

http://www2.jpl.nasa.gov/srtm

http://www.bls.gov/

http://www.crunchbase.com/

http://www.dartmouthatlas.org/

http://www.data.gov/

http://www.datakc.org

http://www.factual.com/

http://www.freebase.com/

http://www.infochimps.com

http://www.kaggle.com/

http://build.kiva.org/

http://www.imdb.com/interfaces

http://dbpedia.org

Ответ 4

Просто мысль:

• База данных географических названий USGS
• Контрольный список USDA PLANTS
• Любой из многих государственных репозиториев ГИС, например. NH GRANIT

Ответ 5

Хорошо для журналов веб-сервера вы всегда можете просто сгенерировать их в нужном формате. Если вы собираетесь протестировать код против него и т.д., Он должен быть адаптирован к полям, которые вы хотите сохранить/проанализировать.

Для наборов данных, используемых для бенчмаркинга производительности базы данных, вы, вероятно, захотите посмотреть на инструмент, который может генерировать данные для вас. У Красных ворот есть отличная возможность для не слишком больших денег.

Ответ 6

В таблицах Google Fusion есть несколько.

http://tables.googlelabs.com/

Ответ 7

Наборы данных доступны здесь.

Ответ 8

Kaggle.com часто сталкивается с проблемами сбора данных. Наборы данных охватывают широкий круг fienlds: данные поставщика медицинских услуг для информации о кредитной истории. Возможно, что-то есть, что вам нужно.

Ответ 9

http://Quandl.com имеет более 10 миллионов наборов данных, собранных со всего Интернета. Самое замечательное в этом ресурсе заключается в том, что он дает единственный способ доступа ко всем данным. На сайте есть бесплатный подключаемый модуль Excel или есть библиотеки в R, Python, Ruby и т.д.

Ответ 10

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

Ответ 11

Я удивлен, что никто не упоминает Google N-Grams. Подробнее о N-граммах http://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html

Ответ 12

Возможно, некоторые базы данных используются в качестве обучающих наборов для алгоритмов распознавания лиц: face-rec.org

Ответ 13

Ну, это новый, и за этим стоит задача:

Миллион задач набора данных