Большие общедоступные наборы данных?

Что ж, что касается журналов веб-сервера, вы всегда можете просто сгенерировать их для нужного вам формата. Если вы собираетесь протестировать код против него и т. д., Он должен быть адаптирован к полям, которые вы хотите сохранить / проанализировать.

Для наборов данных, используемых для тестирования производительности базы данных, вы, вероятно, захотите найти инструмент, который может генерировать данные для вас. У Red Gate есть отличный за не слишком большие деньги.

Просто мысль:

• База данных географических названий USGS
• Контрольный список USDA PLANTS
• Любой из множества государственных репозиториев ГИС, например NH's ГРАНИТ

В Google Fusion Tables их несколько.

http://tables.googlelabs.com/

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

Я удивлен, что никто не упомянул Google N-Grams. Подробнее о N-Grams на http://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html

1. Large sample web server logs that have been anonymized.

Эти работы для начала:

• Репозиторий машинного обучения UCI
  • Анонимные веб-данные Microsoft
  • Анонимные веб-данные MSNBC.com
  • Рейтинги веб-страниц Syskill и Webert

Доступно гораздо больше наборов данных, чем эти (см. Спектр других ответов), но это самый низкий висячий плод, который соответствует вашим исходным критериям. В качестве бонуса у них есть контактная ссылка, если у вас есть особые потребности, о которых они могут знать.

2. Datasets used for database performance benchmarking.

Это звучит неправильно, потому что вы запрашиваете наборы эмпирических данных, которые описывают четко определенныйалгоритмическийпроблемы. В частности, похоже, что вы пытаетесь найти наборы данных, которые можно использовать для тестирования и тестирования различных систем баз данных в реальном времени, используя четко определенные, нормализованные реляционные данные, которые можно использовать в качестве набора тестовых примеров для определения наиболее эффективное решение, отвечающее вашим потребностям.

Я не согласен с таким подходом. Вместо того, чтобы искать множество систем баз данных и их готовых реализаций, гораздо лучше изучить алгоритмическийгарантии этих систем в качестве вашего первого порта захода. После того, как вы определили алгоритмические ограничения, которые соответствуют вашим потребностям, вы можете отточить набор готовых решений, которые вы можете оценить по эффективности, например, индексации, сортировки, поиска, вставки, удаления и извлечения.

В Википедии есть краткая статья о концепциях тестирования баз данных, который можно использовать для определения и написания тестовых примеров для оценки производительности. Например, вы можете использовать независимый интерфейс доступа к данным, такой как JDBC и Тест JDBC, для определения относительного времени каждой операции. Отсюда вы можете найти правильное решение.

Коротко, сначала перейдите к исследование для определения гарантий базы данных. После определения набора возможных решений вы можете выбрать среди них, протестировав (или иным образом определив) постоянную временную производительность каждой желаемой операции.

Возможно, некоторые базы данных используются в качестве обучающих наборов для алгоритмов распознавания лиц: face-rec.org

Вот несколько. Повеселись.

http://archive.ics.uci.edu/ml/

http://aws.amazon.com/datasets?_encoding=UTF8&jiveRedirect=1

http://crawdad.org/

http://data.austintexas.gov

http://data.cityofchicago.org

http://data.govloop.com

http://data.gov.uk/

http://data.medicare.gov

http://data.seattle.gov

http://data.sfgov.org

http://data.sunlightlabs.com

https://datamarket.azure.com/

http://ftp.ncbi.nih.gov/

http://gettingpastgo.socrata.com

http://books.google.com/ngrams/

http://linkeddata.org/

http://medihal.archives-ouvertes.fr

http://public.resource.org/

http://rechercheisidore.fr

http://reddit.com/r/datasets

http://timetric.com/public-data/

http://www2.jpl.nasa.gov/srtm

http://www.bls.gov/

http://www.crunchbase.com/

http://www.dartmouthatlas.org/

http://www.data.gov/

http://www.datakc.org

http://www.factual.com/

http://www.freebase.com/

http://www.infochimps.com

http://www.kaggle.com/

http://build.kiva.org/

http://www.imdb.com/interfaces

http://dbpedia.org

Также доступны наборы данных здесь.

Что ж, это новинка, и за ней стоит проблема:

Задача с набором данных на миллион песен

Kaggle.com часто сталкивается с проблемами сбора данных. Наборы данных охватывают широкий спектр областей: от данных поставщика медицинских услуг до информации о кредитной истории. Возможно, что-то есть то, что вам нужно.

http://Quandl.com содержит более 10 миллионов наборов данных, собранных со всего Интернета. Самое замечательное в этом ресурсе то, что он дает единый способ доступа ко всем данным. На сайте есть бесплатный плагин для Excel или есть библиотеки на R, Python, Ruby и т. д.