Можно загрузить всю базу данных whois/список зарегистрированных доменов?

Я хотел бы провести анализ зарегистрированных доменных имен. Похоже, я могу поразить whois.internic.net, чтобы получить информацию о каждом домене, но также похоже, что существуют ограничения по скорости, которые мешают мне выполнять большое количество запросов.

Есть ли способ периодически (скажем, ежедневно) захватить всю базу данных whois? Я действительно забочусь только о том, зарегистрирован ли домен или нет, поэтому мне не нужна полная информация whois.

ОТВЕТЫ

Ответ 1

Для .com, .net и .name VeriSign предоставляет программу доступа к зоне TLD, где вы можете подать заявку на доступ к загрузке к файлам зон. Другие реестры обычно предоставляют аналогичные услуги.

Вот список для некоторых других TLD (хотя я не пытался подать заявку на любой из них):

Ответ 2

Whois API предлагает полную загрузку базы данных whois в основные GTLD (.com,.net,.org,.us,.biz., mobi и т.д.)
Что еще, он обеспечивает архивированную историческую базу данных whois как в разобранном, так и в необработанном формате для загрузки в виде файлов CSV. Я использовал частичную загрузку базы данных для проекта компании (связанный с SEO), и качество данных было довольно хорошим.

http://www.whoisxmlapi.com/whois-database-download.php

Он также обеспечивает ежедневную загрузку Новые зарегистрированные домены

Ответ 3

Еще в 2006 году Деннис Форбс сделал некоторый анализ, который вы можете увидеть больше об этом здесь. Он также упоминает в боковой панели, где он получил данные. Кажется, он смотрел файлы зон Verisign, а не базу данных whois. Я не детали, но это может быть другое направление для поиска.

Ответ 4

PremiumDrops будет продавать вам ежемесячный доступ к основным файлам зон (плюс списки изменений).

И Domainr имеет бесплатный REST API, который вы можете использовать из javascript: