Я использую curl и wget для получения этого URL: http://opinionator.blogs.nytimes.com/2012/01/19/118675/
Для curl он не возвращает никакого вывода, но с wget возвращает весь HTML-источник:
Вот две команды. Я использовал один и тот же пользовательский агент, и оба они поступают с одного и того же IP-адреса и следуют за перенаправлениями. URL-адрес точно такой же. Для curl он возвращается сразу после 1 секунды, поэтому я знаю, что это не проблема с таймаутом.
curl -L -s "http://opinionator.blogs.nytimes.com/2012/01/19/118675/" --max-redirs 10000 --location --connect-timeout 20 -m 20 -A "Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1" 2>&1
wget http://opinionator.blogs.nytimes.com/2012/01/19/118675/ --user-agent="Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"
Если NY Times может клонировать, а не возвращать источник, чтобы завивать, что может быть другим в заголовке, зависание отправляется? Я предполагал, что, поскольку пользовательский агент тот же, запрос должен выглядеть точно так же от обоих этих запросов. Какие еще "следы" следует проверить?