Интересно, влияет ли контент, загружаемый динамически AJAX на SEO/способность поисковых систем индексировать страницу?
Я собираюсь сделать страницу с постоянной загрузкой, что-то вроде панели инструментов Tumblr, где содержимое загружается автоматически, когда пользователь прокручивается вниз.
Короткий ответ: Это зависит.
Вот почему - скажем, у вас есть контент, который вы хотите проиндексировать - в этом случае загрузка его с помощью ajax гарантирует, что он не будет. Поэтому содержимое должно загружаться нормально.
С другой стороны, скажем, у вас есть контент, который вы хотите индексировать, но по той или иной причине вы не хотите его показывать (я знаю, что это не рекомендуется и не очень приятно конечному пользователю, но существуют допустимые варианты использования), вы можете загрузить этот контент нормально, а затем скрыть или даже заменить его с помощью javascript.
Что касается вашего случая, когда у вас есть "постоянно загружаемый" контент, вы можете убедиться, что он проиндексирован, предоставив ссылки на пользовательские агенты, зависящие от поисковых систем и не-js. Например, у вас может быть какой-то твиттер-подобный контент, а в конце его больше кнопка, которая ссылается на контент, начиная с последнего отображаемого вами элемента. Вы можете скрыть кнопку с помощью javascript, чтобы обычные пользователи никогда не знали об этом, но сканеры будут индексировать этот контент (нажав ссылку) в любом случае.
Через год...
В то время как Google появился со спецификациями того, как создавать контент XHR, который может быть проиндексирован поисковыми системами. Он включает сопряжение контента в ваших асинхронных запросах с синхронными запросами, за которыми может следовать искатель.
http://code.google.com/web/ajaxcrawling/
Не знаю, поддерживают ли другие поисковые гиганты эту спецификацию, или даже Google делает это. Если кто-нибудь знает о практичности этого метода, я бы хотел услышать об их опыте.
Изменить: На сегодняшний день, 14 октября 2015 года, Google устарел в своей схеме обхода AJAX:
В 2009 году мы сделали предложение сделать страницы AJAX полными. Тогда наши системы не смогли отображать и понимать страницы, которые используют JavaScript для представления контента пользователям.... Времена изменились. Сегодня, пока вы не блокируете робота Googlebot для обхода ваших JavaScript файлов или файлов CSS, мы, как правило, можем отображать и понимать ваши веб-страницы, например, современные браузеры.
H/T: @mark-bembnowski
Если у вас есть контент, загруженный с помощью запроса Ajax, он загружается только пользовательскими агентами, которые запускают код Javascript.
Поисковые роботы, как правило, не поддерживают Javascript (или вообще не хорошо).
Таким образом, вероятность того, что ваш контент, загруженный с помощью запроса Ajax, не будет отображаться поисковыми роботами, что означает, что он не будет проиндексирован; что не очень хорошо для вашего сайта.
Пять лет спустя...
Последнее обновление SEO AJAX:
По состоянию на 14 октября 2015 г.
Google теперь может сканировать и анализировать загруженный контент AJAX. SPA или другая страница, созданная AJAX, больше не нужна для подготовки двух версий веб-сайтов для SEO.
Сканеры не запускают JavaScript, поэтому нет, ваш контент не будет виден им. Вы должны предоставить альтернативный метод достижения этого контента, если хотите проиндексировать его.
Вы должны придерживаться того, что называется "изящная деградация" и "прогрессивное улучшение". В основном это означает, что ваш сайт должен функционировать, а контент должен быть доступен, когда вы начнете отключать некоторые технологии.
Создайте свой сайт с помощью классической навигации, а затем "ajaxify". Таким образом, он не только правильно индексируется поисковыми системами, но и дружественным пользователям, которые просматривают его с помощью мобильных устройств/с отключенным JS и т.д.
Два года спустя поисковые системы Bing и Yahoo также теперь поддерживают Google Ajax Crawling Standard. Информацию по стандарту можно найти здесь: https://developers.google.com/webmasters/ajax-crawling/docs/getting-started.
Принятый ответ на этот вопрос более не точен. Поскольку этот пост все еще отображается в результатах поиска, я подведу последние факты:
Когда-то в 2009 году Google опубликовал предложение AJAX обхода. Другие поисковые системы добавили поддержку этой схемы вскоре после этого. На сегодняшний день, 14 октября 2015 года, Google устарел в своей схеме обхода AJAX:
В 2009 году мы сделали предложение сделать страницы AJAX полными. Тогда наши системы не смогли отображать и понимать страницы, которые используют JavaScript для представления контента пользователям.... Времена изменились. Сегодня, пока вы не блокируете робота Googlebot для обхода ваших JavaScript файлов или файлов CSS, мы, как правило, можем отображать и понимать ваши веб-страницы, например, современные браузеры.