Есть два варианта:

1) Страница, страницы или разделы уже существуют и проиндексированы, после чего они закрываются от индексирования в robots.txt

2) Страница или группа страниц изначально закрыта в robots.txt до возможности их индексации.

Казалось бы второй вариант вообще нет смысла рассматривать, потому что сразу запрещено и «мышь не проскочит, робот не пройдет». Ан, нет – возможны варианты!

Запрещение уже проиндексированных страниц сайта

Не так давно появилась необходимость закрыть от индексации сайт с сотней тысяч проиндексированных страниц. Практически полностью, т.е. из 100 тыс. осталось штук 30-40. Яндекс в этом случае при ближайшем апдейте безусловно удаляет все 999 960 «лишних» страниц, никак специально не уведомляя об этом, т.е. если вебмастер запретил – он знает, что делает.

Google в этом случае начинает сигнализировать в Google Webmaster Tools, что “Обнаружена серьезная ошибка…” и необходимо проверить, не запрещены ли важные страницы сайта в robots.txt. При этом Google не удаляет из индекса запрещенные страницы, а продолжает их показывать, включая и сохраненные копии, просто-напросто сохраненные копии не обновляются, а выводятся по состоянию на те даты, когда индексирование искомых страниц было разрешено.

Формально Google кажется  правым, поскольку после запрета индексации робот не запрашивает сами страницы, а что проиндексировано до запрета, принадлежит индексу Google, а не вебмастеру сайта.

Запрещение индексации новых страниц

Проверяется просто: одна или несколько страниц, выложенных в заранее запрещенную для индексации директорию, ставим на появившиеся страницы ссылки на известных Гуглу страницах.

Яндекс вполне предсказуем – запрещено, значит запрещено.

Google похож на воспитанную собаку, которая котлету не крадет, но старается быть к ней максимально близко. поисковик считает, что раз ссылка есть, то и страница существует и, ни разу не дернув эту страницу с сервера, начинает показывать ссылку на нее в результатах поиска, используя текст ссылки и близлежащий текст  в качестве заголовка.

Смотрите также:

1. Как склеить зеркала сайта в Яндексе
2. Директивы в robots.txt
3. reCaptcha и Google

Согласно данным сервиса Experian Hitwise в мае 2010 впервые на рынке Великобритании количество визитов пользователей в социальные сети и сервисы превысило количество визитов на сайты поисковых систем:

За год доля визитов на сайты социальных сетей увеличилась с 10% до 11,88%, , а доля визитов на сайты поисковых систем уменьшилась с 12% до 11,33%.

При этом самым посещаемым сайтом в Британии остается Google. Facebook генерирует 55% “социального” трафика, что втрое больше трафика Youtube. А Twitter, самый быстрорастущий сервис два последних года, вышел на 3 место среди социальных сетей, оставив позади бывших лидеров – Myspace и Bebo.

Что касается рекламы, тот же Facebook в марте текущего года сгенерировал 21 млрд. рекламных показов только жителям Великобритании, что составило 30% всех рекламных показов в этом месяце.

via

Смотрите также:

1. Вдвое больше видео в социальных сетях
2. Социальные сети 2008-2010
3. Facebook и медийная реклама

16-го сентября появилось сообщение о покупке Гуглем компании reCAPTCHA. Особенность сервиса купленной компании – комплексный подход. На изображении выводится два слова, с помощью первого слова отфильтровывается человек, затем отфильтрованный человек используется для помощи в распознавани отсканированного текста.
Интересно, что в Google уже использовали “человеческую” помощь для обработки данных. В одной  моей старой записи три года назад я писал об игре Google Image Labeler. Там игроки получают очки, называя объекты на изображениях, а Гугл в свою очередь мог связывать изображения с соответствующими им определениями. Вот только информация об использовании данных игры в поиске по изобрадениям мне не попадалась.