Есть два варианта:

1) Страница, страницы или разделы уже существуют и проиндексированы, после чего они закрываются от индексирования в robots.txt

2) Страница или группа страниц изначально закрыта в robots.txt до возможности их индексации.

Казалось бы второй вариант вообще нет смысла рассматривать, потому что сразу запрещено и «мышь не проскочит, робот не пройдет». Ан, нет – возможны варианты!

Запрещение уже проиндексированных страниц сайта

Не так давно появилась необходимость закрыть от индексации сайт с сотней тысяч проиндексированных страниц. Практически полностью, т.е. из 100 тыс. осталось штук 30-40. Яндекс в этом случае при ближайшем апдейте безусловно удаляет все 999 960 «лишних» страниц, никак специально не уведомляя об этом, т.е. если вебмастер запретил – он знает, что делает.

Google в этом случае начинает сигнализировать в Google Webmaster Tools, что “Обнаружена серьезная ошибка…” и необходимо проверить, не запрещены ли важные страницы сайта в robots.txt. При этом Google не удаляет из индекса запрещенные страницы, а продолжает их показывать, включая и сохраненные копии, просто-напросто сохраненные копии не обновляются, а выводятся по состоянию на те даты, когда индексирование искомых страниц было разрешено.

Формально Google кажется  правым, поскольку после запрета индексации робот не запрашивает сами страницы, а что проиндексировано до запрета, принадлежит индексу Google, а не вебмастеру сайта.

Запрещение индексации новых страниц

Проверяется просто: одна или несколько страниц, выложенных в заранее запрещенную для индексации директорию, ставим на появившиеся страницы ссылки на известных Гуглу страницах.

Яндекс вполне предсказуем – запрещено, значит запрещено.

Google похож на воспитанную собаку, которая котлету не крадет, но старается быть к ней максимально близко. поисковик считает, что раз ссылка есть, то и страница существует и, ни разу не дернув эту страницу с сервера, начинает показывать ссылку на нее в результатах поиска, используя текст ссылки и близлежащий текст  в качестве заголовка.

Смотрите также:

1. Как склеить зеркала сайта в Яндексе
2. Директивы в robots.txt
3. reCaptcha и Google

1. Прописать директиву Host в robots.txt, где указать главное зеркало, после всех прочих директив в секции для Яндекса написать “Host: chernyshov.kiev.ua” без http, просто адрес. Лучше всего это сделать именно в отдельной секции Яндекса, потому что кроме Яндекса директиву Host никто не поддерживает.
2. Максимум ссылок ставить именно на главное зеркало, при возможности отредактировать существующие ссылки, чтобы тоже вели на главное зеркало.
3. Можно поставить 301-й редирект на главное зеркало, а можно этого не делать, смотря как индексируются зеркала и сколько посетителей ходит на них. При установке 301-го редиректа тот сайт, откуда стоит редирект, скорее всего выпадет из индекса.
4. Набраться терпения и ждать.

В случае Яндекса 301-м редиректом пользоваться следует осторожно, поскольку в случае неправильной склейки зеркал, когда главным зеркалом уже выбран неправильный адрес, 301-й редирект скорее навредит.
В помощи Яндекса по этому поводу имеется интересная фраза в разделе как склеить зеркала:

С помощью серверного редиректа со страниц старого домена на соответствующие им страницы нового. Этот способ рекомендуется использовать в том случае, если новый домен не является неглавным зеркалом.

На практике получается, что склеивать зеркала с помощью 301-го редиректа в Яндексе можно только в том случае, когда главным зеркалом должен стать новый адрес, еще не склеенный ни с чем. Я проверил, действительно работает: адреса site.ru и www.site.ru были зеркалами, а newsite.ru надо было сделать новым главным зеркалом. Host, редирект, полтора месяца ожидания и – вуаля!

Если же зеркала уже склеены, но склеены неправильно и их надо переклеить или свапнуть, то тут надо немного изменений и очень много… терпения:

1. Выключаем редирект, если он был.
2. Прописываем директиву Host в robots.txt, где указываем главное зеркало.
3. По возможности ставим новые ссылки на главное зеркало и меняем на старое.
4. Ждем

Ждать придется несколько месяцев так точно, поэтому склейку зеркал лучше не откладывать.

Смотрите также:

1. SEO для крупных сайтов
2. Директивы в robots.txt
3. Персональные данные в поисковиках

На самом деле разгоняй надо делать админам, архитекторам и ПМам, которые вообще допустили доступность такого контента в интернете. По хорошему доступ к бек-енду должен открываться буквально по IP-адресам только непосредственно работающим с админкой людям, запароленный доступ и https обязательны. Никто не отменял VPN, кстати.

А закрыть доступ к разделу или незапароленной админке в robots.txt – это все равно, что дать незнакомому человеку ключи от квартиры и указать пальцем на дверь. Любой даже не хакер, а пользователь с уровнем выше среднего, пройдется по таким “закрытым” разделам пылесосом wget’а и будут потом писать уже не про поисковики, а чт-то вроде:

…в руки хакеров попало н-дцать тысяч пользовательских записей из ряда интернет-магазинов и сервисов…

В общем, кажущаяся простота развертывания готовых сервисов и модулей различных CMS и прочих готовых решений, а также изменяющий реальность подход к публичности личной информации все равно не снижает требований к ответственным специалистам.

Смотрите также:

1. Битва за контент
2. Измерять Веб как ТВ
3. Проснулся, потянулся, залогинился

Насчет обработки спецсимволов для замены последовательностей и директивы Crawl-Delay – все вроде бы понятно, “звездочку” всегда использовали для замены последовательностей символов, ограничение частоты запросов, особенно для крупных сайтов тоже вещь полезная. А вот Allow и Clean-param вроде и понятны, но есть нюансы. В частности то, что в последовательности Allow/Disallow в рамках одной секции учитывается первая, если несколько директив могут применяться к определенному URL. Особенно пугает Allow: без ничего, запрещающая индексацию всего сайта (аналог Disallow: /). В случае Clean-Param хотелось бы понять, как обрабатываются ссылки на такие страницы и рассматриваются ли страницы как дубли?

А вообще интересно до чего дошел прогресс!

Смотрите также:

1. Презентация «Идем онлайн»
2. Медийная реклама – форматы Украины и зарубежья
3. SEO для крупных сайтов