Решил перепроверить в принципе уже известные факты о том, как ведут себя Яндекс и Google при запрете страниц в robots.txt. Хотя на самом деле речь в основном пойдет про Google, потому что поведение Яндекса вполне просто и прямолинейно.

Есть два варианта:

1) Страница, страницы или разделы уже существуют и проиндексированы, после чего они закрываются от индексирования в robots.txt

2) Страница или группа страниц изначально закрыта в robots.txt до возможности их индексации.

Казалось бы второй вариант вообще нет смысла рассматривать, потому что сразу запрещено и «мышь не проскочит, робот не пройдет». Ан, нет – возможны варианты!

Запрещение уже проиндексированных страниц сайта

Не так давно появилась необходимость закрыть от индексации сайт с сотней тысяч проиндексированных страниц. Практически полностью, т.е. из 100 тыс. осталось штук 30-40. Яндекс в этом случае при ближайшем апдейте безусловно удаляет все 999 960 «лишних» страниц, никак специально не уведомляя об этом, т.е. если вебмастер запретил – он знает, что делает.

Что же нужно сделать для правильной склейки зеркал сайта в Яндексе? Последовательность действий по склейке зеркал будет зависеть от текущей ситуации с зеркалами, ее надо выяснить прежде всего и здесь нам поможет форма добавления нового сайта – http://webmaster.yandex.ua/addurl.xml. При добавлении сайта в форму делается автоматическая проверка на “зеркальность” и если сайт является не главным зеркалом, то будет указано главное: “Указанный вами сайт является неглавным зеркалом сайта notes.webartsolutions.com” (и правда является, сейчас переклеиваю).
Если зеркала никак пока не склеены, то это самый идеальный случай, нужно сделать следующие шаги:

1. Прописать директиву Host в robots.txt, где указать главное зеркало, после всех прочих директив в секции для Яндекса написать “Host: chernyshov.kiev.ua” без http, просто адрес. Лучше всего это сделать именно в отдельной секции Яндекса, потому что кроме Яндекса директиву Host никто не поддерживает.
2. Максимум ссылок ставить именно на главное зеркало, при возможности отредактировать существующие ссылки, чтобы тоже вели на главное зеркало.
3. Можно поставить 301-й редирект на главное зеркало, а можно этого не делать, смотря как индексируются зеркала и сколько посетителей ходит на них. При установке 301-го редиректа тот сайт, откуда стоит редирект, скорее всего выпадет из индекса.
4. Набраться терпения и ждать.

В случае Яндекса 301-м редиректом пользоваться следует осторожно, поскольку в случае неправильной склейки зеркал, когда главным зеркалом уже выбран неправильный адрес, 301-й редирект скорее навредит.
В помощи Яндекса по этому поводу имеется интересная фраза в разделе как склеить зеркала:

С помощью серверного редиректа со страниц старого домена на соответствующие им страницы нового. Этот способ рекомендуется использовать в том случае, если новый домен не является неглавным зеркалом.

На практике получается, что склеивать зеркала с помощью 301-го редиректа в Яндексе можно только в том случае, когда главным зеркалом должен стать новый адрес, еще не склеенный ни с чем. Я проверил, действительно работает: адреса site.ru и www.site.ru были зеркалами, а newsite.ru надо было сделать новым главным зеркалом. Host, редирект, полтора месяца ожидания и – вуаля!

Если же зеркала уже склеены, но склеены неправильно и их надо переклеить или свапнуть, то тут надо немного изменений и очень много… терпения:

1. Выключаем редирект, если он был.
2. Прописываем директиву Host в robots.txt, где указываем главное зеркало.
3. По возможности ставим новые ссылки на главное зеркало и меняем на старое.
4. Ждем

Ждать придется несколько месяцев так точно, поэтому склейку зеркал лучше не откладывать.

С некоторым опозданием отпишусь по поводу конференции iForum, прошедшей в Киеве 1-го апреля. Я отмечался несколько раз в Твитере на тех докладах, которые удалось прослушать. Кстати, список ссылок на другие отзывы можно найти тут.

Аудитория

Аудитория слушателей поражала своим разнообразием. Конечно впечатляют цифры о более чем 2000 посетителей, но тогда надо уточнить определение интернет-деятеля

Больше всего меня поразил отток людей между секциями по поисковой оптимизации и юзабилити. Это означает, что основная задача оптимизаторов – привести трафик на сайт, а проблемами с конверсией. С другой стороны голосование ногами за доклады – вполне нормальная ситуация на крупных конференциях.

Доклады и докладчики

Уровень докладов и докладчиков был на хорошем уровне, по крайней мере тех двух секций, которые я посетил. Доклады Сергея Петренко, Дмитрия Шоломко, Дмитрия Сатина, Кирилла Готовцева, Игоря Ашманова плохими быть не могут, остальные докладчики тоже лицом в грязь не ударили.

Ну а в целом надо уже больше давать докладов с кейсами – пойдут на ура.

Кулуары

Как всегда самое интересное именно в кулуарах. Встретил много старых знакомых, которых давно не видел, обменялся информацией с коллегами. Даже удалось провести одну вполне рабочую встречу. Зато как-то совсем не ушли визитки – практически всех докладчиков и коллег знаю лично, большого количества развиртуализаций не было.

Познакомился наконец-то лично с Игорем Ашмановым. Книга по оптимизации пользуется популярностью, многие просили Игоря ее подписать. Приятно, что я в свое время вошел в группу ее авторов и несколько глав книги мои.

Ну и нормально прошли традиционные посиделки после конференции, правда я был за рулем и через некоторое время “выпал” из общего настроя!

Милли- и микро- блоги

Твиттер неправильно называть сервисом микроблогов, потому что после "больших" блогов должны быть миллиблоги. 140 символов, нет комментариев – это еще не микро, не надо преувеличивать, вернее, преуменьшать. Так что быть Твиттеру миллиблогами.

Идем дальше. Микроблоги уже давно с нами – это же статусы в месенджерах! Сделает ICQ и прочие историю статусов – вот и готов микроблог. Основное в статусе смайлики, достаточно будет 5-6 символов.

Наноблоги

Предлагаю концепцию наноблогов – блогов, где все сообщение состоит из одного байта.

Как известно, в байте 8 бит.

Первый бит – заголовок, больше не надо. "1" – позитивное сообщение, "0" – негативное.

Следующие два бита – краткая аннотация. Тут уже четыре возможных состояния, достаточно для передачи настроения автора.

Еще четыре бита – для самого сообщения. 16 вариантов. Учитывая 2 бита аннотации можно о чем угодно рассказать.

Последний оставшийся бит – наличие или отсутствие комментариев или упоминаний. Сами комментарии и упоминания в аналогичном формате будут размещаться следующими байтами.

Использование второго байта для тела сообщения запрещено – это оверквоттинг, может расцениваться как графоманство.

Сообщение в наноблога в двоичной системе будет выглядеть примерно так: 1 10 0110 0, что можно расшифровывается как:

Все здорово! Сегодня пятница, но надо еще доработать до вечера. После работы нас ждет пиво и хорошее настроение, но может быть похмелье. Комментариев пока нет.

Как вам идея?

В Великобритании компанией GfK запущена новая панель Media Efficiency Panel (MEP) по измерению эффективности рекламных кампаний в интернете. С помощью технологий немецкой компании Nurago в онлайне отслеживается взаимодействие панелистов с рекламными кампаниями в интернете, параллельно в оффлайне фиксируются все покупки отслеживаемых домохозяйств. Таким образом можно явно определить эффективность интернет-рекламы от показа баннеров до приобретения реальных товаров.
Примечательно, что 10 тысяч панелистов для исследования GfK были рекрутированы с помощью TNS Worldpanel service.