«Случайные» зеркала сайта

У меня они получились из-за неправильного определения домена в web-сервере.
Админ может определить Ваш домен you_site.ru в web-сервере как *.you_site.ru, чтобы облегчить себе жизнь при создании поддоменов 3 уровня. В результате, при определенных условиях, Вы _можете_ получить неопределенное количество зеркал Вашего сайта на на этих доменах 3 уровня. Например, в web-сервере apache это ошибка возникла фактически самопроизвольно, а точнее при определении домена 3 уровня для служебных целей. Причем он ничем не был закрыт от поисковых роботов.
В результате получил в Яндекс следующую проблему:
1) Первым сайт проверяет «робот-зеркальщик». В моем случае не имея robots.txt он выбрал все выдаваемые ему web-сервером доступные домены *.you_site.ru, а их накопилось за год работы около 30 штук.
2) Далее все документы из всех этих доменов были переданы Яндекс и он начал обрабатывать их на плагиат и релевантность. Соответственно все одинаковые документы из поиска выбрасываются.
В итоге, в теории, у Вас сайт может полностью выпасть из поиска. Это не бан. Это именно выпадение из поиска. У меня из 4500 документов осталось 10. Причем часть виделась как you_site.ru/document.html, а другая часть как domen.you_site.ru/document.html.
Здесь отдаю должное суппорту Яндекс. Сделав туда звонок, я получил все вышеописанные объяснения и короткую справку про robots.txt для решения этой проблемы. Кроме того, меня попутно просветили, почему любой сайт из бана выходит через месяц. Соответствующий робот Яндекса ходит не чаще раза в месяц по сайту. И мне тоже был назван срок: 1 месяц. Правда обещали немного поколдовать и помочь, но ничего не гарантировали.
Мне немного повезло с остатками сайта. Из поиска не выпала «морда» сайта. На ней установлена ссылка на карту сайта, на которой есть 133 ссылки на внутренние страницы. И чтобы завлечь роботов Яндекса на сайт, которые, как известно, очень любят обновления контента, начал выводить на карту сайта анонсы 10 последних новостей. Новости для сайта пишутся ежедневно. Конечно, был создан robots.txt следующего вида:
user-agent *
host: www.you_site.ru
и админу впредь приказано создавать домены строго you_site.ru и www.you_site.ru. Шаг влево, шаг вправо – расстрел.
Через 7 дней ситуацию удалось переломить, и все документы сайта попали в базу поиска Яндекс.

Беломестных Виктор