Аккуратнее с Яндексом
Опубликовано: 13.09.2006 | Автор: Алексей Радкевич | В рубрике: Это архивная рубрика | 15 комментария »Запустил на рабочем компьютере SEMonitor чтобы посмотреть позиции сайта в выдаче по запросу кухонные гарнитуры. Понятно, что использование таких автоматических систем может нарушать (нарушает) Лицензию поисковых систем, но разработчики программы утверждают:
- 3 Q. Большинство поисковых систем запрещают автоматические запросы. Может ли поисковая система заблокировать мой IP адрес за использование вашей программы
A. Мы не знаем ни одного случая подобной блокировки за более чем 2 года использования и распространения программы. Запросы программы выглядят как запросы обычного браузера. Если у вас статичный IP адрес и программа используется очень активно, можно воспользоваться фунцией «Настройки->Защита IP». В этом случае между запросами будет делаться случайная по времени пауза, что имитирует поведение пользователя. На наш взгляд эта проблема относится к области «мифов» и является надуманной.
Это действительно было правдой до последнего времени, максимум, что я видел, это когда Yahoo делал бан на ip примерно на 15 минут (это при том, что всегда пользуюсь функцией Защита IP с паузами от 3 до 15 секунд).
Но в Яндексе начали «борьбу с ведьмами». В понедельник попробовав выйти со своего ip на Яндекс, получил ответ – «Доступ к сервису заблокирован. Вы зашли с ip ….» и т.д. В тексте причины блокирования указано не было, но возникало подозрение, что именно за SEMonitor и есть бан. Поскольку вся организация пользуется одним ip, то почему-то у всего персонала возник вопрос, а почему не работает Яндекс.
Проблема решилась письмом в Яндекс. В ответ через 2 дня пришло письмо, в котором говорилось, что «адрес закрыт с 08/Sep/2006:13:27:10, потому что с него шел поток автоматических запросов, что противоречит нашей лицензии на поиск
http://rules.yandex.ru/termsofuse.xml. Отрывок лога приведен ниже.». Из приведённого ниже лога следовало только, что мой компьютер сделал 2 запроса через Яндекс-Бар (FireFox, реальный бар, который стоит у меня) и 1 запрос был сделан Opera 8.1 (это имитация, которую подсовывал SEMonitor). Ещё несколько запросов, которые были приведены в логе, относились к другим компьютерам. IP разблокировали, при этом пригрозили «но при повторении запросов мы будем
вынуждены заблокировать адрес вновь».
Какие последствия таких действий Яндекса можно ожидать:
1) большая профессионализация seo-сообщества. Если раньше любой желающий мог за вечер написать программку, которая парсит выдачу Яндекса, то сейчас после каждого запуска такой программки нужно будет писать в Яндекс. Итог – нужны более изощрённые средства защиты, такие как использование множества прокси, более искуссная эмуляция браузеров, имитация действий пользователя (кстати, NetPromoter с успехом это делает)
2) меньшая ориентация на Яндекс. Например, уже сейчас удобнее собирать выдачу по Yahoo, чем с Яндекса (понятно, что Яндекс важнее, но некоторые вещи, например, беки, всё же можно собирать и с Yahoo)
3) возможно меньше будут искать через Яндекс. По крайней мере, кто-то в моей организации познакомился с другими поисковиками за время бана (правда, автоматом переправляло на go.mail.ru, выдача которого совпадает с Яндексом). А представьте какого-нибудь товарища, в результате действий которого будет закрыты большие сети, которые сидят на одном ip (например, Сибирские Сети используют всего лишь несколько внешних ip, а пользователей довольно много).
Леонид
Это все мода. Хотя эта кутерьма с автоматическим парсингом выдачи скорее всего начала напрягать Яндекс. Видимо разработчикам программы придется ее немного поправить. У меня кстати таких проблем нет, возможно потому что я парсил выдачу неглубоко до 10 позиции.
Таже ситуация. Что самое обидное – в офисе есть лицензионный как Семонитор, так и Промоутер. Коллега пользуется Семонитором, в пятницу – бан от Яндекса. Я из Турции в понедельник приехал, тут такие новости. Написал, бан, конечно, сняли … на следующий день. Но что самое обидное у нас один IP – можно было бы чтобы и я, и он пользовались НетПромоутером (одной лицензией) и не было бы этих проблем.
Что-то не подумал про AllSubmitter. Как теперь проверять в нём базы? Если у меня 10000 каталогов в базе и я запущу проверку на Яндекс-Индекс, то это будет 10000 запросов и снова бан… Гм…
Вероятно, можно взять модем и подключиться через 8w180. Хотя на лету могут забанить, он парсить такую базу будет часа 4.
Чего за проблема та такая? Взяли нормальный Socks. Поставили программу FreeCap. И пустили хоть SeoMonitor хоть чего черех сокс.
Угу, на Яндексе дети сидят.
Чего угу? Причем тут дети? Блочат ip адрес. Сокс передает только свой. Заблочат – фиг с ним, новый натянуть.
Парсят же гугль, хотя по банит он Ip-шник быстро. Только разлочить его можно введя капчу.
Думаю яндекс сделает нечто подобное, когда достанет его разлочивать всяких
Марат – чтобы использовать socks, надо иметь прямой выход в Интернет. А если я сижу (сидел по крайней мере раньше) уже сразу за прокси, то какой там socks??
2 Leonid:
Если корпоративный прокс и все остальное режется – то тут тока поставить пиво админу:) либо использовать gprs.
Если же к примеру аська работает напрямую то можно сделать туннель. С другой стороны админа удивит трафик через асечный порт.
А то Марат, что угу, некоторое время назад проводился маленький эксперимент по накрутке поисковых запросов. Вот много дрочились, накрутили немного.
Ребята, все обсуждаемое здесь, это ситуация с двумя сторонами медали. Я по поводу программ уровня НетПромоутер и бесплатных/дешевых Семонитор/Олсабмитер. Приходится чем-то жертвовать. Или платить реальные деньги за Page Promoter и не иметь головной боли (я начальству так и приподнес «Мое время дорого стоит»
). Или разные дешевые варианты, но зато в последствии бан, сокс и другие левые варианты, которые забирают кучу времени, абсолютно без всякой гарантии нормальной работы.
А что Паги Промоутер дорого стоит?
По поводу цены. Насколько я знаю, там три версии – $300, $500, $700. Кому-то дорого. А кому-то, как мне, компания оплачивает. Но дело не в этом.
самое главное, что в версии за 700 есть Анализ и Аудит, который предоставляет конкретный план работы не просто вообще, а конкретно с твоим сайтом. Буквально пошагово расписано что за чем делать. Общение на форумах и блогах – это очень здорово, но когда ты остаешься один на один с вопросом, что делать сегодня, завтра с продвижением сайта начинаешь чесать репу. А тут получил конкретный план, инструмент для его реализации, показал план начальству и, если честно, огромное количество вопросов просто убралось. Конечно, все не идеально. И к программе есть пожелания. С другой стороны – какая программа идеальная. Тут еще какой важный плюс – очень адекватная служба поддержки в NetPromoter-е. Когда что-то не получается, а посоветоваться по настоящему не с кем, по поводу использования программы, можно обратиться в Промоутер и получить консультацию и причем БЕСПЛАТНУЮ!!! Сравнивать это с Семонитором, который односложно отвечает на форуме, когда у него есть возможность, я думаю, не серьезно.
Нас в компании занимается двое над сайтом, причем я как бы более продвинутый
Прочитал то, что написал, выходит реклама Page Promoter
Скажу еще раз – на самом деле все, конечно, не так гладко и однозначно. Однако имея возможность сравнить ведущие программы и сервисы данного направления (у нас есть лицензионные версии практически всех), для меня, как корпоративного пользователя, за которого деньги платит компания, Пейдж Промоутер вне конкуренции.
Терпеть не могу составлять планы, но составлять приходится
что-то подобное произошло и со мной сегодня
тока я никакой прогой не пользовался и судя повсему заблокировали не айпи а как-то подругому
подключаю adsl модем к одному кому так ни яндекс ни мэйл яндекс не грузятся (хотя блогс и ньюс яндекса грузятся)
подключаю друго комп так все нормально при тех же айпишках
т.к. давно хотел переустановить XP так и сделал с полым форматом диска С
и опять таже фигня
чего делать ? подскажите