Перейти к содержанию
Форумы
Audioman

Выпадение сайта из индекса Яндекса

Рекомендуемые сообщения

Сайт moneybell.info недавно был перемещен на новый сервер, IP 63.246.159.8

 

Проблем с сервером было много, сегодня тоже сайт был недоступен.

 

http://www.moneybell.info постепенно, а недавно и полностью вылетел из Яндекса. До недавнего прошого в индексе было более 2000 страниц.

 

Ответ Яндекса:

 

Здравствуйте!

Страницы сайта выпали из поиска, так как не удается установить соединение с

сервером, на котором расположен Ваш сайт, сервер не отвечает или отвечает

слишком медленно. Если соединение будет установлено, сайт вернется в поиск

автоматически.

--

С уважением, Платон Щукин

Служба поддержки Яндекс.Ру

http://help.yandex.ru/

 

Я потратил некоторое время на сбор следующей информации.

Некоторые сайты на этом же сервере + количество проиндексированных Яндексом страниц:

 

la2dw.info 2

gelios-rielty.ru 1

radstore.ru 2

good-result.com 0

smarts-gsm.ru 4

podiumfashion.ru 1

webfactor.ru 0

fc-dinamomakh.ru 2

rolsenmm.ru 2

rostdepzan.ru 1

fasvvo.ru 1

getto.ru 2

rkhm.ru 0

cherepiza.ru 1

 

Надеюсь, смысл понятен. Надо что-то делать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не исключено, что блокируем массовые запросы страниц сайта с одного IP, т.к. они из-за своей массовости создают паразитическую нагрузку на сервер.

AdvantA.org находится на этом же сервере.

 

http://www.yandex.ru/yandsearch?text=advan...dvanta.org&

Результат поиска: страниц — 26 603

Область поиска: сайт — advanta.org

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Не исключено, что ...

1. Хотелось бы уточнить этот фрагмент Вашего ответа. Как администратор Вы должны знать точно, блокируются роботы Яндекса или нет. И если блокируются, то внести их айпи в список исключений.

 

2. http://1whois.ru/index.php?url=63.246.159.8&t=2

129 сайтов. Я привел примеры лишь тех, кто выпал из Яндекса, проверив около 30 сайтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как администратор Вы должны знать точно, блокируются роботы Яндекса или нет. И если блокируются, то внести их айпи в список исключений.

Чтобы они завалили сервер? Очень смешно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот как вебмастера реагируют на нашу переписку:

 

Я б лично ушёл от такого хостера. Ведь размещение сайта в интернете подразумевает однозначно индексацию материала поисковиками.

 

Что-то какой-то левый ответ от хостера. "Не исключено, что блокируем массовые запросы страниц сайта с одного IP" - это конечно создаст проблемы при индексации, но не до полного выпадения из индекса.

Но в любом случае такого хостера фтопку. Зачем вам хостинг, админ которого не понимает, что сайт должен быть индексирован ПС?

 

Хост в топку однозначно - если он даже не понимает необходимости доступа поисковиков... значит и в дальнейшем возможны очаровательные сюпрызы - хотя и этого то с головой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ответьте на вопрос:

Блокируете ли вы робот Яндекса?

Какой у него IP (диапазоп или пр.) и на каком сервере Вы находитесь? Проверю черный список файроволла.

Я б лично ушёл от такого хостера. Ведь размещение сайта в интернете подразумевает однозначно индексацию материала поисковиками.

Лезете в пекло вперед батьки :) Кто сказал, что сайт не индексируется или создаются помехи для нормальной индексации? Я же привел пример по Адванте :blink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сайт moneybell.info недавно был перемещен на новый сервер, IP 63.246.159.8

 

Вы привели пример по Адванте

Я привел примеры других сайтов

 

 

advanta.org

65.110.46.6

 

moneybell.info

63.246.159.8

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

http://webmaster.yandex.ru/faq.xml?id=502499

А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?

У Яндекса есть несколько роботов, которые представляются по-разному.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок

Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов

Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)

Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»

YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

 

Вы перегрузили мой сервер. Пожалуйста, прекратите!

Для управления поведением роботов используется файл robots.txt.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если IP адресов много, то все они в файроволл попасть не могли, даже десятая часть не могла :)

Надо знать ТОЧНУЮ причину. Не исключено, что медленный ответ сервера, т.к. он находится в США. Но продолжать гадания не буду.

Для управления поведением роботов используется файл robots.txt.

Далеко не все, я бы даже сказал мизерное меньшинство клиентов, используют данный файл.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это были Ваши слова о возможной блокировке

Не исключено, что блокируем массовые запросы страниц сайта с одного IP

Проблема выпадения сайта из индекса Яндекса совпала по времени с переездом на новый сервер.

До переезда сайт тоже на американском сервере был, что не мешало индексации его Яндексом

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если сервер не выдерживает нагрузки, значит надо менять сервер. Я у вас 18 месяцев. До смены сервера проблем не было

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если сервер не выдерживает нагрузки, значит надо менять сервер.

В нашем случае Вы не правы. Минимальные конфигурации серверов указаны на гл. стр. оф. сайта. При приближении значений CPU и memory к стандартно максимально допустимым - установим дополнительный сервер и т.д. Пока же на всех серверах все в пределах нормы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Давайте. Нужно знать точную причину, почему он не был проиндексирован. "Или-или" не подходит.

- Сайт был недоступен.

- Долгий отклик сервера.

- Прерывание индексации.

Это лишь приблизительный список причин, на которые можно гадать. Еще раз повторяю, нужно знать точно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Причина в Вашем новом сервере. Что в нем хитрого я не знаю. Знаю только, что 2 месяца с момента переезда наш сайт часто был недоступен и постепенно - именно постепенно - выпадал из Яндекса.

Уже все это не важно. Мы от вас уезжаем

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Причина в Вашем новом сервере. Что в нем хитрого я не знаю.

Указанная Вами причина - расплывчатая, я же просил конкретную, при устранении которой, проблема, если таковая и имеется, пропала бы.

наш сайт часто был недоступен

Статистику uptime можно посмотреть при переходе по ссылке напр. с главной странички нашего сайта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.


×
×
  • Создать...