Как Google индексирует и обновляет страницы веб-сайта?

«Привет, Эрван,

Находясь сейчас немного на стажировке, а не больше на практике, я немного смотрю на свою индексацию в Google, которая некоторое время не менялась: 74 проиндексированных страницы.

Тем временем я внес на сайт много изменений, особенно на уровне категорий.

Итак, есть некоторые страницы, которые еще не проиндексированы, а другие, которые ведут на страницу 404, например:

https://www.ibimane.com ›Корпуса и защита› Другие бренды

Мне интересно, есть ли способ временно заблокировать индексацию, пока я заканчиваю магазин? Это хорошая идея ?

Ваши мнения и советы приветствуются,

Спасибо за вашу помощь 🙂

Амин »

Напоминание о том, как работает Google:

Его робот, Google Bot:

1. Исследуйте Интернет: это ползать.
2. Затем он проиндексирован интересные страницы (у нас может быть сайт из 80 страниц и только 30 проиндексированных страниц, например, если они очень похожи).
3. Наконец, он определяет положение (ранжировать) страницы, проиндексированные в соответствии с алгоритмом его поисковой системы.

Следите за индексацией его сайта:

Вы можете отслеживать индексацию сайта в Search Console:

Или прямо в Google, набрав site: ibimane.com:

Вы видите, что Google теперь указывает 610 страниц ... против 74, когда был задан вопрос.

В большинстве случаев, чтобы сайт обновился ... вам просто нужно подождать!

Стоит ли блокировать индексацию через файл robots.txt?

Официально: да; сайт не должен работать, пока он не будет готов. В частности, это предотвращает индексацию элементов, не представляющих интереса.

Личный ответ: я не думаю, что это необходимо для большинства сайтов.

Период индексации на новый сайт обычно составляет от 4 дней до 4 недель.

Для «небольшого» сайта у разработчика обычно есть время, чтобы придумать согласованную первую версию.

Индексирование и заказ Google сайт: позволит обнаруживать любопытные страницы и исправлять их до того, как сайт действительно обнаружится пользователями Интернета.

Я часто вижу сайты:

1. Где некоторые страницы / категории все еще блокируются файлом robots.txt.
2. Если после проверки клиентом сайт переводится в оперативный режим ... и Google начинает индексировать страницы забытых тем либо на английском языке, либо в "lorem ipsum".

Как ускорить индексацию вашего сайта?

Вопрос мне кажется по сути теоретическим.

Действительно, если ваш сайт запустится, он может быть просканирован и проиндексирован Google. У него с другой стороны мало шансов на "ранжирование".

SEO в значительной степени основывается на внешних ссылках, которые приходят с других веб-сайтов.

Получение ссылок позволяет Google быть замеченным вами с этих других сайтов и, следовательно, ускоряет индексацию ... и ранжирование, поскольку ссылки являются мощным фактором ранжирования.

Google предлагает инструмент для отправки новой страницы: https://www.google.com/webmasters/tools/submit-url

Но использование этого часто сводится к тому же результату, что и естественное проявление: " мы не можем предсказать или гарантировать, когда или даже если они будут включены в наш индекс. »

Новую страницу популярного сайта с большим количеством ссылок можно проиндексировать за 30 минут!

Google Bot может посещать старую страницу, на которую также много ссылок.

Фактически, Google очень быстро индексирует даже небольшие сайты; пример с блогом, преобразованным в электронную коммерцию:

От 100 до 25 страниц за несколько дней, по мере добавления ...

Обратное не следует той же логике: удаленные страницы могут исчезнуть из поиска Google («кеш») через несколько недель.

Затем вы можете попросить Google больше не принимать это во внимание: https://support.google.com/webmasters/answer/1663419?hl=fr