Comment Google indexe et met à jour les pages d’un site Internet ?

« Bonjour Erwan,

Étant un peu dans le stage en ce moment donc plus en pratique, je regarde un peu mon indexation sur google qui n’a pas changé depuis un petit moment : 74 pages indexées.

Entre temps, j’ai fait pas mal de changements sur le site surtout au niveau des catégories.

Du coup, il y a quelques pages qui ne sont pas encore indexées et d’autres qui le sont et ramènent vers une page 404 comme :

https://www.ibimane.com › Coques & protection › Autres marques

Je me demande s’il y a moyen de bloquer temporairement l’indexation le temps de finir la boutique ? Est-ce une bonne idée ?

Vos avis et conseils sont les bienvenus,

Merci pour votre aide 🙂

Amine »

Rappel sur le fonctionnement de Google :

Son robot, Google Bot :

1. Explore le web : il crawl.
2. Puis il indexe les pages intéressantes (on peut avoir un site de 80 pages et seulement 30 pages indexées si elles sont très similaires par exemple).
3. Enfin, il détermine la position (rank) des pages indexées d’après l’algorithme de son moteur de recherche.

Suivre l’indexation de son site :

Vous pouvez suivre l’indexation du site dans Search Console :

Ou directement dans Google, en tapant « site:ibimane.com » :

Vous voyez que Google indique maintenant 610 pages… contre 74 lorsque la question a été posée.

La plupart du temps, pour qu’un site se mette à jour… il suffit d’attendre !

Faut-il bloquer l’indexation via le fichier robots.txt ?

Officiellement : oui ; le site ne devrait être mis en ligne que lorsqu’il est prêt. Cela évite notamment que des éléments sans intérêt soient indexés.

Réponse personnelle : je ne pense pas que ce soit nécessaire pour la plupart des sites.

Le délai d’indexation pour un nouveau site est généralement compris entre 4 jours et 4 semaines.

Pour un « petit » site, un développeur a normalement le temps de proposer une première version cohérente.

L’indexation de Google et la commande site: vont justement permettre de détecter les pages curieuses et de les corriger avant que le site soit réellement découvert par les internautes.

Je vois souvent des sites :

1. Où certaines pages/catégories sont toujours bloquées par robots.txt.
2. Où après validation par le client, le site est mis en ligne… et Google commence à indexer les pages du thème oubliées, soit en anglais, soit en « lorem ipsum ».

Comment accélérer l’indexation de son site ?

La question me semble essentiellement théorique.

En effet, si votre site démarre, il peut être crawlé et indexé par Google. Il a par contre peu de chances de « ranker ».

Le référencement naturel repose en grande partie sur les liens externes, qui proviennent des autres sites Internet.

Obtenir des liens permet d’être repéré par Google depuis ces autres sites et accélère donc l’indexation… et le ranking puisque les liens sont un facteur de classement puissant.

Google propose un outil pour soumettre une nouvelle page : https://www.google.com/webmasters/tools/submit-url

Mais l’utiliser revient souvent au même résultat que de laisser faire naturellement : « nous ne pouvons pas prévoir ni garantir à quel moment elles seront incluses dans notre index, ni même si elles le seront. »

Une nouvelle page sur un site populaire, qui jouit de nombreux liens, peut être indexée en 30 minutes !

Une page ancienne, qui bénéficie de nombreux liens aussi, peut être visitée plusieurs fois par jour par Google Bot.

Dans les faits, Google indexe très vite, même les petits sites ; exemple avec un blog transformé en E-commerce :

De 100 à 25 000 pages en quelques jours, au fur et à mesure de leur ajout…

L’inverse ne suit pas la même logique : des pages supprimées peuvent mettre quelques semaines pour disparaître de la recherche de Google (« le cache »).

Vous pouvez alors demander à Google de ne plus en tenir compte : https://support.google.com/webmasters/answer/1663419?hl=fr