« Bonjour,
J’ai une petite question concernant SEMrush.
Est-il possible de récupérer avec SEM Rush ou un autre outil, les données d’un espace professionnel d’un site internet (protégé avec mot de passe) ?
dixneuf.com – Site public
https://integralpro.dixneuf.com/ – Espace professionnel en sous domaine
Merci d’avance, Dorian 🙂 »
Bonjour Dorian,
Le but de SEMrush est d’aider des sites à obtenir davantage de visibilité.
Un site protégé par un mot de passe ou accessible seulement depuis le réseau interne d’une entreprise ne recherche pas de visibilité publique.
Logiquement donc, il n’a pas vocation à être optimisé pour le SEO et crawlé par divers robots, dont celui de SEMrush.
La question par contre l’occasion de parler du fichier robots.txt et d’éclairer son fonctionnement.
Ce fichier peut être utilisé pour chaque domaine ET chaque sous-domaine.
En l’espèce par exemple, il y a bien un robots.txt différent pour https://www.dixneuf.com/robots.txt :
… et pour https://integralpro.dixneuf.com/robots.txt :
Celui-ci a comme consigne de bloquer l’ensemble des robots, dont Google Bot.
Aucune page n’est donc indexée lorsqu’on tape « site: » :
Un E-commerce est comme un supermarché. Son responsable détermine les produits mis en avant et tente d’aiguiller le chemin de ses prospects (pas d’accueil = tête de gondole).
Le client n’a par contre pas accès aux bureaux et aux réserves ;).
J'ai engrangé mes premiers revenus sur le web en 2012 en développant et en monétisant le trafic de mes sites (AdSense...).
Depuis 2013 et mes premières prestations professionnelles, j'ai eu l'opportunité de participer à la progression de plus de 450 sites de plus de +20 pays.
A lire aussi sur le blog
Voir tous les articles
