« Bonjour,
J’ai une petite question concernant SEMrush.
Est-il possible de récupérer avec SEM Rush ou un autre outil, les données d’un espace professionnel d’un site internet (protégé avec mot de passe) ?
dixneuf.com – Site public
https://integralpro.dixneuf.com/ – Espace professionnel en sous domaine
Merci d’avance, Dorian 🙂 »
Bonjour Dorian,
Le but de SEMrush est d’aider des sites à obtenir davantage de visibilité.
Un site protégé par un mot de passe ou accessible seulement depuis le réseau interne d’une entreprise ne recherche pas de visibilité publique.
Logiquement donc, il n’a pas vocation à être optimisé pour le SEO et crawlé par divers robots, dont celui de SEMrush.
La question par contre l’occasion de parler du fichier robots.txt et d’éclairer son fonctionnement.
Ce fichier peut être utilisé pour chaque domaine ET chaque sous-domaine.
En l’espèce par exemple, il y a bien un robots.txt différent pour https://www.dixneuf.com/robots.txt :
… et pour https://integralpro.dixneuf.com/robots.txt :
Celui-ci a comme consigne de bloquer l’ensemble des robots, dont Google Bot.
Aucune page n’est donc indexée lorsqu’on tape « site: » :
Un E-commerce est comme un supermarché. Son responsable détermine les produits mis en avant et tente d’aiguiller le chemin de ses prospects (pas d’accueil = tête de gondole).
Le client n’a par contre pas accès aux bureaux et aux réserves ;).
Passionné par le référencement depuis 2012, j'ai démarré le SEO en travaillant sur la levée des pénalités Pingouin / Panda puis sur des E-commerces.
Comment fonctionne le blog ?
La plupart des articles sont issus de questions adressées par e-mail. N'hésitez pas à poser la vôtre ~~
Besoin d'aide pour un projet web ?
Voyons si nous pouvons être complémentaires. Devis gratuit sous 24h par e-mail.
Ne ratez pas un article en suivant la newsletter
More from our blog
See all posts
