Vous souhaitez désindexer une page ou un groupe de pages de votre site des moteurs de recherche (Google, Qwant, Bing, …) ? Vous souhaitez désindexer un fichier PDF ou d’autres fichiers sans code source ? Vous souhaitez bloquer l’indexation d’un nouveau site ou d’un site en cours de construction ? Vous vous demandez quelles sont les méthodes les plus efficaces ? Voici tout ce qui marche en 2019 pour désindexer (ou bloquer l’indexation) efficacement une page web ou de n’importe quel type de fichier hébergé sur votre site (image, pdf, doc, …).
Google l’a annoncé il y a peu, la désindexation de pages, fichiers et groupes de pages par l’intermédiaire de la commande « Noindex: » du robots.txt ne sera désormais plus prise en compte par le moteur de recherche numéro 1 dans le monde (à compter du 1er Septembre 2019).
Voici donc un aperçu de toutes les alternatives à cette méthode simple.
ATTENTION 1 : avant d’effectuer vous-même toute modification de votre site qui touche à l’indexation, je vous conseille vivement de vous entourer de professionnels (développeurs et référenceurs) pour éviter tout impact lourd sur votre site internet et votre activité. Ces techniques ne doivent dans l’idéal pas être gérées par des débutants.
ATTENTION 2 : l’indexation est à dissocier du crawl. En effet, si une page dispose d’une directive de non indexation, elle pourra toujours être crawlée par les moteurs de recherche. Ainsi, si votre objectif est d’économiser votre budget de crawl, vous devrez coupler vos directives de non indexation avec un blocage de ces mêmes pages (seulement après désindexation effective des pages) via le robots.txt.
Sommaire
1 – La balise html meta noindex à placer dans le header des pages
Le meta noindex est la méthode la plus utilisée par les webmasters, développeurs et référenceurs quand il s’agit de désindexer (ou d’empêcher l’indexation future) des pages web dans les moteurs de recherche comme Google. C’est aussi la méthode préférée des moteurs de recherche car supportée par l’intégralité d’entre eux.
De son côté, Google estime que c’est LA méthode la plus efficace de désindexation ou blocage d’indexation (qu’il s’agisse d’utiliser le meta noindex dans le code html ou via les entêtes http).
Très facile à mettre en place lorsque placée dans le code html, elle ne nécessite que peu de connaissances techniques mais doit être utilisée uniquement sur des pages que l’on souhaite voir désindexer sous peine de voir son référencement et son trafic drastiquement chuter !
Comment mettre en place la balise meta noindex sur une page ou un groupe de pages html ?
Sur les pages que vous souhaitez voir bloquées à l’indexation ou retirées de l’index de Google, il vous faudra donc ajouter ce code simple dans la partie <head> de votre page web :
<meta name="robots" content="noindex">
Si vous souhaitez uniquement bloquer l’indexation pour Google, vous pouvez le faire avec une directive de ce type :
<meta name="googlebot" content="noindex">
Si vous souhaitez automatiser l’ajout de ce type de balises sur un groupe de pages spécifique, il vous faudra obligatoirement passer par un développeur. Pour vérifier la bonne mise en place de ces balises, des extensions Chrome pourront vous être utiles si vous n’êtes pas un adepte du CTRL + U pour analyser vous-même le code source des pages.
Quel délai pour la prise en compte des balises noindex par Google ?
Une fois les balises meta noindex en place, la désindexation se fera lorsque Google sera repassé sur vos pages. Ceci peut prendre quelques jours à plusieurs semaines en fonction de votre site et de la profondeur des pages passées en noindexe.
C’est aussi pour cela qu’il ne faut absolument pas que les pages avec un noindex soient bloquées dans le robots.txt avant désindexation ! Ceci empêcherait totalement Google de découvrir les balises noindex et donc de les prendre en compte.
Comment accélérer la prise en compte de la balise noindex par Google ?
Une fois la balise noindex en place, pour accélérer le processus sur une sélection de pages que vous souhaitez voir désindexer rapidement, vous pouvez utiliser la Search Console pour rechercher la page en question puis demander à Google de la crawler.
Cette action permettra de réduire le temps de prise en compte de la meta noindex par le moteur de recherche cependant vous ne pourrez pas le faire pour l’intégralité de vos pages.
2 – L’entête HTTP X-Robots-Tag noindex pour désindexer des pages et des fichiers sans code source (pdf, images, …)
Si vous souhaitez désindexer des fichiers qui ne disposent pas de code source, vous n’aurez d’autre choix que d’utiliser les entêtes HTTP X-Robots-Tag noindex pour les désindexer des moteurs de recherche.
Pour se faire, vous allez devoir faire obligatoirement appel à un développeur si vos connaissances techniques ne vous permettent pas de modifier sans risque le fichier .htaccess ou httpd.conf.
Concrètement, pour désindexer, une page web, un fichier pdf ou encore une image à l’aide de l’entête http X-Robots-Tag, il suffira d’ajouter « noindex » à la suite de cette dernière.
Voici à quoi cela doit ressembler dans les entêtes http des pages et fichiers à désindexer :
HTTP/1.1 200 OK Date: Tue, 25 May 2019 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Comment mettre en place le X-Robots-Tag noindex concrètement ?
Pour le mettre en place, vous allez devoir modifier votre fichier .htaccess en incluant des directives de ce type :
Exemple 1 : code à placer dans le .htaccess à la racine du site pour désindexer tous les fichiers pdf d’un site :
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Exemple 2 : code pour désindexer tous les fichiers images (png, jpeg, gif) d’un site entier :
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
Pour mettre en place un noindex sur un groupe de pages générées via PHP, il vous faudra gérer cela via le header.php avec un code de ce type :
header("X-Robots-Tag: noindex", true);
Si vous souhaitez que les moteurs de recherche ne suivent pas les liens présents sur une page (pas très logique dans la plupart des cas), vous pouvez associer au « noindex » la directive « nofollow ».
Si vous souhaitez consulter la documentation officielle de Google au sujet du X-Robots-Tag, c’est par ici : https://developers.google.com/search/reference/robots_meta_tag?hl=fr
3 – Renvoyer un code de réponse HTTP 404 ou 410 pour désindexer des pages et fichiers qui n’existent plus (et non remplacés)
Si une page web ou un fichier n’existe plus sur votre site et qu’aucun élément ne vient le remplacer, renvoyer un code de réponse 404 (not found) ou 410 (gone) est une bonne pratique permettant la désindexation à terme de cette page ou ressource.
Quelles différences entre le code 404 et 410 en SEO ?
| 404 | Not Found | Ressource non trouvée. |
|---|---|---|
| 410 | Gone | La ressource n’est plus disponible et aucune adresse de redirection n’est connue. |
Pour Google, les deux codes indiquent que la ressource n’existe pas en revanche la 410 confirme que cette dernière a existé dans le passé mais qu’elle n’existera plus à l’avenir, elle est donc plus précise qu’un code de réponse 404.
4 – Bloquer le crawl de pages et fichiers via le robots.txt (quand ces derniers n’ont jamais été indexés par le passé)
Si vous souhaitez bloquer l’indexation de pages ou fichiers d’un nouveau site ou d’un site qui n’a jamais été indexé ou crawlé par les moteurs de recherche, dans cet unique cas, bloquer le crawl via le robots.txt impliquera que ces pages et ressources ne seront pas indexables et donc indexées (car non crawlable).
Pour se faire, il vous suffit d’ajouter dans votre fichier robots.txt (disponible à la racine de votre site), des directives de ce type :
Exemple 1 : pour bloquer le crawl (et l’indexation si nouveau site) de fichiers .pdf)
Disallow: /*.pdf
Exemple 2 : pour bloquer le crawl (et l’indexation si nouveau site) de pages d’une catégorie spécifique)
Disallow: */categorie-a-ne-pas-indexer/*
Avant de mettre en place des directives de ce type sur votre site, je vous recommande vivement d’utiliser l’outil de test de robots.txt de Google afin de les tester enamont avant mise en production.
5 – Bloquer les URLs à ne pas indexer grâce à un mot de passe
Très utilisé pour bloquer l’indexation d’une preprod ou d’un serveur de dev, cette technique est également efficace si les moteurs de recherche n’ont jamais pu crawler et indexer par le passé un site et les pages.
Pour mettre en place cela, il suffit de configurer une protection par mot de passe via le fichier .htaccess et le fichier .htpasswd
Voici à quoi un code d’exemple ressemble dans le .htaccess :
AuthType Basic
AuthName "Cet espace est interdit"
AuthUserFile /path/to/.htpasswd
Require valid-user
Vous souhaitez recevoir nos meilleurs articles ?
En vous abonnant à la newsletter LEPTIDIGITAL, vous confirmez avoir pris connaissance de notre politique de confidentialité et de traitement des données (votre email ne sera jamais partagé et restera anonyme 😉 ).
