comment-optimiser-votre-wordpress-robots-txt-pour-le-referencement

Récemment, un de nos lecteurs nous a demandé des conseils sur la façon d’optimiser le fichier robots.txt pour améliorer le référencement.

Le fichier Robots.txt indique aux moteurs de recherche comment explorer votre site Web, ce qui en fait un outil de référencement incroyablement puissant.
Dans cet article, nous allons vous montrer comment créer un fichier robots.txt parfait pour le référencement.

Qu’est-ce que le fichier robots.txt?
Robots.txt est un fichier texte que les propriétaires de sites Web peuvent créer pour indiquer aux robots des moteurs de recherche comment explorer et indexer les pages de leur site.

Il est généralement stocké dans le répertoire racine, également appelé dossier principal, de votre site Web. Le format de base d’un fichier robots.txt ressemble à ceci:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]
Vous pouvez avoir plusieurs lignes d’instructions pour autoriser ou interdire des URL spécifiques et ajouter plusieurs sitemaps. Si vous n’interdisez pas une URL, les robots des moteurs de recherche supposent qu’ils sont autorisés à l’explorer.

Voici à quoi peut ressembler un fichier d’exemple robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Dans l’exemple robots.txt ci-dessus, nous avons autorisé les moteurs de recherche à explorer et à indexer les fichiers dans notre dossier de téléchargement WordPress.

Après cela, nous avons interdit aux robots de recherche d’explorer et d’indexer les plugins et les dossiers d’administration WordPress.

Enfin, nous avons fourni l’URL de notre plan de site XML.

Avez-vous besoin d’un fichier Robots.txt pour votre site WordPress?
Si vous n’avez pas de fichier robots.txt, les moteurs de recherche continueront d’explorer et d’indexer votre site Web. Cependant, vous ne pourrez pas indiquer aux moteurs de recherche quelles pages ou quels dossiers ils ne doivent pas explorer.

Cela n’aura pas beaucoup d’impact lorsque vous démarrez un blog pour la première fois et que vous n’avez pas beaucoup de contenu.

Cependant, à mesure que votre site Web se développe et que vous avez beaucoup de contenu, vous voudrez probablement avoir un meilleur contrôle sur la façon dont votre site Web est exploré et indexé.

Voici pourquoi.

Les robots de recherche ont un quota d’exploration pour chaque site Web.

Cela signifie qu’ils analysent un certain nombre de pages au cours d’une session d’analyse. S’ils ne terminent pas l’exploration de toutes les pages de votre site, ils reviendront et reprendront l’exploration lors de la session suivante.

Cela peut ralentir le taux d’indexation de votre site Web.

Vous pouvez résoudre ce problème en interdisant aux robots de recherche de tenter d’explorer des pages inutiles telles que vos pages d’administration WordPress, vos fichiers de plugins et votre dossier de thèmes.

En interdisant les pages inutiles, vous enregistrez votre quota d’exploration. Cela aide les moteurs de recherche à explorer encore plus de pages sur votre site et à les indexer le plus rapidement possible.

Une autre bonne raison d’utiliser le fichier robots.txt est lorsque vous souhaitez empêcher les moteurs de recherche d’indexer un article ou une page sur votre site Web.

Ce n’est pas le moyen le plus sûr de masquer le contenu du grand public, mais cela vous aidera à l’empêcher d’apparaître dans les résultats de recherche.

À quoi ressemble un fichier Ideal Robots.txt?
De nombreux blogs populaires utilisent un fichier robots.txt très simple. Leur contenu peut varier en fonction des besoins du site spécifique:

User-agent: *
Disallow:

Sitemap: http://abouredacoder.com/post-sitemap.xml
Sitemap: http://abouredacoder.com/page-sitemap.xml
Ce fichier robots.txt permet à tous les robots d’indexer tout le contenu et leur fournit un lien vers les sitemaps XML du site Web.

Pour les sites WordPress, nous recommandons les règles suivantes dans le fichier robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://abouredacoder.com/post-sitemap.xml
Sitemap: http://abouredacoder.com/page-sitemap.xml
Cela indique aux robots de recherche d’indexer toutes les images et tous les fichiers WordPress. Il interdit aux robots de recherche d’indexer les fichiers de plugins WordPress, la zone d’administration WordPress, le fichier Lisez-moi de WordPress et les liens d’affiliation.

En ajoutant des sitemaps au fichier robots.txt, vous aidez les robots Google à trouver toutes les pages de votre site.

Maintenant que vous savez à quoi ressemble un fichier robots.txt idéal, voyons comment vous pouvez créer un fichier robots.txt dans WordPress.

Comment créer un fichier Robots.txt dans WordPress?
Il existe deux façons de créer un fichier robots.txt dans WordPress. Vous pouvez choisir la méthode qui vous convient le mieux.

Méthode 1: Modification du fichier Robots.txt à l’aide de All in One SEO

SEO tout-en-un également connu sous le nom d’AIOSEO, est le meilleur plugin de référencement WordPress du marché utilisé par plus de 2 millions de sites Web.

Il est facile à utiliser et est livré avec un générateur de fichiers robots.txt.

Si vous n’avez pas déjà installé le plugin AIOSEO, vous pouvez voir notre guide étape par étape sur la façon d’installer un plugin WordPress.

Noter: Version gratuite d’AIOSEO est également disponible et dispose de cette fonctionnalité.

Une fois le plugin installé et activé, vous pouvez l’utiliser pour créer et éditer votre fichier robots.txt directement depuis votre zone d’administration WordPress.

Allez simplement à Tout en un SEO »Outils pour modifier votre fichier robots.txt.

Éditeur AIOSEO robots.txt

Tout d’abord, vous devrez activer l’option d’édition en cliquant sur le bouton “Activer les robots personnalisés.txt” en bleu.

Avec cette option activée, vous pouvez créer un fichier robots.txt personnalisé dans WordPress.

AIOSEO active le fichier robots.txt personnalisé

All in One SEO affichera votre fichier robots.txt existant dans la section ‘Robots.txt Preview’ au bas de votre écran.

Cette version affichera les règles par défaut qui ont été ajoutées par WordPress.

Règles par défaut de Robots.txt

Ces règles par défaut indiquent aux moteurs de recherche de ne pas explorer vos fichiers WordPress de base, permettent aux robots d’indexer tout le contenu et leur fournissent un lien vers les plans de site XML de votre site.

Maintenant, vous pouvez ajouter vos propres règles personnalisées pour améliorer votre robots.txt pour le référencement.

Pour ajouter une règle, saisissez un agent utilisateur dans le champ «Agent utilisateur». L’utilisation d’un * appliquera la règle à tous les agents utilisateurs.

Ensuite, indiquez si vous souhaitez “Autoriser” ou “Interdire” l’exploration des moteurs de recherche.

Ensuite, entrez le nom du fichier ou le chemin du répertoire dans le champ «Chemin du répertoire».

Ajouter une règle dans le fichier robots.txt

La règle sera automatiquement appliquée à votre fichier robots.txt. Pour ajouter une autre règle, cliquez sur le bouton «Ajouter une règle».

Nous vous recommandons d’ajouter des règles jusqu’à ce que vous créiez le format robots.txt idéal que nous avons partagé ci-dessus.

Vos règles personnalisées ressembleront à ceci.

Fichier de règles personnalisées Robots.txt

Une fois que vous avez terminé, n’oubliez pas de cliquer sur le bouton «Enregistrer les modifications» pour enregistrer vos modifications.

Méthode 2. Modifier le fichier Robots.txt manuellement à l’aide de FTP

Pour cette méthode, vous devrez utiliser un client FTP pour éditer le fichier robots.txt.

Connectez-vous simplement à votre compte d’hébergement WordPress à l’aide d’un client FTP.

Une fois à l’intérieur, vous pourrez voir le fichier robots.txt dans le dossier racine de votre site Web.

Connexion FTP robots.txt

Si vous n’en voyez pas, c’est que vous n’avez probablement pas de fichier robots.txt.

Dans ce cas, vous pouvez simplement en créer un.

La connexion FTP crée le fichier robots.txt

Robots.txt est un fichier de texte brut, ce qui signifie que vous pouvez le télécharger sur votre ordinateur et le modifier à l’aide de n’importe quel éditeur de texte brut comme le Bloc-notes ou TextEdit.

Après avoir enregistré vos modifications, vous pouvez les télécharger à nouveau dans le dossier racine de votre site Web.

Comment tester votre fichier Robots.txt?
Une fois que vous avez créé votre fichier robots.txt, il est toujours judicieux de le tester à l’aide d’un outil de test robots.txt.

Il existe de nombreux outils de test robots.txt, mais nous vous recommandons d’utiliser celui de Google Search Console.

Tout d’abord, vous devez associer votre site Web à Google Search Console. Si vous ne l’avez pas encore fait, consultez notre guide sur la façon d’ajouter votre site WordPress à Google Search Console.

Ensuite, vous pouvez utiliser le Outil de test des robots de la console de recherche Google.

Sélectionnez la propriété du site Web testeur robots.txt

Sélectionnez simplement votre propriété dans la liste déroulante.

L’outil récupère automatiquement le fichier robots.txt de votre site Web et met en évidence les erreurs et les avertissements s’il en trouve.

Résultats du testeur Robots.txt

Dernières pensées
L’objectif de l’optimisation de votre fichier robots.txt est d’empêcher les moteurs de recherche d’explorer des pages qui ne sont pas accessibles au public. Par exemple, des pages dans votre dossier wp-plugins ou des pages dans votre dossier d’administration WordPress.

Un mythe courant parmi les experts en référencement est que le blocage de la catégorie WordPress, des balises et des pages d’archives améliorera le taux d’exploration et entraînera une indexation plus rapide et des classements plus élevés.

Ce n’est pas vrai. C’est également contraire aux directives des webmasters de Google.

Nous vous recommandons de suivre le format robots.txt ci-dessus pour créer un fichier robots.txt pour votre site Web.

Nous espérons que cet article vous a aidé à apprendre comment optimiser votre fichier robots.txt WordPress pour le référencement. Vous pouvez également consulter notre guide de référencement WordPress ultime et les meilleurs outils de référencement WordPress pour développer votre site Web.