Comment ajouter les urls de mon sitemap dans le fichier robots.txt

Je suis allée sur mon compte google et ai voulu ajouter mon sitemap voir image.

Je pensais devoir écrire les noms de mes pages comme accueil, formation, contact, mais ça me que c’est en html et que je dois mettre autre chose. voir image

Quelqu’un peut m’aider?
Merci

1 « J'aime »

Bonjour @tousignant.nathalie,

Utilisez-vous WordPress et Yoast SEO? Si c’est le cas, votre sitemap devrait se nommer “sitemap_index.xml”. ou simplement “sitemap.xml”.

Habituellement, l’url complet du sitemap est l’adresse de votre site, suivi du nom de fichier du sitemap. Dans la Search Console, vous devrez ainsi ajouter le lien vers le sitemap et non vers vos pages.

Ex: https://www.remediasolutions.com/sitemap_index.xml

Quant à ajouter l’url du sitemap dans votre robots.txt, vous devrez ouvrir le fichier et y ajouter cette ligne :

Sitemap: https://nomdusite.com/sitemap_index.xml

Allo

Oui j’utilise wp et yoast SEO, voici ce que j’ai trouvé sur mon site : est-ce correct?

Sur search console j’ai vu outil du test robots.txt avec un avertissement que je ne comprends pas et aussi vous dites ouvrir le fichier robots mais où est-il ??? sur mon site web? si oui à quel endroit?


Merci de votre aide

Nathalie

1 « J'aime »

Oui, il s’agit bel et bien de votre sitemap!

Pour le robots.txt, comme le sitemap, il se trouve dans les fichiers de votre site Web. Pour l’éditer, vous pouvez passer par Yoast en suivant cette procédure :

Yoast simplifie de beaucoup les tâches avec le sitemap et le robots.txt. Il faut cependant faire attention de ne pas ajouter une règle “disallow: /” ou autre qui bloquerait les crawlers de Google et cie.

HUm…
Dans le lien donné, j’ai suivi les étapes mais dans l’option outils, je n’ai pas l’option de file editer j’ai juste 2 options au lieu de 3 comme montré dans le knowledge base.

De plus dans l’avertissement que j’ai montré tout à l’heure il y quelque chose avec les crawlers, alors il faudrait que je trouve où est la règle disallow, que j’ai probablement est-ce cela?

Merci encore

Ne touche pas au disavow & ne touche pas à ton robot.txt!!!

Fais simplement ajouter tes sitemap ("/post-sitemap.xml", “/page-sitemap.xml”,"/leadpages_post-sitemap.xml","/category-sitemap.xml" et “/post_tag-sitemap.xml”) à la première étape que tu nous a montré:

Ton site n’est pas compliqué, si toutes tes pages sont liés entre-elles, alors ça ne sert pas à grand chose d’ajouter ton sitemap.xml sur ton google search console. C’est une bonne pratique pour éviter les erreurs d’indexation, mais les chances sont que ton site soit déjà indexé au complet.

1 « J'aime »

Je ne vois pas de “disallow” dans votre robots.txt, c’était une simple remarque pour éviter que vous n’ajoutiez une règle par accident. Quand on joue dans le robots.txt, il est facile de bloquer les crawlers avec une règle mal intégrée.

Avez-vous activé les réglages avancés dans Yoast? L’éditeur de fichier devrait s’afficher dans l’onglet “outils” une fois cette option activée.

Oui j’ai déjà le menu (long) avec l’option outils. Mais quand je clique sur outils, il y a vraiment juste 2 options. Peut-être avez-vous la version premium?

Allo

Toute façon je ne le trouve pas!!!

Quand tu dis fais simplement ajouter tes sitesmap, tu parles de les ajouter sur searh console?

Et pour l.avertissement que j’ai dans search console, qu’est ce qu’il y a à faire avec cela? (crawl delay -30)

Merci

Non, il ne s’agit pas de la version premium. Essayez de désactiver l’option et de la réactiver, il s’agit peut-être d’un problème avec le plugin. C’est un problème répertorié sur le site de Yoast et encore relevé par la communauté.

L’état de votre robots.txt est correct, il suffirait d’ajouter votre Sitemap principal dans la Search Console. L’avertissement est normal, il ne s’agit pas d’une “erreur”, mais uniquement d’une indication que les crawlers de Google vont ignorer cette règle.

http://robots-txt.com/ressources/robots-txt-crawl-delay/

Exactement.

Le robots.txt est un fichier au format texte, qui est placé à la racine du site. Ce fichier permet d’indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs Web.

En d’autres mots, ça permet d’interdire Google d’indexer certaines pages!

Voici des exemples de fichier robots.txt :

Toutes les pages sont indexables

User-Agent: *
Disallow: 

Aucune page du site n’est indexé :

User-Agent: *
Disallow: /

Exclusion d’un robot (ex : robot de Google = googlebot):

User-Agent: googlebot
Disallow: /
User-Agent: *
Disallow:

Interdiction d’indexation de tout le contenu d’un répertoire (et ses sous-dossiers bien-sur) :

User-Agent: *
Disallow: /repertoire/

Google propose une documentation sur le sujet : https://support.google.com/webmasters/answer/70897?visit_id=1-636415198946330966-1200142445&rd=1&hl=fr

1 « J'aime »

Bon ok pour les robots. La tête me tourne :stuck_out_tongue_winking_eye:

Je fais ce que tu me dis pour les sitemap et dans google search ce me donne1 erreur pour leadpages?

J’ai bien le plug in dans mon wp.
???

J’ai simplement pris les sitemap à partir du screenshot que tu m’as donné, mais de ce que je vois, tu n’as rien à cette adresse: http://nathalietousignantnutritionniste.com/leadpages_post-sitemap.xml

Je ne savais même pas qu’ils y avait un sitemap pour les leadpages :stuck_out_tongue:

Comme j’ai mentionné, si ta page est déjà indexé sur Google tu n’as pas besoin de faire tout ça.

Bon d’accord

Je vais l’enlever de search console. Pour le site web, quand tu vas dans SEO, Sitemaps XML, réglages des types de contenu, il y a leadpages mais puisque que la page n’existe pas je devrais mettre cette option à pas dans la sitemap ?

Voici une image:

Est-ce que ça peut changer l’accès à mes pages leadpages que j’utilise comme leadmagnet pour les utilisateurs?

Les sitemap ne vont jamais avoir d’impact sur tes utilisateurs. C’est uniquement pour les robots de Google, Bing, etc.

Tu pourrais tout mettre à “pas dans la sitemap” ou tout mettre à “dans la sitemap” et je te dirais que ça n’aurait probablement aucun impact, même pour ton SEO vu la taille de ton site.

Mais comme bonne pratique, laisse tout dans ta sitemap.

Bon d’accord, merci je fais cela.

J’essayais d’améliorer le rapport qu’une application a généré sur le SEO de mon site, mais je vais faire autre chose de plus important. En fait pour ne pas mélanger les sujets, je vais faire un autre post sur ce sujet.

As-tu été voir notre leçon sur le SEO?

Les gens aiment bien compliquer les choses et c’est trop souvent pour justifier leur salaire ou le prix de leur produit/service que d’autre chose.

Le référencement est simple pour 99.9% des sites web: trouve des intentions de recherches pertinentes pour ta niche => créer du contenu pour y répondre, assures-toi de tisser des liens avec d’autres blogues ou entreprises pour créer des hyperliens.

oui je l’ai écouté, peut-être à revoir. Merci