Tester la compétence d’un consultant du SEO et du référencement naturel

Il est très simple de savoir si une société est compétente dans le domaine du référencement et du SEO. Il suffit de regarder la présence – ou non  – du fichier robots.txt à la racine de son site ! En cas d’absence de ce fichier, vous pouvez vous interroger quant à la compétence présumée de cet expert ou de cette agence dans le domaine du SEO et du référencement.

Si, à l’intérieur de ce fichier robots.txt, ces experts auto-proclamés oublient d’indiquer le chemin vers le fichier sitemap, là-encore, vous pouvez vous interroger ! En recherchant dans l’index Google, vous pourrez vérifier si vous avez affaire à des gens qualifiés, qui connaissent les règles du référencement  !!!

Top 10 Recherche Google Absence
robots.txt
Absence
sitemap
référencement 3/9 (33%) 6/9 (67%)
SEO 1/5 (20%) 1/5 (20%)
Formation SEO 1/9 (11%) 5/9 (56%)
Formateur SEO 4/8 (50%) 5/8 (62.5%)
Formateur référencement 4/9 (44%) 5/9 (56%)
Formation référencement 4/10 (40%) 7/10 (70%)
TOTAL 17/50 (34%) 29/50 (58%)

Les chiffres parlent d’eux-mêmes.

Exemples de fichiers robots.txt et sitemap.xml

Annexe  : comprendre le format Sitemaps XML et la déclaration du(es) sitemap(s) dans le fichier robots.txt

Référencement  / Consultant SEO Expert SEO Formateur SEO Référencement naturel Référenceur robots.txt SEO Sitemap sitemap.xml 

Commentaires

Le robots.txt et le sitemap XML n’ont quasiment aucun intérêt pour 90% de sites web…

@Magicyoyo

Dans la journée d’hier, les spiders – et autres outils divers et avariés – sont passés 90 fois sur mon fichier robots.txt et 13 fois sur mon sitemap. Vous devez certainement avoir raison ! ;+)

En effet, les chiffres parlent d’eux-mêmes. La plupart des 10 premiers n’a pas besoin de robots.txt ou d’un lien vers le sitemap pour ranker. Merci pour cette confirmation.

Il est par contre important d’insérer une longue liste de mots clés dans la meta description sous peine de ne pas ranker, et pour inciter les internautes à cliquer un maximum.

Comment expliquer que des incompétents trustent les premières pages ?

Je confirme ce que dit @Magicyoyo : robots.txt n’améliore en rien le référencement, pas plus que sitemap.xml.

En matière de référencement naturel, robots.txt peut servir à fournir l’adresse du sitemap.xml, mais ce n’est nullement une obligation pour que les moteurs de recherche en tiennent compte. En effet, on peut notamment déclarer son emplacement par d’autres biais, comme le ping des divers moteurs, ou encore via les outils dédiés (Google Webmaster Tools notamment), et ceci si le moteur ne les trouve pas de lui-même (sachant qu’à moins de disposer de plus de 50.000 URL sur le site, l’URL du sitemap.xml est connue d’avance).

Pour ce qui est du contenu du sitemap.xml lui-même, il ne sert que d’indication ou suggestion aux moteurs de recherche de la liste des URL à parcourir, des dates de dernière mise-à-jour, ainsi que de leur fréquence de mise-à-jour, ou encore de l’importance relative des pages. Ce sont des informations additionnelles à celles dont disposent les moteurs de recherche par ailleurs, et ne sont réellement utiles que sur des très gros sites visant à optimiser les accès des moteurs (qui privilégient les URL à visiter en priorité), sous condition que… le sitemap.xml soit considéré comme étant de confiance. Or, dans la quasi-totalité des cas, celui-ci ne correspond pas à la réalité.

Dans le cas de ce blog, en ajoutant le commentaire que voici, quelle date de mise-à-jour fournira le sitemap.xml concernant cet article ? La date de publication de l’article, ou celle du dernier commentaire en date ? Tant qu’à faire, la barre latérale comprend la liste des dernières URL, faisant que toutes les pages du site changent lors de l’apparition d’une nouvelle page. Qu’advient-il du sitemap.xml ?

Enfin, et Matt Cutts a déjà consacré une vidéo à ce sujet : si l’on doit choisir entre un sitemap.xml sur un site ou un plan du site en HTML, mieux vaut privilégier le second.

Comme quoi, les robots.txt et sitemap.xml ne servent vraiment pas à grand chose, et certainement pas à améliorer le référencement. Tout au plus la vitesse de crawl et de découverte des robots d’indexation. Ce n’est pas rien, mais ça reste anecdotique.

Bref, avant de parler d’incompétence, mieux vaut maîtriser le sujet soi-même.

:-P

@maxime @davheultimate

Ils sont tout de même une majorité à utiliser le fichier robots.txt. Quant au sitemap, ils le soumettent pour certains d’entre eux peut-être par Google Webmaster Tools ou Bing Webmaster Tools. Enfin, j’espère !

Il faudrait regarder beaucoup d’autres paramètres tels que :

1. la date du primo-référencement du site,
2. le nombre de backlinks,
3. le référencement de ces sites Bing/Yahoo!, Ask ou Exalead ?
4. l’existence de sous-domaines ?

Je me suis placé sur le plan de règles formelles.

@Martin

Vous trouverez sur ce site deux supports de cours relatifs à Google Webmaster tools et Bing Webmaster Tools dans lequel j’évoque la soumission du sitemap. Mais, à moins d’une erreur de ma part, il n’y a pas que deux moteurs de recherche. J’avais l’impression que d’autres utilisaient les indications du chemin du fichier dans le fichier robots.txt ! Vous invoquez Matt Cutts, comme d’autres invoquaient en leur temps les Oracles de la Pythie et les entrailles de dindes. Vous devriez réécouter ce qu’il dit : il faut les deux (« both »). Leur rôle respectif est différent. Et c’est d’ailleurs ce que nous faisons tous : moteur de tags, archives, liens relatifs, etc.

Vous mettez en cause ma compétence. Très bien. Alors regardons. J’ai pris une expression utilisée dans un des titres de l’un de vos billets : « générateurs d’avatars ». J’en ai fait de même avec « experts du SEO ». 9/814000 pour vous. 3/107000000 pour moi. Je vous ferais remarquer que mon billet a été rédigé hier ! Nous avons pourtant le même PR. Pour un incompétent, vous remarquerez tout de même que je me débrouille pas mal, non ?

Je viens de forcer la soumission sur Bing Webmaster Tools de 10 urls, dont celle que je teste ci-dessous. La dernière fois que Bing a indexé le sitemap de ce site, c’était le 6/2/2012. Prenons un billet du 4/2. Et regardons dans l’index sur la recherche fil rss afp reuters Prenons un billet du 9 février sur ip6tables pare-feu linux ipv6. Le billet n’est pas indexé, même si le blog est en bonne place ! Ça sert toujours à rien le sitemap ?

Alors, Monsieur le Compétent (j’ai hésité sur l’orthographe) ? On s’excuse ? On dit merci ?

NB Le test relatif à Bing a été fait à 7 h 27. Je fais partie de la France qui se lève tôt, moi, Môsieur, ! Je tiens à votre disposition les copies d’écran !

ca parait tout de même surprenant, que des gens qui s’estiment experts SEO, qui écrivent et lisent des articles à ce sujet tous les jours, ne mettent pas leur sitemap à la racine de leur site.. je suis surpris.. mais ca laisse plus de place pour les autres :)

@Régis

Merci.

@Martin

Le billet relatif au pare-feu IPv6 vient d’être pris en compte, du fait de la soumission de 10 urls à Bing Webmaster Tools à 7 h 29. Pour l’heure, Bing n’a pris en compte le fichier sitemap.xml que je lui ai soumis ce matin, à la même heure.

Le billet du 8 février, le sot est troué de l’intérieur, n’apparaît toujours pas dans l’index ! Je vous ferai signe.

Quel andouille, j’ai oublié de soumettre mon sitemap à Exalead :-) Je dois perdre un paquet de visite hein ?

@Sylvain

Pour Exalead, il faut soumettre le lien de votre site. Le spider se charge ensuite de parcourir votre site.

Quant à votre réflexion, je la trouve pitoyable.

Mon savoir-faire consiste à apporter le meilleur trafic ciblé possible à mes clients en gérant au mieux leur budget. Côté compétences je ne m’en sors pas trop mal je trouve. Mes clients sont contents d’être très bien positionnés sur Google ( 90 % du search francophone au passage) sur des requêtes concurrentielles qui convertissent.

Vous leur proposeriez quoi de mieux puisque vous devez avoir de bien meilleures compétences que moi si je me réfère à votre reflexion.

Ps: vu que l’humour ne semble pas faire partie des cordes à votre arc (cf ma reflexion concernant Exalead – le smiley représente un sourire) peut être pourriez vous me dire quelle part de trafic et de conversions représente ce moteur chez les clients dont vous êtes le plus fier ?

Merci par avance

Sylvain

@sylvain

Combien d’accès directs ? Combien de referers ? Rapporté à l’ensemble du trafic, c’est combien Google pour vos clients ? Vous mesurez comment le trafic ? Avec Google Analytics ? Comment mesurez-vous le trafic en dehors de Google Analytics ? Vous êtes en train de m’expliquer qu’il faudrait négliger les autres, Bing, Exalead ? Ai-je bien compris ?

J’aime pas votre humour. Et c’est mon droit.

Rhôôô vous êtes plus intelligent que ce que vos questions laissent penser, j’en suis certain.

Mais peu importe, les premières impressions sont souvent bonnes, restons-en donc là.

Cordialement…

@Sylvain

Le 13 février, en 1 journée, sur ce site, Googlebot a lu 10 fois le fichier sitemap.xml et 4 fois seulement le fichier robots.txt. Bingbot a lu 28 fois le fichier robots.txt et 1 fois seulement le fichier sitemap.xml. C’est haut, du fait des liens de mes billets vers ces fichiers. Pour le 12 (journée normale): 1 fois pour Googlebot et 29 pour bingbot sur robots.txt, 0 fois pour bingbot et 9 fois pour Googlebot sur sitemap.xml.

Ça fait pas un peu beaucoup pour des fichiers totalement inutiles ? Je n’ai pas regardé en détail les autres bots. Mais je vois très souvent passer les bots de Yandex, Baïdu et Exalead.

Pour Exalead, pas facile. Faudrait que je regarde !

J’apprécierais votre humour le jour où vous arrêterez de prendre vos interlocuteurs pour des cons. Bien à vous.

Moi, je dis, fake cet article ! Ca sent le canular, non ?

Sinon, plus sérieusement, vous semblez persuadé d’avoir raison, mais je vais vous dire deux choses :

1 – Un site qui est bien conçu et de petite ou moyenne taille n’a pas besoin de sitemap. Le sitemap permet d’aider les moteurs à indexer des pages.

2 – le robots.txt est useless au possible encore une fois, un site bien conçu n’en a pas besoin.

Bref, vous me semblez terriblement incompétent en la matière, à votre place, soit je dévoilerai mon gros fake, soit je retourne sur les forums de débutant pour essayer de comprendre comment fonctionne réellement le référencement…

Pour terminer, je rank en première page sur des requêtes ultra concurrentielles sans pour autant avoir besoin de sitemap ni de robots.txt.

Vous parlez de tester la compétences des experts SEO, et bien commencez déjà par éprouver les vôtres qui visiblement, sont très légères…

@Benoît

Les lecteurs de ce billet et de votre commentaire, je pense, ont les éléments à leur disposition pour évaluer nos compétences respectives. Inutile que j’en fasse des caisses ! Vous devriez prendre le temps de lire mes réponses et les éléments complémentaires que j’ai pu ici vous donner. A titre d’informations, nous faisons du référencement depuis 2004. Nos clients n’ont jamais eu à se plaindre de notre incompétence ! C’est d’ailleurs la seule chose que je vous souhaite.

Bon vent.

@Martin

Le billet du 8 février, le sot est troué de l’intérieur, apparaît désormais dans l’index !

[…] Sources : Twitter, le billet et ses nombreux commentaires […]

Laisser un commentaire

(requis)

(requis)