Google n’a pas accès à cette URL
Depuis peu, j’ai constaté un message inquiétant dans la Search Console Google sur un de mes sites. Ce message, écrit en rouge s’affiche régulièrement depuis maintenant plusieurs jours :
J’ai pensé à un bug momentané, mais par précaution j’ai décidé de jeter un oeil au stat d’un de mes sites, en passant par Semrush. Et surprise, je constate un début de « dégringolade ».
Suite à cette malheureuse découverte, je commence à faire une commande site:mondomaine.fr sur Google et je m’aperçois que la totalité de mes pages sont bien indexées, j’en ai peu donc je peux facilement savoir si il en manque une. Ce qui risque d’être plus complexe pour un gros site avec plusieurs centaines de pages.
Je pousse la recherche en vérifiant mes positions. Certaines de mes pages ont complètement disparues de Google ! Cependant, elles apparaissent encore avec la commande site:monsite.com/mon-article. Sur ce site (leclerc-web), je conservais une position 0 depuis plusieurs mois sur le mot clé « protéger code python » et « sécuriser code python » qui n’est pas concurrentiel et qui rapporte peu de trafic. (cependant, les visiteurs pouvaient rester parfois plus d’une heure sur cette article).
Résultat de la commande « site: » pour vérifier l’indexation
Résultat de la recherche sur Google avec titre entre guillemets
Hé bien, j’ai complètement disparu, la page s’est volatilisée tranquillou. Et c’est aussi le cas pour d’autres pages qui sont pourtant correctes. Il faut savoir qu’à côté de ça, certains articles que j’avais rédigé et qui stagnaient en 40/50ème position sont passé TOP 5 sur la requête ciblée, et cela pour plusieurs articles qui étaient très détaillés.
Pour ceux qui se poseraient la question de l’IA dans le contenu, d’après tout ce que je vois, ça n’a pas de rapport. Mes articles qui stagnaient en 4ème page des résultats de recherche et qui sont désormais dans le top 5 ont été faits entièrement avec l’IA. Certaines pages qui ont disparues ont été écrites entièrement à la main.
Détecter le conflit qui bloque l’indexation
Concernant le message d’avertissement « Échec : Charge de l’hôte dépassée », voici quelques pistes à explorer pour tenter de trouver la source du problème.
Vérifier la Charge du Serveur :
- L’erreur « Échec : Charge de l’hôte dépassée » pourrait signifier que le serveur sur lequel se trouve la page web est surchargé ou rencontre des problèmes de performance.
- Contactez votre hébergeur web ou l’équipe technique en charge du serveur pour vérifier l’état du serveur et résoudre tout problème de performance.
(Pensez alors à vérifier si vous possédez bien un système de cache.)
Concernant mon deuxième site qui subit les pertes de positionnement, je l’ai optimisé au max côté pagespeed, mais autant en profiter pour apporter quelques améliorations si possible, ça fait pas de mal !
Évaluation des Signaux Web essentiels : non applicable
En effet, lors de ce pagespeed, je remarque quelque chose d’anormal, certaines données n’apparaissent plus comme et un message s’affiche, indiquant « Évaluation des Signaux Web essentiels : non applicable ».
Largest Contentful Paint (LCP)
Le Largest Contentful Paint (LCP) est un indicateur de performance web qui mesure le temps nécessaire pour afficher le plus grand élément visible à l’écran lors du chargement d’une page. L’élément en question peut être soit une image, soit un segment de texte, soit même une vidéo. Ce critère joue un rôle clé dans la perception de la rapidité d’un site web selon l’expérience utilisateur.
First Input Delay (FID)
Le First Input Delay (FID) évalue la durée qui s’écoule entre l’instant où l’utilisateur interagit pour la première fois avec une page, par exemple en cliquant sur un bouton, et le moment où le navigateur parvient réellement à exécuter cette interaction. Un FID bas est crucial pour une bonne expérience utilisateur, notamment sur les pages qui nécessitent des interactions rapides comme des boutiques en ligne ou des applications web.
Interaction to Next Paint (INP)
L’Interaction to Next Paint (INP) serait un indicateur hypothétique mesurant le temps entre une interaction utilisateur et le prochain « paint » du navigateur, c’est-à-dire le prochain rafraîchissement visuel de la page. Un INP bas signifierait que la page réagit rapidement aux actions de l’utilisateur, ce qui améliore l’expérience globale.
Suite à cette découverte, je décide de faire une recherche avec la commande « cache:monsite.com » sur mon deuxième site, et stupéfaction ! Je me rend compte que GoogleBot n’est pas revenu sur ma page d’accueil ou se situe tous mes articles, et cela, depuis plus de 20 jours !
Vérifier les statistiques sur l’exploration dans la Search Console
Je m’empresse de jeter un oeil aux statistiques d’explorations de la Search console en me rendant dans : Paramètres -> Statistiques sur l’exploration.
Vérification de l’état de l’hôte
Rien d’anormal. Je commence à fouiller un peu sur le net mais je trouve sur trop peu d’informations.
La principale info que vous avez probablement déjà lu :
https://support.google.com/webmasters/thread/181085446?hl=fr
Puis j’ai aussi trouvé un tweet qui a été très rassurant car j’ai compris que je n’étais pas le seul ! Donc merci Steeve !
Quelqu'un a déjà eu ce problème ???
"Échec : Charge de l'hôte dépassée" ???? pic.twitter.com/bhVvOuCNjU— Steve Chevillard (@stevechevillard) October 19, 2023
"ça me rassure" car je n'ai pas trouvé grand chose sur le sujet. Aucune page du site (même la home) n'y échappe et mon hébergeur n'a rien trouvé de bloquant (pas de blocage de GoogleBot, heureusement)… @fabienr34 , tu as déjà vu ça ?
— Steve Chevillard (@stevechevillard) October 19, 2023
Dans les réponses sous ce tweet, on peut aussi voir un message indiquant une désindexation massive, la aussi, ça rassure car cela pourrait clairement signifier que c’est un bug tout simplement. On l’espère …
Oui. 99% d'échec avec n'importe quel outil d'inspection Google, ce message dans la GSC et désindexation massive.
Cc @DimitriMartin44 & @CharlotteLeLay pic.twitter.com/uHfOmseNCR
— Nicolas Le Gall (@nico_le_gall) October 20, 2023
Vérification du fichier robots.txt
Dans le doute, pensez à jeter un oeil à votre robots.txt pour être certains qu’il ne contiennent pas de restriction pour les bots. Pour pousser la vérification, utilisez l’outil de test du robots.txt de Google mais avant, pensez à renvoyer le fichier pour qu’il soit bien à jour dans l’outil de Google, en cliquant sur « Demander la mise à jour à Google« .
Vérification des balises Meta
Si jamais vous avez un cache, videz le avant vérification, cela m’est personnellement arrivé… ajouter un noindex et une restrictions dans le robots.txt, désactiver le cache le temps de créer le site, le réactiver en production et faire apparaître cette joyeuse balise …
Vérifiez les protections contre les robots
Si vous êtes chez O2switch, vérifiez si l’option de Tiger Protect nommée « Contrôler les requêtes venant des robots SEO« . Normalement, ça ne pose pas de soucis avec GoogleBot mais dans le doute, autant le désactiver.
Vérifiez les performances chez son hébergeur
Normalement, chez votre hébergeur vous pouvez jeter un oeil à différentes stats de votre serveur comme l’utilisation de la bande passante, Chez O2switch, vous pouvez y accéder en vous connectant au Cpanel puis en vous rendant sur « utilisation des ressources » :
Si vous avez un doute quant aux résultats, il ne faut pas hésiter à ouvrir un ticket de support pour demander conseils. Surtout chez O2switch ! La qualité du support est remarquable. Pour ma part j’ai eu une réponse très rapide concernant cette problématique.
ils m’ont expliqués qu’ils ne voyaient rien de leur côté, que Google était whitelisté et ils m’ont conseillé de désactiver IPXTENDER (permet d’attribuer différentes adresses IP sur ses sites.) et qu’ils me préviendraient si ils trouvaient quelque chose d’anormal.
Il faut savoir qu’étrangement, j’ai pu demander une indexation de ma page à Google et que 10 minutes après, l’alerte réapparaissait.
Pour conclure, qu’est-ce qui génère ce problème d’indexation exactement ?
Personnellement, j’ai l’impression qu’il y a de nouvelles limites en terme de crawl GoogleBot. Ce qui me laisse penser ça ? Je n’ai eu le problème que sur des sites avec un minimum de trafic. Les sites ayant moins de 1000 visites / mois ne sont pas touchés de mon côté.
Cela pourrait aussi être lié à l’utilisation de l’api d’indexation Google mais la encore, je n’ai pas assez de témoignages pour savoir si oui ou non ça pourrait avoir un lien.
Est-ce que ces demandes, via l’api ne seraient pas fusionnées avec celles de la Search Console ?
De combien est cette limite de crawl en passant par l’inspection d’url ?
Est-ce que si on possède 200 sites dans sa Search Console, cela joue-t-il sur ce quota de crawl ?
Pourquoi des pages en position 0 disparaissent ? Si elles sont depuis des mois à cette position, que le taux de rebond est pas, que les visiteurs aiment cette page, pourquoi la supprimer ?
Si vous avez un retour à faire à ce sujet, ne vous privez pas, ça pourrait permettre de comprend un minimum ce qu’il se passe.
