Quelques raisons à la lenteur d’indexation d’un site
15 avril 2016
Depuis plusieurs mois maintenant, je constate la très grande lenteur mise par Google à indexer le contenu de ce site. Parfois, plus de 24 h 00. C’est une remarque de Fred hier relative Varnish qui m’a amené à effectuer quelques actions correctives relatives aux sitemaps de ce site :
En-tête Expires
J’ai calé à 24 heures la durée par défaut d’expiration des fichiers .xml, .txt et .gz via le module Apache mod_expires. Je viens de la passer à 4 heures. L’objectif du passage à 24 heures était le délestage de mon site.
La gestion du cache du serveur Apache
J’avais aussi mis la durée de la mise en cache des fichiers .txt, .xml et .gz à 24 heures à l’aide de quelques directives du module Apache mod_cache_socache couplé à memcached. Je l’ai remise à 4 heures. L’objectif, là-encore, était le délestage de mon site !
Google XML Sitemaps
Je suis obligé d’exécuter manuellement la mise à jour de mon fichier sitemap.xml, du fait de la désactivation dans le fichier wp-config.php de WordPress des tâches planifiées :
define('DISABLE_WP_CRON',true);
Du coup, j’ai développé en PHP mon propre outil de ping de mes différents sitemaps. Cela ne résout pas mon problème sur la génération du sitemap.xml. Je me demande si je ne vais pas finir par l’écrire moi-même, pour en planifier la mise à jour sous Linux directement !