OVH Community, votre nouvel espace communautaire.

Problème robots.txt, accès refusé a googlebot


Gaston_Phone
03/09/2014, 23h36
Citation Envoyé par fritz2cat
robots.txt avec un S à la fin du mot robots
Plus de détails sur http://www.robotstxt.org/
Tu as tout à fait raison fritz2cat. C'est robots.txt qu'il faut.
Honte à moi!

fritz2cat
03/09/2014, 21h53
robots.txt avec un S à la fin du mot robots

Plus de détails sur http://www.robotstxt.org/

Gaston_Phone
03/09/2014, 21h39
C'est bon pour moi aussi.

Pour que GOOGLE prenne en compte ton fichier robot.txt utilise GWT (https://www.google.com/webmasters/tools).

Kv.LCCM
03/09/2014, 19h22
pour ma part il affiche le contenu du robot.txt
Je n'ai pas de page 404.

- - - Mise à jour - - -

en tout cas merci pour votre aide.
J’espère que cela va régler le problème...
Je dois attendre maintenant le prochain passage de googlebot sur ma page ?
Merci.

Kv.LCCM
03/09/2014, 11h24
pour ma part si je tape ça : http://www.lccm.fr/robots.txt
je tombe sur mon fichier txt.
Je n'ai pas de page 404...

Gaston_Phone
03/09/2014, 11h22
Il y a toujours une erreur 404.

Vide tes caches sur ton site.

Kv.LCCM
03/09/2014, 11h20
ok merci pour l'info je viens d'enlever le __ du nom donc du coup j'ai /www/robot.txt

Gaston_Phone
03/09/2014, 11h16
Je le répète GOOGLE cherche à accéder au fichier /www/robot.txt (pas un dossier).
C'est celui là qu'il faut. Essaie.

Kv.LCCM
03/09/2014, 10h56
ok mais sur mon serveur le fichier est noté comme ca : __robots.txt

Gaston_Phone
03/09/2014, 10h53
Citation Envoyé par Kv.LCCM
oui désolé de mon erreur je voulais dire fichier et non dossier.
merci pour cette correction.
Il n'y a pas non plus de souligné : _

Kv.LCCM
03/09/2014, 10h51
Citation Envoyé par Gaston_Phone
GOOGLE cherche à accéder au fichier /www/robot.txt (pas un dossier).
oui désolé de mon erreur je voulais dire fichier et non dossier.
merci pour cette correction.

Gaston_Phone
03/09/2014, 10h50
Citation Envoyé par Kv.LCCM
J'ai regardé sur mon serveur et il y a bien un dossier "_robot.txt"
GOOGLE cherche à accéder au fichier /www/robot.txt (pas un dossier).

gierschv
03/09/2014, 10h11
Bonjour,

Google va chercher: http://www.lccm.fr/robots.txt qui est actuellement en 404.
Concernant les problèmes d'accès, tu peux regardes dans tes logs (https://logs.ovh.net) quelles sont les pages indexées par Google et les codes des réponses HTTP qu'il a rencontré, et faire une corréllation avec les notifs sur GWT.

Kv.LCCM
03/09/2014, 10h06
Bonjour à tous !

Je post ce message car j'ai un souci avec mon site : www.lccm.fr
J'ai changé il y'a deux semaines d’hébergement... de infomaniak à ovh.
Depuis ce jour j'ai ce message dans google Webmaster Tools :

"Google detected a significant increase in the number of URLs we could not access. It is likely that your server had an internal error or was busy when attempting to process these requests. "

ainsi que :

"Googlebot can't access your site"

J'ai regardé sur mon serveur et il y a bien un dossier "_robot.txt"
Bien sur je suis novice en ce qui concerne l’hébergement et les outils google et je voudrais savoir si quelqu'un connaissait la solution a mon problème.
Surtout pouvoir autoriser l’accès de googlebot a mon site.

Merci de votre retour et un grand merci pour votre aide !