OVH Community, votre nouvel espace communautaire.

Erreur 503 pour l'accès à mon sitemap


webmasterdday
17/03/2016, 14h21
Comment procéder pour les Lignes de commandes" via un Terminal, je ne suis pas du tout familier avec cette procédure,

Merci

Gaston_Phone
17/03/2016, 14h10
Citation Envoyé par webmasterdday
Je possède la dernière version officielle de phpbb 3.1.8, avec différents mods que j'ai désactivé mais sans plus de succès.

Concernant ce code, je ne l'ai pas trouvé dans mes fichiers...
Code:
# cd /forum
# find . -type f -name "*.php" | xargs grep -in Googlebot
C'est normal.
Ces commandes sont à exécuter en mode "Lignes de commandes" via un Terminal.

webmasterdday
17/03/2016, 13h21
Je possède la dernière version officielle de phpbb 3.1.8, avec différents mods que j'ai désactivé mais sans plus de succès.

Concernant ce code, je ne l'ai pas trouvé dans mes fichiers...
# cd /forum
# find . -type f -name "*.php" | xargs grep -in Googlebot

Abazada
17/03/2016, 01h19
Citation Envoyé par Gaston_Phone
C'est très simple, avec environ 30 messages par jour donc environ 10 000 message par an, de combien de lignes serait le sitemap.xmp du forum OVH au bout d'un an ?
Ce que je voulais dire est que personne - à part toi - n'a parlé de la taille du sitemap,
d'où mon interrogation sur le rapport avec ce topic

- - - Mise à jour - - -

Citation Envoyé par webmasterdday
Je n'ai pas de module particulier pour les robots.
As-tu au moins exécuté la command Find que je t'ai indiquée ? Résultat ?

buddy
16/03/2016, 18h56
Il y a forcément un de tes plugs in ou script qui bloque googleBot .. et pas uniquement le sitemap mais tout le forum ...

quelle version de phpbb ? récupéré où ? c'est une version officielle ? à jour ?

on ne peut pas t'aider plus que çà ... c'est toi qui a installé des plugins / des scripts supplémentaires sur phpbb essaye de voir en les désactivant et une fois identifié, de te rapprocher de l'auteur.

webmasterdday
16/03/2016, 18h21
L'exploration via Google Webmaster m'indique : état inaccessible.

ovhconfig =

app.engine=phpcgi
app.engine.version=7.0
http.firewall=none
environment=production

buddy
16/03/2016, 12h52
Va dans Google webmaster tools
Puis
Exploration
Puis explorer comme google
Et regarde si il explore correctement la page d'accueil de ton forum
Soit http://www.dday-overlord.com/forum/

Je pense que tu le bloques et qu'il ne voit même pas ta page d'accueil qui n'est pas indexée..

Tu as quoi dans ton fichier Ovhconfig ?

buddy
16/03/2016, 12h44
Le problème ne vient pas du sitemap ou pas.
Mais ton forum bloque Google !!!

Gaston_Phone
16/03/2016, 08h22
Citation Envoyé par Abazada
Euh... Et le rapporte avec ce qui précède ??
Citation Envoyé par Gaston_Phone
D'après toi, de quelle taille est le sitemap du forum OVH ? ? ?
C'est très simple, avec environ 30 messages par jour donc environ 10 000 message par an, de combien de lignes serait le sitemap.xmp du forum OVH au bout d'un an ?

webmasterdday
16/03/2016, 06h49
Je n'ai pas de module particulier pour les robots. Avez-vous en mémoire un générateur de sitemap qui pourrait me permettre de réaliser un nouveau sitemap à partir d'un répertoire qui n'est pas à la racine www (peu de générateurs acceptent de générer un sitemap dans un dossier particulier comme un forum...)

Merci d'avance.

Abazada
16/03/2016, 02h10
Citation Envoyé par Gaston_Phone
D'après toi, de quelle taille est le sitemap du forum OVH ? ? ?
Euh... Et le rapporte avec ce qui précède ??

Citation Envoyé par webmasterdday
J'ai effectivement un .htaccess à la racine www (droits d'accès 644) et qui se présente de la manière ci-dessous
Ce n'est pas lui non plus le coupable.
Donc regarde maintenant côté Php. Tu n'aurais un "module" de "gestion" des robots ou truc du même genre ?

Sinon une piste :
Code:
# cd  /forum
# find . -type f -name "*.php" | xargs grep -in Googlebot

Gaston_Phone
15/03/2016, 23h00
Citation Envoyé par webmasterdday
Ma seule solution à ce jour est de mettre à jour mon sitemap. Dommage, car je bénéficiais d'un excellent référencement, et c'est un gros point noir pour phpbb.
D'après toi, de quelle taille est le sitemap du forum OVH ? ? ?

webmasterdday
15/03/2016, 22h43
Effectivement, j'ai un pic d'erreurs car j'ai fait un update de phpbb récemment. Cette update m'a obligé de modifier toutes les URL des pages du forum et je n'ai aucun mod de redirection compatible et surtout disponible pour corriger celà.

Ma seule solution à ce jour est de mettre à jour mon sitemap. Dommage, car je bénéficiais d'un excellent référencement, et c'est un gros point noir pour phpbb.

J'ai effectivement un .htaccess à la racine www (droits d'accès 644) et qui se présente de la manière ci-dessous

# Redirect non-www urls to www
RewriteEngine on
RewriteCond %{HTTP_HOST} !^www\.dday-overlord\.com
RewriteRule (.*) http://www.dday-overlord.com/$1 [R=301,L]

RedirectPermanent /france3945 http://www.dday-overlord.com/forum/
RedirectPermanent /seconde_guerre_mondiale http://www.dday-overlord.com/forum/
RedirectPermanent /militaria_reconstitution http://www.dday-overlord.com/forum/
RedirectPermanent /franceenguerre http://www.dday-overlord.com/forum/
RedirectPermanent /forum2 http://www.dday-overlord.com/forum/

# BEGIN WordPress

RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]


# END WordPress

Abazada
15/03/2016, 17h55
Citation Envoyé par webmasterdday
Le .htaccess (droits d'accès 604) contenu dans le répertoire de mon forum contient ceci :
Bien. Ce n'est pas lui qui est en cause.
Comme l'a dit Buddy, as-tu d'autres .htaccess en remontant l'arborescence à partir du répertoire 'forum' ?
Si oui, donne leur contenu aussi
Si non, ça viendrait de quelque part dans ton code Php; Un 'find' de "googlebot" pourrait alors aider.

buddy
15/03/2016, 16h36
et est-ce que tu as un .htaccess dans le dossier parent ? le www ?

on dirait que depuis quelques jours google bot est entièrement bloqué de ton site ...

Tu n'as pas un nombre d'erreur important dans google webmaster tools ? (j'ai les mêmes erreurs 503 en essayant de voir n'importe quelle page de ton forum
http://www.dday-overlord.com/forum/
avec l'user agent de google)

webmasterdday
15/03/2016, 16h18
Le .htaccess (droits d'accès 604) contenu dans le répertoire de mon forum contient ceci :


RewriteEngine on

RewriteBase /forum

RewriteRule ^(.*)-f([0-9]*)/(.*)-t([0-9]*)-s([0-9]*).html viewtopic.php?f=$2&t=$4&start=$5&%{QUERY_STRING} [L]
RewriteRule ^(.*)-f([0-9]*)/(.*)-t([0-9]*).html viewtopic.php?f=$2&t=$4&%{QUERY_STRING} [L]
RewriteRule global/(.*)-t([0-9]*).html ./viewtopic.php?f=1&t=$2&%{QUERY_STRING} [L]
RewriteRule ^(.*)-f([0-9]*)/index-s([0-9]*).html viewforum.php?f=$2&start=$3&%{QUERY_STRING} [L]
RewriteRule ^(.*)-f([0-9]*)/ viewforum.php?f=$2&%{QUERY_STRING} [L]
RewriteRule ^(.*)-f([0-9]*) viewforum.php?f=$2&%{QUERY_STRING} [L]
RewriteRule ^forum.html index.php?%{QUERY_STRING} [L]

#
# Uncomment the statement below if URL rewriting doesn't
# work properly. If you installed phpBB in a subdirectory
# of your site, properly set the argument for the statement.
# e.g.: if your domain is test.com and you installed phpBB
# in http://www.test.com/phpBB/index.php you have to set
# the statement RewriteBase /phpBB/
#
#RewriteBase /forum

#
# Uncomment the statement below if you want to make use of
# HTTP authentication and it does not already work.
# This could be required if you are for example using PHP via Apache CGI.
#
#RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]

#
# The following 3 lines will rewrite URLs passed through the front controller
# to not require app.php in the actual URL. In other words, a controller is
# by default accessed at /app.php/my/controller, but can also be accessed at
# /my/controller
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ app.php [QSA,L]

#
# If symbolic links are not already being followed,
# uncomment the line below.
# http://anothersysadmin.wordpress.com...th-apache-228/
#
#Options +FollowSymLinks


# With Apache 2.4 the "Order, Deny" syntax has been deprecated and moved from
# module mod_authz_host to a new module called mod_access_compat (which may be
# disabled) and a new "Require" syntax has been introduced to mod_authz_host.
# We could just conditionally provide both versions, but unfortunately Apache
# does not explicitly tell us its version if the module mod_version is not
# available. In this case, we check for the availability of module
# mod_authz_core (which should be on 2.4 or higher only) as a best guess.



Order Allow,Deny
Deny from All


Order Allow,Deny
Deny from All


= 2.4>

Require all denied


Require all denied






Order Allow,Deny
Deny from All


Order Allow,Deny
Deny from All




Require all denied


Require all denied



buddy
15/03/2016, 16h07
Je pense plutôt que c'est ton .htaccess qui bloque quelque chose ...

Tu as quoi dans ton .htaccess ?

webmasterdday
15/03/2016, 15h25
En effet, l'analyse poussée de Google n'a rien donné et m'indique toujours l'erreur 503.

Du côté de chez Bing, 13 872 URL apparaissent comme correctement enregistrées ("opération réussie").

Comment solutionner la gestion des User-Agent? Existe-il un code à ajouter ?

Merci

Abazada
15/03/2016, 12h18
Moi j'obtiens toujours une erreur 503
dès que j'essaye de me faire passer pour "bingbot/2" ou "googlebot/2.1"
Je persiste donc à dire que tu as un gros soucis concernant la gestions des User-Agent ...

webmasterdday
15/03/2016, 07h11
Merci pour vos réponses !

J'ai créé un sitemapindex au lieu d'un simple sitemap pour remplacer celui automatiquement généré par le mod utilisé.

Cela donne :



xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd"
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">


http://www.dday-overlord.com/forum/seositemap.xml
2016-03-15T05:10:46Z


Cette fois, le sitemap est bien pris en compte ( 13 872 URL répertoriées) avec néanmoins encore quelques erreurs que je vais analyser.

Merci pour votre aide !

Abazada
15/03/2016, 03h27
Bonjour,
Certes la page en question n'est pas XML, mais là n'est pas la raison du 503
La raison est a chercher dans ton code, dans la gestion du User-Agent:
Code:
# wget -S --spider -U"Mozilla" http://www.dday-overlord.com/forum/seositemap.xml
  HTTP/1.1 200 OK
# wget -S --spider -U"bingbot" http://www.dday-overlord.com/forum/seositemap.xml
  HTTP/1.1 200 OK
# wget -S --spider -U"bingbot/2.0" http://www.dday-overlord.com/forum/seositemap.xml
  HTTP/1.1 503 Service Unavailable  <-- ???

chmod777
15/03/2016, 01h11
La page que tu montres est traitée comme du html et non du xml... sûrement parce que seositemap.xml n'est que la réécriture d'un fichier php. Donc essaie de rajouter ça au début du fichier php qui génère le xml :


Gaston_Phone
14/03/2016, 22h46
Hum! Hum! Es-tu sûr que cela soit un format XML ?

Le format XML doit être de la forme :



http://www.example.com/machin.html

De plus pourquoi l'appelles-tu seositemap.xml et non sitemap.xml ?

- - - Mise à jour - - -

Tu mets :

http://www.dday-overlord.com/forum/app.php/seositemap-8.xml
2014-07-16T08:08:18+00:00
Tu devrais lire : support.google.com - Créer et envoyer un sitemap

webmasterdday
14/03/2016, 22h30
Bonjour à tous (et désolé si le message n'est pas dans la bonne rubrique).

J'ai mis en ligne un forum phpbb et procédé à la réécriture des URL, je souhaite désormais fournir le sitemap de ce forum à Google.

Celui-ci est bien disponible à cette adresse.

Mais Google et Bing refusent de prendre en compte ce sitemap, en raison d'une erreur 503.

Que dois-je faire ? Merci d'avance.