[michel78000]

Bonjour,

Le problème est réglé.

Pour répondre à vos dernières questions :
1- J'ai bien les autorisations
2- je ne sais pas si je suis le seul du cluster à aller chercher les informations.

Pour info, Il s'agit d'un site internet pour une agence immobilière.
Le script va chercher les différentes informations des annonces sur le site web de l'éditeur qui gère les annonces dans l'agence.
Leur système est le suivant :
Dans l’agence immobilière, ils renseignent un logiciel interne qui met à jour une base de donnée chez l'éditeur du logiciel.
Ce cette façon, il est possible de récupérer ces informations + photos pour renseigner un site internet par l'intermédiaire d'une URL spécifique fournie par l'éditeur du logiciel.
Ces informations sont fournies dans un fichier XML qu'on récupère via une URL spécifique pour chaque agence immobilière.
Dans le fichier XML, on a l'ensemble des informations des annonces avec les URL permettant de récupérer les photos.
En parsant le XML, on renseigne la BDD du site internet et on récupère les photos.


comme précisé dans mon dernier post, Je me sus rendu compte que le traitement en local ne posait pas de problème mais que c'était plus lent que sur le site hébergé sur OVH.
J'ai donc ajouté un usleep(70000) dans mon script pour le ralentir, et là ça marche.

Je pense que du côté du serveur source, il doit y avoir des systèmes de sécurité qui me bloque lorsque je fais trop d'accès par seconde.

Merci de votre aide.

Michel

[janus57]

Bonjour,

As-tu les autorisations pour copier toutes les photos de ce site ?

bonne question.

Mais le problème ne vient pas de chez eux car lorsque je teste en local sur ma machine, je ne rencontre pas de problème.

Et ?
Qui vous dit que vous êtes le seul du cluster à allez cherchez des informations chez le même hébergeur/serveur ou est le site ?

Cordialement, janus57

[Gaston_Phone]

As-tu les autorisations pour copier toutes les photos de ce site ?

[michel78000]

Bonjour,

vous copier les donné d'un site OVH vers un site OVH ou d'un site extérieur à OVH vers OVH ?

Car si c'est de l'extérieur vers OVH c'est peut être tout simplement l'hébergeur en face qui a mis des protection que votre script déclenche vu que l'erreur de curl qui que le cible a réinitialiser la connexion (il l'a coupé quoi).

Cordialement, janus57

Bonsoir,

Merci de vous pencher sur mon problème;
Il s'agit d'un site extérieur à OVH.
Mais le problème ne vient pas de chez eux car lorsque je teste en local sur ma machine, je ne rencontre pas de problème.

Par contre, je me posais la question suivante :
Lorsque je teste ne local, la copie de chaque phot prend environ 1,5s (ma connexion ADSL n'est pas très performante)
Par contre, sur OVH, je vois défiler les copies en 10x plus vite.
Ne serait-ce pas une protection sur un nombre de copies par secondes ?
Existerait-il n moyen de ralentir le processus ?

Michel

[janus57]

Bonjour,

vous copier les donné d'un site OVH vers un site OVH ou d'un site extérieur à OVH vers OVH ?

Car si c'est de l'extérieur vers OVH c'est peut être tout simplement l'hébergeur en face qui a mis des protection que votre script déclenche vu que l'erreur de curl qui que le cible a réinitialiser la connexion (il l'a coupé quoi).

Cordialement, janus57

[Gaston_Phone]

Sugestion à la LAGAFFE :

• Fait un script qui à la fin se relance lui-même
• Dans le script gère les fichiers reçu OK et ceux à recevoir
• Ferme ton script (sans relance cette fois ci) quand il aura reçu tous les fichiers.

[michel78000]

Bonjour,

J'ai modifié le code pour tracer les erreurs dans CURL.
Et voila ce que j'obtiens pour chaque photo non copiée :

Code Erreur Curl : 56
Detail Erreur Curl : Recv failure: Connection reset by peer

Je pense que c'est un problème côté OVH car j'ai de nouveau essayé en local et je n'ai aucun problème.

qu'est-ce qui pourrait bloquer sur un hébergement mutualisé OVH ?

Merci d'avance.

[michel78000]

Bonjour,

J'ai un script qui marchait très bien jusqu'à peu.
Il permet de copier des photos depuis un site vers un dossier spécifique d'un site.

OK, il n'est pas très propre, mais il marchait bien :

echo "Ouverture du fichier $fichier 
\n";
$fichierouvert = fopen ($fichier_source, "r");
$contenu ="";
while (!feof($fichierouvert)) {
	$contenu .= fread($fichierouvert, 8192);
}
fclose ($fichierouvert);
$fichierouvert = fopen ($fichier_cible, "w+");
if ( !fwrite($fichierouvert, $contenu)) {
	echo "Impossible d'?crire dans le fichier ($filename)";
	exit;
}
fclose ($fichierouvert);

Depuis janvier 2016, j'avais régulièrement des photos qui manquaient à l'appel.
Je devais relancer le script plusieurs fois pour qu'elles arrivent toutes (500 photos max et 100-110ko par photo).

A l'occasion de la mise à jour de mes divers scripts php (pour compatibilité php 5.6), j'ai réécris le script :

if (!copy($valeur, $fichier_cible)) {
	echo "La copie $valeur du fichier a échoué..."."
\n";
} else {
	echo "La copie $valeur du fichier a réussi..."."
\n";
}

Et systématiquement, il arrive à copier 49 fichiers et à partir du 50ème, la copie échoue.

J'ai alors éssayé de passer par Curl :

$ch = curl_init($valeur);
$fp = fopen($fichier_cible, 'wb');

curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_exec($ch);
curl_close($ch);
fclose($fp);

Même résultat : uniquement les 49 premiers fichiers qui arrivent correctement. Les autres, ils font tous 0ko

Quelqu'un aurait-il une idée ?

Configuration :

Offre Mediaplan
PHP 5.6.17
Espace disque : 3.56 Go / 22 Go
Traffic utilisé : 2.14 Go / 1.6 To



Merci d'avance.