OVH Community, votre nouvel espace communautaire.

Files hosting, elasticsearch, glusterFS


passetemps
15/01/2015, 09h54
@kioob

en fait je pensais par ailleurs utiliser S3 comme stockage secondaire un peu comme un backup. L'interet d'avoir les fichiers en local c'est d'y avoir accès facilement et donc de pouvoir les réinjecter dans mon Elastic si jamais je décide de modifier mon index.

Kioob
15/01/2015, 08h17
Hello,

pour ce qui est de Ceph, je m'en sers pas mal, mais pour qu'il soit efficace le coût d'entrée est très élevé : par exemple, avoir seulement 3 dédié pour le monitoring de Ceph (instances MON) + 3 autres dédiés gavés de disques pour le stockage (instances OSD) apporte des performances assez décevantes. L'intérêt de Ceph vient surtout dans la scalabilité : il «suffit» d'ajouter des machines/disques pour avoir de bonnes perfs...

Pour ce qui est de la question de départ, si tu comptes utiliser de l'object storage (via S3, RunAbove ou OVH d'ailleurs), tu n'as probablement pas besoin de glusterFS and co de ton coté, si ? (Inversement, Ceph propose aussi sa «RadosGW» permettant de faire de l'object storage).

captainadmin
14/01/2015, 17h20
Hello

J'utilise glusterfs sans soucis sur des partitions d'hébergement web avec pas mal d'écriture.
J'ai aucun soucis avec tout fonctionne très bien
Cependant les tests de perfs et les retour d'expérience indique que Ceph est encore mieux plus facile à remonter et à corriger en cas de problème.

Bon courage
http://www.captainadmin.com

passetemps
14/01/2015, 15h33
bonjour,

je cherche a avoir des retours d'expérience sur le stockage de fichiers (type: doc, xls, pdf, html, docx, ...) en gros volume, je dois les stocker puis dans un 2e temps, injecter leur contenu dans un elasticsearch. Je ne sais pas si certains d'entre vous ont déjà fait ce type d'architecture. J'avais pensé à utiliser glusterFS pour le stockage des fichiers et la synchro entre plusieurs serveurs afin de bénéficier de la redondance. Le tout couplé à S3 pour mettre a disposition les fichiers. Qu'en pensez-vous ?