VEF Blog

Modularité et file d'attente pour les photos et podcasts

Rien de vraiment nouveau, si ce n'est au niveau technique.  Ca concerne toutes les images, fichiers sons et vidéos chargés dans les blogs. Voici de nouveau un article destiné aux gens interessés par cet aspect.

Déjà, tout le processus est devenu modulaire. Chaque opération : retouche, et insertion dans la base de donnée,  peut être fait soit par une fonction locale, soit par un webservice sur un autre serveur.

Ensuite, les fichiers sont immédiatement envoyés sur un autre serveur (images1.vefblog.net en ce moment) qui s'occupe d'afficher toutes les images dans les navigateurs. Pour la suppression, c'est la même chose ; tout est géré grâce à des services web. Cette syncronisation en temps réel (mais sans attente du client) évite en plus de coûteuses syncronisations totales chaque nuit. En cas d'erreurs, des ficheirs log permettent de retenter ces opérations plus tard.

Enfin, un service résident (un démon, souvenez vous) gère maintenant la file d'attente de retouche des fichiers. Cela signifie que quand il est lancé, deux fichiers ne peuvent pas être traités en même temps ce qui évite des surcharges du serveur à cause de ça. Par contre, le service commence par les fichiers de plus petite taille, et met les plus gros à la fin.

Si vous chargez une petite photo, vous attendrez que la place se libère puis votre photo sera traitée ; à priori ca ne changera pas beaucoup de avant - sauf si le serveur était déjà en train de retoucher une grosse vidéo par exemple, auquel cas vous attendrez un peu.

Par contre si vous chargez un gros fichier, vous attendrez qu'il n'y ait aucun plus petit fichier que le vôtre à traiter. En théorie, en heure d'affluence le temps peut donc être repoussé mais la plupart du temps ca ne changera pas grand chose.

C'était devenu necéssaire avec l'autorisation des gros fichiers images, son et vidéo (20Mo pour le moment). En plus, je saurais quand la file d'attente devient grosse, et quand il y aura trop de fichier à traiter nous prendrons un nouveau serveur rien que pour ca, grâce à cette nouvelle modularité...

Quelques shémas des différentes possibilités de cette nouvelle modularité : 

Ancien système 

 Système avec services Web et syncronisation

Avec le service de gestion des files d'attente