VEF Blog

Remaniement du service des stats en langage C

Article pour les geeks uniquement.. 

Voici une info qui ne change rien au résultat final : la semaine dernière, je me suis amusé à refaire complètement le démon (service résident si vous préférez) qui s'occupe de prendre en compte toutes les visites des blogs de l'accueil, en langage C.

En effet, avant il était en  php, mais ce service doit être le plus rapide possible car :

• il est très sollicité,
• il doit accepter l'information sur la visite et rendre la main le plus vite possible pour ne pas accumuler les processus apache qui attendraient.

Son rôle exact est de retenir quelles sont les visites actives, c'est à dire les visites qui ont eu au moins un hit depuis moins de 30 minutes ; pour chacune il retient le nombre de hits, l'heure du début et l'heure du dernier hit. C'est lui qui est interrogé pour connaitre le nombre de visiteurs actuellement sur un blog ou l'accueil. Pour le contacter, il écoute sur un port tcp local et sur une socket unix.

Une visite est une adresse ip sur un blog (ou l'accueil). Chaque début de visite et chaque fin de visite (30 minutes après le dernier hit), il envoie l'info à un autre démon (stat 2ème  niveau) qui se charge de le rentrer dans la base de données. Cela permet de ne pas charger la base de donnée en lecture et écriture à chaque hit sur une page.

J'ai fait un programme en C assez sophistiqué qui gère très bien tout ca. En particulier, il gère:

• une organisation de la mémoire par buffer, afin d'éviter de reserver trop de mémoire dès le début sans savoir, et d'éviter aussi des malloc constants à chaque nouvel élément à retenir. La réservation de la mémoire se fait par tranche (par exemple 100) d'éléments à retenir (blogs, visites, index, listes de timeout, etc..)
• une gestion des index pour retourver rapidement un blog ou une visite, en utilisant deux niveaux de hash.

Cette nouvelle version du service de stat a été longue à déboguer (forcément, un programme en C..) et a tourné plusieurs jours en parallèle du premier afin de le tester. Il est en production depuis avant-hier, avec succès...

Ca m'a fait plaisir de refaire un peu de C. C'est 4 fois plus long à développer que le php, mais très efficace, et intellectuellement plus satisfaisant.Ca change un peu..