Crossfeeds  le blog

11 novembre 2007 | Technique | dominique
4,187 lecture(s)

Tout d’abord les différents modules de Crossfeeds utilisent uniquement des technologies open sources et/ou gratuites. Les principales technologies sont :

• Linux (Debian 4.0)
• MySQL 5.0
• Apache 2.2
• Tomcat 5.5
• Php 5.2
• Java 5
• Lucene 2.3 (un ensemble de librairies java spécialisées dans l’indexation et la recherche plein texte)
• Rome 2.0 (une librairie java spécialisée dans la manipulation des flux de tous types)

Le back-office (ce que l’on ne voit pas)

Il est constitué de :

• la base de données qui mémorise les différentes informations à propos des flux, des utilisateurs, …
• Le crawler (java) : il parcourt les flux très régulièrement afin de découvrir les nouveaux articles
• L’indexer (java/lucene) : il indexe les flux et les articles
• L’alerteur (java/lucene) : il alerte les utilisateurs des nouveaux articles parus

Le front-office (ce que l’on voit)

Il utilise bien évidement la base de données et est constitué de :

• L’interface web (apache, php)
• Des web services (tomcat, Java) à usage des pages PHP de l’interface web.

Le plus compliqué, c’est sans conteste le crawler. Il s’agit d’une application java multi-threadées. Il doit lire régulièrement un grand nombre de flux afin de découvrir les nouveaux articles. Le but est de pouvoir rafraîchir l’état des flux jusqu’à toutes les 15 minutes. La fréquence de rafraîchissement d’un flux dépend principalement de la fréquence de parution constatée de nouveaux articles sur le flux.