Fév 232011
 

Business Graph

Les premiers résultats du BSBM V3 sont arrivés.

Les spécifications de la Version 3 des Berlin SPARQL Benchmark (BSBM) ont été publiées en novembre 2010.

Voici le résultat des premiers tests de charges réalisés d’après ce nouveau protocole.

1) Les spécifications :

Ces nouveaux tests qui vont servir à torturer les triples stores et en valider la robustesse et les fonctionnalités sont de plus en plus exigeants.

La version 3 a été décomposée en trois scénarios d’utilisation :

  • Exploration : scénario en lecture seule qui simule la recherche et la navigation dans les données.
  • Exploration et mise à jour : scénario en lecture et écriture (grâce à la magie du SPARQL 1.1).
  • Business Intelligence : scénario d’analyse croisée des données (agrégation, regroupement, sous requêtes …)

On peut trouver les spécifications de cette V3 à cet endroit : http://www4.wiwiss.fu-berlin.de/bizer/BerlinSPARQLBenchmark/spec/20101129/

2) Les premiers résultats

Ce sont les premiers résultats qui viennent d’être publiés sur des tests de charge réalisés sur Jena TDB, 4store, BigData, BigOWLIM et Virtuoso.

Les tests reposent sur le chargement de 100 millions (100MT) puis de 200 millions (200MT) de triplets RDF dans les produits et l’exécution des trois scénarios d’utilisation.

On peut trouver les résultats détaillés de cette étude réalisée en février 2011 ici : http://www4.wiwiss.fu-berlin.de/bizer/BerlinSPARQLBenchmark/results/V6/index.html.

3) Quelques interprétations

On peut déjà noter que c’est la première fois que 4store est inclus dans les BSBM, et il s’en sort plutôt bien.

Le chargement des données

C’est BigOWLIM qui remporte cette manche, en étant 2 fois plus rapide que 4store. Suivent BigData, TDB et Virtuoso (bon dernier 6 fois plus long que BigOWLIM).

image

Les temps de chargement

J’ai lu qu’à titre de comparaison, dans le cas de BigOWLIM, on arrive quasiment aux même temps que le chargement de 200MT en vrac dans une base MySQL.

Les performances des triples store deviennent vraiment intéressantes.

Exploration

C’est Virtuoso qui remporte cette manche, suivi de 4store.

Il est intéressant de voir la chute des performances entre 100MT et 200MT :

Triple Store Baisse des performances
4store 18%
BigData 26%
BigOWLIM 49%
TDB 37%
Virtuoso 36%

Exploration et mise à jour

C’est 4store qui remporte haut la main cette épreuve d’autant plus que c’est une toute nouvelle version du moteur SPARQL update qui est intégrée dans 4store (c’est donc plutôt bien codé).

BigOWLIM qui est second est quasiment 2 fois moins rapide que 4store.

BigData et Virtusoso n’ont pas été au bout de cette étape car BigData ne prend pas en charge toutes les fonctionnalités SPARQL nécessaires et Virtuoso a rencontré des soucis techniques (zut, on ne sait pas lesquels).

Analyse croisée

Pas de synthèse claire des résultats puisque :

  • 4store et BigData ne prennent pas encore en charge toutes les fonctionnalités SPARQL nécessaires
  • Virtuoso, TDB et BigOWLIM ont tous rencontrés des problèmes techniques.

4) Une suite ?

Chaque éditeur a reçu une liste des problèmes techniques rencontrés lors de ce test, et un nouveau test sera réalisé dans 4 mois (Juillet 2011).

Affaire à suivre …..

Sorry, the comment form is closed at this time.