Skip to content

Introduction

Objectifs du document

Ce document adresse l'ensemble des évolutions de Codabench liées aux exigences du projet PARTAGES. Dans sa version intiale, il est avant-tout destiné à communiquer avec les RSSI des établissements de santé (ES) afin de valider l'installation de serveurs intégré à la plateforme fédérée Codabench à l'intérieur des hôpitaux, notamment pour la PoC prévue à l'automne 2025. Ce document sera mis à jour régulièrement au cours du projet.

Le projet PARTAGES a pour but d'évaluer des modèles de langage dans la résolution de tâches appliqués à l'analyse de données textuelles médicales grâce à l'organisation de compétitions (ou benchmarks).

Présentation de Codabench

Codabench est une plateforme permettant d'organiser des challenges ou des benchmarks de machine learning.

En quelques clics, un organisateur peut se créer un compte sur la plateforme, fournir un jeu de données, définir les indicateurs de réussite, ajouter de la documentation et ouvrir son benchmark à la communauté.

Un participant peut se créer un compte sur la plateforme, rejoindre un benchmark existant (ou être invité dans un benchmark privé) et soumettre.

Il existe deux types de soumissions:

  1. Les soumissions de résultats
  2. Les soumissions de code

Dans le cas d'une soumission de résultats, celle-ci est comparée à la solution, que seul l'organisateur connaît. Dans le cas d'une soumission de code, celui-ci est exécuté au sein d'un conteneur instancié par un noeud de calcul disponible, puis les résultats sont ensuite comparés à la solution, comme lors d'une soumission de résultats.

Les soumissions des participants sont ensuitée notées et ajoutées au classement au fil de l'eau.

Références

Codabench est un projet open-source hébergé sous github: https://github.com/codalab/codabench.

L'instance vitrine du projet est hébergée au LISN à l'université Paris-Saclay: https://www.codabench.org/.

La documentation officielle du projet est le https://github.com/codalab/codabench/wiki.

Une version sous forme de document pdf a été produite dans le cadre de PARTAGES: codabench-wiki version pdf.