Mesures
Ce que nous avons mesuré, comment, et ce que cela ne dit pas.
Mesures · Wolof
Transcription sur la partie test wolof de Google FLEURS. Plus bas, c'est mieux.
| Modèle | WER | CER | Vitesse | Licence |
|---|---|---|---|---|
Meta MMS-1B-all (wol adapter)option texte lu wav2vec2 MMS · 1B | 40,0 % | 12,2 % | 0,91 | CC-BY-NC-4.0 licence non commerciale |
HuBERT base · 95M | 46,9 % | 18,1 % | 0,17 | AGPL-3.0 |
wav2vec2 MMS · 1B | 47,3 % | 15,7 % | 0,49 | MIT (base CC-BY-NC) licence non commerciale |
w2v-BERT 2.0 · 600M · entraîné sur la partie train de FLEURS (même domaine que le test) | 48,5 % | 18,5 % | 0,58 | MIT |
wav2vec2 XLS-R · 300M · entraîné sur la partie train de FLEURS (même domaine que le test) | 49,2 % | 18,7 % | 0,15 | Apache-2.0 |
Jeu de test: Google FLEURS wo_sn (test), 239 énoncés, 69 min d'audio · Matériel: GitHub Actions runner, 2 vCPU x86_64, int8 dynamic quantisation · Mesuré le 29 oct. 2026
Intelligibilité de la synthèse vocale
Nous n'avons pas encore d'évaluations humaines, alors nous utilisons un indicateur : synthétiser des phrases de test, les retranscrire avec notre meilleur modèle de transcription, et mesurer ce qui survit à l'aller-retour. Cela dit que la voix est intelligible pour un modèle, pas qu'elle sonne naturelle.
| Modèle | CER aller-retour | Vitesse | Licence |
|---|---|---|---|
Moustapha91 SpeechT5 WolofEn service SpeechT5 + HiFi-GAN | 15,0 % | 0,77 | MIT |
SpeechT5 + HiFi-GAN | 29,7 % | 0,76 | MIT |
SpeechT5 + HiFi-GAN | 53,3 % | 0,99 | MIT |
60 × FLEURS wo_sn · ASR: soynade-research/Wolof-HuBERT-CTC
Le wolof mêlé de français
Au Sénégal, on passe du wolof au français au milieu d'une phrase. Sur Kallaama (paroles spontanées d'émissions de radio agricoles, CC-BY 4.0), nous comparons les extraits entièrement en wolof et ceux qui contiennent des mots français, tels que marqués par les transcripteurs de Kallaama. La parole radio est bien plus difficile que la lecture de FLEURS : tous les chiffres sont plus élevés.
| Modèle | WER, wolof seul | WER, avec du français | Mots wolof ratés | Mots français ratés |
|---|---|---|---|---|
| Soynade Wolof-HuBERT-CTC données d'entraînement non documentées (peut inclure Kallaama) | 28,5 % | 30,8 % | 26,4 % | 33,8 % |
| asr-africa XLS-R Wolof (Kallaama+FLEURS, 51 h)En service entraîné sur Kallaama | 36,6 % | 38,4 % | 32,6 % | 46,8 % |
| Meta MMS-1B-all (wol adapter) | 70,6 % | 75,6 % | 69,2 % | 95,1 % |
250 extraits en wolof seul et 250 extraits avec du français (1314 mots français), partie test de Kallaama.
Traduction
Wolof ↔ français sur la partie devtest de FLORES-101 : 300 phrases par sens, notées en chrF++ (plus haut, c'est mieux) par rapport à des traductions professionnelles.
| Modèle | Sens | chrF++ | BLEU | s / phrase |
|---|---|---|---|---|
| facebook/nllb-200-distilled-600MEn service | fra → wol | 24,8 | 5,1 | 1,08 |
| bilalfaye/nllb-200-distilled-600M-wolof-french 1012/1012 phrases du test figurent dans ses données d'entraînement : score non valable | fra → wol | 48,1 | 26,5 | 2,26 |
| Lahad/nllb200-francais-wolof 1012/1012 phrases du test figurent dans ses données d'entraînement : score non valable | fra → wol | 33,1 | 9,6 | 1,62 |
| MaroneAI/nllb-French-to-Wolof-615M 635/1012 phrases du test figurent dans ses données d'entraînement : score non valable | fra → wol | 32,7 | 9,2 | 1,83 |
| facebook/nllb-200-distilled-600MEn service | wol → fra | 36,0 | 14,0 | 1,24 |
| bilalfaye/nllb-200-distilled-600M-wolof-french 1012/1012 phrases du test figurent dans ses données d'entraînement : score non valable | wol → fra | 65,2 | 50,2 | 1,00 |
| galsenai/wolofToFrenchTranslator_nllb données d'entraînement non documentées : score peu fiable | wol → fra | 57,3 | 39,9 | 1,17 |
| MaroneAI/nllb-Wolof-to-French-615M 635/1012 phrases du test figurent dans ses données d'entraînement : score non valable | wol → fra | 40,0 | 17,5 | 1,65 |
Tous les modèles wolof↔français affinés que nous avons testés ont soit été entraînés sur ces phrases de test, soit ne disent pas sur quoi. Nous servons NLLB-200 de base, le seul que nous pouvons mesurer proprement, en attendant notre propre jeu de test.
FLORES-101 devtest (CC-BY-SA 4.0)
Méthodologie
- Jeu de test : Google FLEURS, wolof (wo_sn), partie test. Phrases de Wikipédia lues par des locuteurs natifs, sous licence CC-BY 4.0.
- Normalisation avant calcul : minuscules, ponctuation retirée, espaces fusionnés. Les lettres comme ë, é, ñ et ŋ sont conservées : bien les écrire fait partie du travail.
- Chaque modèle décode de façon gloutonne (sans modèle de langue) avec le même code CPU quantifié en int8 que l'API, donc les chiffres correspondent à ce que vous obtenez.
- Les mesures sont reproductibles : un workflow GitHub Actions télécharge la partie test et les modèles, puis enregistre les résultats bruts énoncé par énoncé. La vitesse est mesurée sur ce runner à 2 vCPU.
- La synthèse vocale n'a pas encore d'évaluations humaines. Nous synthétisons 60 phrases de test par voix et les retranscrivons avec un autre modèle wolof (Wolof-HuBERT-CTC), pour que le juge ne soit pas le transcripteur servi.
Ce que ces chiffres ne disent pas
- FLEURS, c'est de la lecture propre. Les conversations, l'audio téléphonique, le bruit et le wolof mélangé au français sont plus difficiles et donneront de moins bons scores.
- Certains modèles ont été entraînés sur la partie train de FLEURS, du même domaine que le test : leurs chiffres sont optimistes. Nous les signalons.
- L'orthographe du wolof varie beaucoup dans la pratique. Certaines erreurs sont des variantes qu'un humain accepterait.
- Les chiffres incluent des choix d'orthographe : FLEURS écrit certains mots autrement que les modèles (melni / mélni, 78 / juróom ñaari fukk…).