NVIDIA impose Nemotron 3 en tête du classement RTEB

Résumé

NVIDIA annonce Nemotron 3 Embed, une famille de modèles d’embedding dont Nemotron-3-Embed-8B-BF16 atteint la première place globale sur le benchmark RTEB.

Les faits

NVIDIA publie un billet technique sur Hugging Face pour présenter Nemotron 3 Embed et mettre en avant la performance de la gamme sur les benchmarks de récupération. Le billet souligne que le modèle Nemotron-3-Embed-8B-BF16 occupe désormais la première place globale du classement RTEB, un benchmark de référence pour l’évaluation de la qualité de récupération. Toujours dans ce billet, NVIDIA indique que Nemotron-3-Embed-8B-BF16 atteint un score de 78,5 % sur RTEB, tout en enregistrant 75,5 % sur MMTEB Retrieval, ce qui en fait la référence de la série pour la qualité de récupération. La publication précise que le modèle Nemotron-3-Embed-1B-BF16 reprend une grande partie de la qualité de récupération du 8B, mais avec une empreinte de déploiement plus réduite. NVIDIA met également en avant les gains mesurés par rapport au précédent modèle 1B, llama-nemotron-embed-vl-1b-v2 : Nemotron-3-Embed-1B-BF16 obtient 72,4 % sur RTEB et réduit le taux d’erreur de 27 %, tout en atteignant 71,0 % sur MMTEB Retrieval et en réduisant le taux d’erreur de 28 %. L’ensemble de ces scores est présenté comme une avancée pour la récupération dans les systèmes d’agents, en particulier dans les scénarios où la qualité de la recherche contextuelle est critique. Le billet insiste enfin sur la complémentarité de ces deux tailles de modèles dans les cas d’usage de récupération avancée (« agentic retrieval »), en combinant précision de haut niveau pour le modèle 8B et efficacité de déploiement pour le modèle 1B. Cette stratégie permet aux développeurs de choisir le compromis adapté entre performance et coût pour leurs applications de recherche, de RAG et de mémoire d’agent.

Pourquoi c’est important

En atteignant la première place globale sur RTEB avec un score de 78,5 %, Nemotron-3-Embed-8B-BF16 positionne NVIDIA au centre de la compétition sur les modèles d’embedding de haute précision, un maillon clé des architectures de récupération augmentée. Le fait que ce modèle combine une performance de pointe sur RTEB et MMTEB Retrieval renforce sa pertinence pour les systèmes d’agents qui s’appuient sur une contextualisation fine des requêtes. L’amélioration nette du modèle 1B par rapport à son prédécesseur, avec une réduction de 27 % du taux d’erreur sur RTEB et de 28 % sur MMTEB Retrieval, montre que NVIDIA travaille autant sur la qualité que sur l’efficacité opérationnelle. En pratique, cette progression ouvre la voie à des déploiements plus légers tout en conservant une récupération robuste, ce qui est stratégique pour généraliser la récupération agentique dans des environnements de production contraints en ressources.

Questions fréquentes

Quel modèle Nemotron 3 Embed est classé numéro 1 sur RTEB ?

Le modèle Nemotron-3-Embed-8B-BF16 est classé numéro 1 global sur le benchmark RTEB, avec un score de 78,5 %.[1]

Quels sont les scores de Nemotron-3-Embed-8B-BF16 sur RTEB et MMTEB ?

Nemotron-3-Embed-8B-BF16 obtient 78,5 % sur RTEB et 75,5 % sur MMTEB Retrieval.[1]

Que propose Nemotron-3-Embed-1B-BF16 par rapport au 8B ?

Nemotron-3-Embed-1B-BF16 reprend une grande partie de la qualité de récupération du 8B, avec une empreinte de déploiement plus réduite.[1]

Comment Nemotron-3-Embed-1B-BF16 se compare-t-il à son prédécesseur ?

Il atteint 72,4 % sur RTEB et 71,0 % sur MMTEB, réduisant le taux d’erreur de 27 % et 28 % par rapport au modèle 1B précédent.[1]

En quoi Nemotron 3 Embed contribue-t-il à la récupération agentique ?

Les modèles 8B et 1B améliorent la qualité de récupération tout en offrant des options adaptées aux contraintes de déploiement des systèmes d’agents.[1]

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.