Sentence Transformers dévoile l'entraînement multi-vecteurs

Résumé

Sentence Transformers ajoute le type MultiVectorEncoder et détaille une procédure complète pour entraîner et affiner des modèles de recherche multi‑vecteurs plus performants que les retrieveurs généralistes.

Les faits

Sentence Transformers est une bibliothèque Python dédiée à l’utilisation et à l’entraînement de modèles d’embedding et de reranking pour des applications comme la recherche augmentée par génération, la recherche sémantique ou la similarité textuelle sémantique. Sa version 6.0 introduit un quatrième type de modèle, le « MultiVectorEncoder », conçu pour la recherche à interaction tardive de style ColBERT, et s’accompagne d’une approche d’entraînement complète pour ce type de modèles. L’article explique que le finetuning de modèles multi‑vecteurs repose sur plusieurs composants : le modèle lui‑même, les jeux de données, les fonctions de perte, les arguments d’entraînement, les évaluateurs et la classe d’entraîneur, avec des exemples pratiques montrant comment obtenir des modèles multi‑vecteurs performants. L’auteur présente notamment un modèle « multi-vector-encoder/mLateOn-medical » affiné en 14,5 heures sur une seule carte RTX 3090, qui « dépasse facilement » tous les modèles de recherche généralistes testés sur son évaluation médicale, qu’ils soient denses, clairsemés, lexicaux ou multi‑vecteurs.

Pourquoi c’est important

L’ajout du type MultiVectorEncoder dans Sentence Transformers et d’une procédure d’entraînement détaillée rend les architectures multi‑vecteurs de style ColBERT beaucoup plus accessibles aux équipes qui travaillent sur la recherche sémantique et la recherche augmentée par génération. L’article fournit un cadre opérationnel pour construire ou affiner des modèles qui exploitent une interaction au niveau des tokens, sans compression en un seul vecteur. En montrant qu’un modèle multi‑vecteur spécialisé sur un domaine médical peut surpasser un large éventail de modèles de recherche généralistes, l’auteur souligne l’intérêt stratégique de l’adaptation des modèles aux données métiers. Cette démarche illustre la montée en puissance de solutions de recherche sur mesure dans les pipelines de retrieval augmenté, où la qualité de l’index et du scoring conditionne directement la pertinence des réponses générées.

Questions fréquentes

Qu’apporte la version 6.0 de Sentence Transformers ?

Elle introduit un quatrième type de modèle, le MultiVectorEncoder, et une approche complète pour entraîner ce type de modèles multi‑vecteurs.

À quoi servent les modèles multi‑vecteurs ?

Ils servent à la recherche de type ColBERT à interaction tardive, en conservant un vecteur par token pour un appariement plus fin entre requêtes et documents.

Quels composants sont nécessaires pour affiner un modèle multi‑vecteur ?

Le modèle, les jeux de données, les fonctions de perte, les arguments d’entraînement, les évaluateurs et la classe d’entraîneur.

Quel est l’exemple de modèle médical cité ?

Un modèle multi-vector-encoder/mLateOn-medical, affiné sur données médicales et évalué face à divers modèles de recherche généralistes.

: Combien de temps a duré l’entraînement du modèle médical ?

L’auteur indique un entraînement de 14,5 heures sur une seule carte graphique RTX 3090.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.