Sentence Transformers intègre les modèles ColBERT

Résumé

La bibliothèque Sentence Transformers intègre un nouveau type de modèle multi‑vecteur, inspiré de ColBERT, qui améliore la recherche sémantique et la récupération de documents visuels via une interaction tardive MaxSim.

Les faits

La bibliothèque Python Sentence Transformers, dédiée aux modèles d’« embedding » et de rerankers pour la recherche augmentée par génération et la recherche sémantique, introduit avec sa version 6.0 un quatrième type de modèle : le MultiVectorEncoder pour la recherche à interaction tardive de style ColBERT. Ce nouveau type de modèle multi‑vecteur est conçu pour charger directement des points de contrôle PyLate et ColBERT de Stanford NLP, ainsi que des modèles colpali-engine pour la récupération de documents visuels, le tout via la même interface familière utilisée pour les modèles denses, clairsemés et les rerankers. L’approche multi‑vecteur se distingue des modèles d’« embedding » classiques : au lieu de compresser un texte entier en un seul vecteur, elle conserve un vecteur par token et calcule la similarité entre requête et document avec l’opérateur MaxSim, ce qui préserve l’information de correspondance au niveau des tokens et se traduit généralement par une meilleure qualité de récupération, au prix d’un index plus volumineux. Cette famille de modèles est aussi présentée comme l’état de l’art pour la récupération de documents visuels, où une requête textuelle est directement mise en correspondance avec des images de pages, sans étape d’OCR intermédiaire. Le billet détaille enfin comment charger les différents formats de points de contrôle, encoder et scorer, les intégrer dans une pile de recherche, les exploiter sur des images de pages et maîtriser la taille de l’index, en précisant que l’ensemble des exemples fonctionne à partir d’une simple installation via « pip install -U sentence-transformers ».

Pourquoi c’est important

L’ajout de MultiVectorEncoder dans Sentence Transformers marque une étape importante pour les systèmes de recherche avancés. En adoptant l’interaction tardive de style ColBERT, la bibliothèque rapproche la précision des approches sophistiquées de reranking tout en conservant une interface unifiée pour les modèles denses, clairsemés et les rerankers, ce qui facilite l’adoption dans les stacks de recherche existantes. En mettant l’accent sur la récupération de documents visuels sans OCR et sur la compatibilité avec PyLate, ColBERT et colpali-engine, cette évolution élargit le champ d’application de Sentence Transformers au‑delà du texte pur. Elle offre aux équipes produits et aux chercheurs une solution cohérente pour la recherche sémantique, la recherche augmentée par génération et la récupération multimodale, tout en restant accessible via une simple installation Python.

Questions fréquentes

Qu’apporte la version 6.0 de Sentence Transformers ?

La v6.0 ajoute un quatrième type de modèle, MultiVectorEncoder, pour la recherche à interaction tardive de style ColBERT.

Comment fonctionne un modèle multi‑vecteur par rapport à un modèle classique ?

Un modèle multi‑vecteur conserve un vecteur par token et score requête et document avec l’opérateur MaxSim, au lieu d’un seul vecteur par texte.

Quels types de points de contrôle sont supportés par MultiVectorEncoder ?

Il peut charger des checkpoints PyLate, des checkpoints ColBERT de Stanford NLP et des modèles colpali-engine pour les documents visuels.

Quels cas d’usage sont mis en avant pour ces modèles ?

Ils sont destinés à la recherche augmentée par génération, la recherche sémantique, la récupération de documents visuels et plus généralement aux systèmes de recherche.

Comment installer les modèles multi‑vecteurs présentés ?

Les exemples du billet fonctionnent après une simple commande « pip install -U sentence-transformers ».

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.