EmbeddingGemma 2 unifie texte et images sur les appareils

Résumé

Google DeepMind lance EmbeddingGemma 2, un modèle multimodal ouvert de 740 millions de paramètres conçu pour la recherche locale et hors ligne.

Les faits

Google DeepMind annonce le lancement d’EmbeddingGemma 2, un modèle d’embeddings multimodal capable de représenter nativement le texte, le code, les images, l’audio et la vidéo dans un espace vectoriel unifié. Fondé sur l’architecture Gemma 4, il est distribué sous licence Apache 2.0, présentée comme compatible avec un usage commercial, et compte 740 millions de paramètres. Le modèle vise l’inférence directement sur les appareils grand public. Sa conception modulaire permet de descendre à 270 millions de paramètres pour les usages textuels, avec des encodeurs optionnels de 170 millions de paramètres pour la vision et de 300 millions pour l’audio. Grâce à l’apprentissage des représentations de type Matryoshka, les vecteurs de sortie peuvent être réduits de 768 à 512, 256 ou 128 dimensions, avec jusqu’à six fois moins de stockage pour les bases vectorielles locales et la mémoire. EmbeddingGemma 2 dispose d’une fenêtre de contexte de 8 000 jetons, soit quatre fois celle d’EmbeddingGemma 1. Selon Google DeepMind, il peut traiter localement jusqu’à 5,5 minutes d’audio, 29 images, 58 images vidéo ou des combinaisons entre ces formats. Avec quantification, l’empreinte mémoire active annoncée sur un Google Pixel 11 Pro atteint environ 191 Mo pour les poids textuels et environ 567 Mo pour le modèle multimodal complet. Sur MTEB Code, le modèle progresse de 68,76 à 78,68, soit une amélioration de 9,92 points. Google DeepMind indique également qu’EmbeddingGemma 2 obtient des résultats de premier plan parmi les modèles multimodaux de moins d’un milliard de paramètres et dépasse certains modèles spécialisés plus de deux fois plus volumineux. Les poids sont proposés sur Hugging Face et Kaggle, tandis que d’autres outils et environnements sont pris en charge, notamment MediaPipe, LiteRT, transformers.js, WebGPU, transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LMStudio et Qdrant.

Pourquoi c’est important

EmbeddingGemma 2 déplace une partie de la recherche sémantique multimodale vers le matériel local. Le traitement sur appareil peut renforcer la confidentialité, réduire la latence et permettre des fonctions de recherche ou de récupération sans connexion, notamment pour retrouver une séquence vidéo à partir d’un mémo vocal ou interroger des enregistrements audio avec du texte. Son intérêt tient aussi à sa compatibilité avec des architectures d’agents et de RAG exécutées localement. Associé à Gemma 4, le modèle partage le tokenizer textuel et l’encodeur audio de cette architecture, ce qui doit réduire l’empreinte mémoire totale d’un pipeline combinant recherche multimodale et génération.

Questions fréquentes

Qu’est-ce qu’EmbeddingGemma 2 ?

C’est un modèle d’embeddings multimodal qui unifie texte, code, images, audio et vidéo dans un espace vectoriel partagé.

Combien de paramètres compte EmbeddingGemma 2 ?

Le modèle complet compte 740 millions de paramètres. Sa configuration textuelle peut descendre à 270 millions.

Sous quelle licence est-il distribué ?

EmbeddingGemma 2 est publié sous licence Apache 2.0, avec un usage commercial permis selon la présentation de Google DeepMind.

Quelle est sa fenêtre de contexte ?

Le modèle dispose d’une fenêtre de contexte de 8 000 jetons, quatre fois plus grande que celle d’EmbeddingGemma 1.

Où télécharger les poids du modèle ?

Les poids sont disponibles sur Hugging Face et Kaggle.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.