Granite Switch 4.1 réunit conversation et décision vocale

Résumé

IBM Granite présente Granite Switch 4.1, une famille de modèles capables d’enchaîner conversation, décisions et transcription vocale depuis un seul point d’accès hébergé.

Les faits

Le projet Granite Switch adopte une approche modulaire du développement de modèles. Avec Granite Switch 4.1, les modèles peuvent passer entre les réponses en langage naturel, les décisions générales ou spécialisées et les tâches de conversion de la parole en texte depuis un seul point d’accès hébergé. Les modèles Granite-Switch-4.1-8B et Granite-Switch-4.1-30B intègrent trois technologies : un adaptateur Decision pour la prise de décision générale, un adaptateur Guardian spécialisé et Granite-Speech-5.0-Turbo-CTC pour la transcription. L’article présente ce dernier comme le modèle de reconnaissance automatique de la parole le plus rapide du classement OpenASR. Ces trois technologies, associées au modèle de base, sont composées dans un modèle unique. L’ensemble occupe approximativement la même quantité de mémoire vidéo sur un processeur graphique que le modèle de base utilisé seul, ce qui permet de disposer de davantage de capacités avec moins de processeurs graphiques. Les adaptateurs Switch reposent sur des Activated LoRAs conçues pour optimiser l’utilisation du cache. Le cache KV produit lors d’une génération du modèle de base peut ainsi être réutilisé pour les décisions ultérieures fondées sur un adaptateur. Avec des contributions récentes à vLLM et un encodeur de reconnaissance vocale co-localisé, les modèles peuvent passer rapidement d’une requête conversationnelle à une requête de décision ou vocale. Une démonstration Speech-to-Decisions transcrit des fichiers audio, produit des résumés, détecte les contenus nuisibles et teste quinze autres indicateurs définis par l’utilisateur en temps réel sur un seul point d’accès.

Pourquoi c’est important

Granite Switch 4.1 rapproche plusieurs fonctions généralement déployées séparément : conversation, décision spécialisée et transcription vocale. Leur composition dans un modèle unique vise à réduire les besoins matériels tout en conservant plusieurs usages depuis un même point d’accès. La réutilisation du cache KV et l’intégration d’un encodeur de reconnaissance vocale co-localisé ciblent directement la rapidité d’inférence. Cette architecture permet notamment d’enchaîner transcription, résumé, filtrage de contenu et contrôles personnalisés dans une même chaîne de traitement.

Questions fréquentes

Quels modèles composent Granite Switch 4.1 ?

Granite-Switch-4.1-8B et Granite-Switch-4.1-30B.

Quelles tâches Granite Switch 4.1 prend-il en charge ?

La conversation, les décisions générales ou spécialisées et la conversion de la parole en texte.

Quel modèle vocal est intégré ?

Granite-Speech-5.0-Turbo-CTC, présenté comme le modèle de reconnaissance vocale le plus rapide du classement OpenASR.

Combien de mémoire vidéo le modèle utilise-t-il ?

Approximativement autant que le modèle de base utilisé seul.

Que réalise la démonstration Speech-to-Decisions ?

Elle transcrit l’audio, génère des résumés, détecte les contenus nuisibles et teste quinze autres indicateurs définis par l’utilisateur en temps réel.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.