ByteDance montre que l’entraînement par questions-réponses dope les LMM sur les longs documents

Résumé

Des chercheurs de ByteDance Seed et de la Hong Kong University of Science and Technology démontrent qu’entraîner un modèle multimodal sur des questions-réponses, plutôt que sur la simple transcription de texte, améliore nettement sa compréhension de longs documents. Leur modèle MMProLong, dérivé de Qwen2.5-VL, surpasse ainsi des concurrents bien plus volumineux.

Les faits

Une équipe de ByteDance Seed et de la Hong Kong University of Science and Technology (HKUST) a étudié comment entraîner efficacement des modèles image‑langage sur de longs documents. Leur travail aboutit à MMProLong, un modèle construit sur la base du Qwen2.5-VL open source d’Alibaba, qui « bat des concurrents bien plus grands ». Les chercheurs partent du constat que les grands modèles multimodaux doivent gérer des entrées de plus en plus longues, allant de collections complètes de PDF à des heures de vidéo, dans des fenêtres de contexte pouvant atteindre « jusqu’à 1 million de tokens ». Ils soulignent que les rapports techniques décrivent rarement quelles données ces modèles doivent voir et dans quelles proportions. L’étude oppose deux approches d’entraînement. Dans la première, le modèle doit réaliser de la reconnaissance de texte sur toutes les pages d’un document, ou sur quelques pages seulement, les autres servant de distraction. Dans la seconde, un modèle séparé, Seed 2.0 de ByteDance, génère des paires questions‑réponses pour des sections du document ; la question est utilisée avec l’intégralité du document, afin de forcer le modèle à localiser le passage pertinent dans un long contexte. Les résultats sont tranchés : « la reconnaissance de texte pure comme tâche d’entraînement a en réalité dégradé les performances par rapport au point de départ ». À l’inverse, l’entraînement par questions‑réponses apporte « des gains clairs ». Selon les auteurs, le modèle « n’apprend à naviguer dans de longs textes que lorsqu’il doit filtrer et catégoriser l’information en vue d’un objectif spécifique ». Ils observent également que nourrir le modèle presque exclusivement de très longs documents n’est pas optimal : un mélange plus large d’exemples courts et longs fonctionne mieux, confirmant que la capacité de long contexte repose sur une recherche flexible à différentes distances plutôt que sur une longueur fixe.

Pourquoi c’est important

Cette étude remet en question une pratique largement répandue mais peu documentée : utiliser la simple transcription de texte comme tâche d’entraînement principale pour les modèles multimodaux. Elle montre qu’un modèle de 7 milliards de paramètres, bien entraîné via des questions‑réponses, peut répondre plus fiablement à des questions sur des documents longs et riches en images que des modèles bien plus grands, y compris sur des contenus quatre fois plus longs que ceux vus à l’entraînement. Au‑delà du cas de MMProLong, les conclusions offrent un cadre concret pour concevoir des jeux de données et des tâches d’apprentissage ciblant réellement la navigation dans de longs contextes. Elles indiquent qu’optimiser la structure des tâches (questions‑réponses, mélange de longueurs) peut être plus déterminant que d’augmenter mécaniquement la taille des modèles ou la seule capacité de la fenêtre de contexte.

Questions fréquentes

Quel est l’objet principal de l’étude de ByteDance Seed et HKUST ?

L’étude analyse comment entraîner efficacement des modèles image‑langage sur de longs documents et montre que les paires questions‑réponses surpassent la simple transcription de texte comme tâche d’entraînement.

Sur quel modèle MMProLong est‑il construit ?

MMProLong est construit sur Qwen2.5-VL, un modèle multimodal open source d’Alibaba.

Pourquoi la reconnaissance de texte dégrade‑t‑elle les performances ?

Les chercheurs constatent que la reconnaissance de texte pure n’apprend pas au modèle à trouver l’information pertinente dans un long document et qu’elle « a en réalité dégradé les performances par rapport au point de départ ».

En quoi l’entraînement par questions‑réponses est‑il supérieur ?

En associant une question à l’ensemble du document, le modèle est forcé de localiser le passage pertinent, ce qui apporte « des gains clairs » en capacité de navigation dans de longs textes.

Quel type de données d’entraînement donne les meilleurs résultats ?

Les expériences montrent qu’un mélange plus large d’exemples courts et longs est plus fiable que des documents presque uniquement très longs, la capacité de long contexte reposant sur une recherche flexible à différentes distances.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.