NVIDIA accélère le fine-tuning des modèles de diffusion

Résumé

NVIDIA NeMo Automodel s’intègre à Diffusers pour entraîner et affiner à grande échelle des modèles texte‑image et texte‑vidéo du Hub, sans conversion de checkpoints.

Les faits

NVIDIA et Hugging Face publient un billet conjoint détaillant une intégration entre la librairie de training NVIDIA NeMo Automodel et l’écosystème 🤗 Diffusers pour les modèles de diffusion d’images et de vidéos. Les auteurs rappellent que les modèles de diffusion propulsent « certaines des sorties open source les plus excitantes de ces deux dernières années », citant notamment FLUX.1-dev pour le texte‑vers‑image, Wan 2.1 et HunyuanVideo pour le texte‑vers‑vidéo, tous accessibles via la bibliothèque Diffusers qui offre une interface unifiée pour l’inférence, l’adaptation et la composition de pipelines. NeMo Automodel est présenté comme une bibliothèque de training open source, native PyTorch DTensor et partie intégrante du framework NVIDIA NeMo, construite autour de deux principes : être « Hugging Face native » en permettant de pointer `pretrained_model_name_or_path` vers n’importe quel modèle Diffusers sur le Hub, et proposer « un seul programme, n’importe quelle échelle » en rendant le parallélisme configurable (FSDP2, parallélisme de tenseurs, d’experts, de contexte, de pipeline) sans réécriture de modèles. L’intégration arrive avec des recettes de fine‑tuning prêtes à l’emploi pour plusieurs modèles de diffusion open source listés dans `examples/diffusion/finetune`, dont Wan 2.1 T2V 1,3B / 14B pour le texte‑vers‑vidéo, Wan 2.2 T2V A14B, FLUX.1-dev et FLUX.2-dev pour le texte‑vers‑image, HunyuanVideo 1.5 pour le texte‑vers‑vidéo, et Qwen-Image pour le texte‑vers‑image, avec des précisions de taille de modèle et la présence ou non de recettes LoRA. Les auteurs soulignent que cette collaboration « apporte un training de diffusion distribué de qualité production à n’importe quel modèle au format Diffusers sur le Hugging Face Hub — sans conversion de checkpoint et sans réécriture de modèle pour chaque nouveau modèle », avec une intégration documentée dans le guide de training Diffusers et publiée en open source sous licence Apache 2.0.

Pourquoi c’est important

Cette intégration consolide le rôle de Diffusers comme point central de l’écosystème open source des modèles de diffusion, tout en apportant la capacité de training distribué de NeMo Automodel à des modèles texte‑image et texte‑vidéo de taille allant de 1,3 à 32 milliards de paramètres, voire des architectures MoE. En rendant le parallélisme une simple « décision de configuration » plutôt qu’une réécriture de code, elle réduit considérablement la complexité d’industrialisation du fine‑tuning. Pour les chercheurs et développeurs, l’absence de format de checkpoint spécifique au training et la compatibilité directe des poids pré‑entraînés du Hub signifient que les modèles peuvent être affinés à grande échelle, puis réutilisés immédiatement dans des pipelines Diffusers existants ou partagés à nouveau sur le Hub. Le support simultané de recettes de fine‑tuning complètes et de variantes LoRA permet d’adapter ces workflows aussi bien à des clusters multi‑GPU qu’à des configurations plus modestes.

Questions fréquentes

Qu’est-ce que NVIDIA NeMo Automodel ?

Une bibliothèque de training open source, native PyTorch DTensor, partie du framework NVIDIA NeMo, conçue pour entraîner des modèles de diffusion à grande échelle.

Comment NeMo Automodel s’intègre-t-il à Diffusers ?

Il utilise les classes de modèles et les pipelines Diffusers et permet de pointer `pretrained_model_name_or_path` vers tout modèle Diffusers du Hugging Face Hub.

Faut-il convertir les checkpoints pour le training ?

Non. Les poids pré‑entraînés du Hub fonctionnent directement, sans format de checkpoint séparé ni conversions aller‑retour.

Quels modèles disposent de recettes de fine-tuning prêtes à l’emploi ?

Wan 2.1 T2V, Wan 2.2 T2V A14B, FLUX.1-dev, FLUX.2-dev, HunyuanVideo 1.5 et Qwen-Image ont des recettes listées dans `examples/diffusion/finetune`.

Sous quelle licence est publiée l’intégration ?

L’intégration NeMo Automodel–Diffusers est entièrement open source et publiée sous licence Apache 2.0.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.