Hugging Face lance un outil pour vérifier la compatibilité

Résumé

Hugging Face propose un outil qui vérifie quels modèles Transformers fonctionnent sur AWS Trainium et fournit le script nécessaire pour les exécuter.

Les faits

Hugging Face a présenté un espace dédié au support des modèles avec torch-neuronx, le backend PyTorch natif pour AWS Trainium. Cet outil indique si les modèles Transformers fonctionnent sans modification sur Trainium et fournit le script permettant de reproduire l’exécution. L’espace propose trois vues : « Selected », « Trending » et « Downloads ». Pour chaque modèle testé, il affiche le résultat, le nombre de cœurs Trainium utilisés, le temps d’exécution total, compilation comprise, ainsi que la mémoire maximale mobilisée. Les versions du compilateur Neuron et de Transformers peuvent également être sélectionnées. Pour chaque modèle, l’outil précise la pile Neuron utilisée, les paquets à installer et le fichier run.py employé lors du test. Sur une instance Trainium2, le script peut être lancé avec la commande « python3 run.py ». La compilation des graphes intervient lors de la première exécution, mais les graphes produits peuvent être récupérés depuis un compartiment public de cache NEFF. Les tests chargent le modèle sur une instance trn2, en le répartissant sur le plus petit nombre de cœurs Trainium2 capable d’héberger ses poids. Ils génèrent 32 jetons et vérifient le résultat. À la date de publication, seuls les modèles Transformers des tâches text-generation et image-text-to-text sont testés, et les modèles doivent tenir sur 4 appareils Trainium2, soit 16 cœurs au maximum.

Pourquoi c’est important

L’outil transforme une question technique — savoir si un modèle peut fonctionner sur AWS Trainium — en une vérification directement exploitable. Les développeurs disposent à la fois du résultat du test, de la configuration logicielle et du script utilisé pour reproduire l’exécution. La publication fournit aussi une base de comparaison structurée : les résultats proviennent du jeu de données public aws-neuron/torch-neuronx-model-support, qui conserve le résultat de chaque modèle, les erreurs éventuelles, les versions de la pile logicielle et le script d’exécution. Le statut PASS ne renseigne toutefois ni le débit ni les performances lors de générations plus longues.

Questions fréquentes

Que vérifie l’espace torch-neuronx model support ?

Il indique si un modèle Transformers fonctionne sans modification sur AWS Trainium et fournit le script nécessaire à son exécution.[1]

Quelles informations sont affichées pour chaque modèle ?

Le résultat, le nombre de cœurs Trainium utilisés, le temps d’exécution, la mémoire maximale et les versions logicielles testées.[1]

Quels modèles sont testés ?

À la date de publication, seuls des modèles Transformers des tâches text-generation et image-text-to-text sont testés.[1]

Que signifie le statut PASS ?

Il signifie que le test a été réussi selon la procédure indiquée, mais ne renseigne ni le débit ni les générations plus longues.[1]

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.