ByteDance lance un département sécurité pour son IA

Résumé

Le laboratoire Seed AI de ByteDance crée un département consacré à la sécurité des modèles, à leur alignement et au suivi des risques émergents.

Les faits

Le laboratoire Seed AI de ByteDance met en place un département dédié, baptisé « Model-Alignment & Preparedness ». La création de cette unité a été rapportée le 13 octobre dans un courriel interne relayé par The Paper. Yan Lin dirigera le nouveau département et rendra compte à Wu Yonghui, responsable de Seed. Des membres de l’équipe Responsible AI ainsi que certains employés de l’équipe Chat doivent rejoindre la nouvelle structure. L’unité aura pour mission d’élaborer des spécifications sur le comportement des modèles, des évaluations de sécurité, des formations à l’alignement, des systèmes de protection et des dispositifs de surveillance des risques. Son périmètre inclura l’amélioration de la capacité des agents d’IA à fonctionner conformément aux intentions humaines et dans les limites autorisées. Il couvrira également les risques chimiques, biologiques, radiologiques et nucléaires associés aux modèles avancés. Seed prévoit par ailleurs d’élargir sa coopération publique avec des chercheurs externes et des évaluateurs indépendants.

Pourquoi c’est important

La création d’une structure distincte donne à la sécurité et à l’alignement une place organisationnelle dédiée au sein de Seed AI. Cette évolution intervient alors que le laboratoire développe des systèmes d’IA plus capables et plus autonomes. Le mandat annoncé associe évaluation, formation, protections et surveillance des risques. L’ouverture prévue à des chercheurs externes et à des évaluateurs indépendants élargit également le cadre de coopération autour de ces travaux.

Questions fréquentes

Quel département ByteDance crée-t-il chez Seed AI ?

Seed AI crée un département dédié baptisé « Model-Alignment & Preparedness ».

Qui dirigera cette nouvelle unité ?

Yan Lin dirigera l’unité et rendra compte à Wu Yonghui, responsable de Seed.

Quelles équipes rejoindront le département ?

Des membres de l’équipe Responsible AI et certains employés de l’équipe Chat doivent y être transférés.

Quels risques seront couverts ?

Le département couvrira notamment les risques chimiques, biologiques, radiologiques et nucléaires associés aux modèles avancés.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.