FairStress évalue les biais cachés des modèles d’IA dans la prise

Résumé

Ai2 présente FairStress, un benchmark qui mesure la résistance des modèles d’IA aux arguments biaisés dans les décisions sensibles.

Les faits

Ai2 présente FairStress, un benchmark conçu pour mesurer l’équité démographique des grands modèles de langage au-delà de la décision finale. L’outil évalue notamment des situations susceptibles d’influencer l’accès à l’emploi, au crédit, aux soins, à l’éducation ou au logement. Les benchmarks classiques comparent souvent la décision d’un modèle dans deux scénarios identiques, où seule l’identité démographique des candidats change. FairStress cherche aussi à détecter les asymétries qui apparaissent lorsqu’un modèle est confronté à un argument persuasif, comme la préférence supposée d’une direction ou l’idée qu’un groupe aurait été historiquement négligé. L’évaluation porte sur des modèles ouverts et de pointe, notamment Olmo, Llama, Qwen, Gemma, Claude et la famille GPT, à plusieurs étapes de leur entraînement. Les mêmes arguments, qualifiés de « préfixes adversariaux », peuvent rendre les modèles plus ou moins susceptibles de modifier leur décision selon le groupe démographique favorisé par l’argument. FairStress examine également les explications produites par les modèles et leurs schémas d’activation internes dans les domaines du recrutement, du crédit, de la santé, de l’éducation et du logement. Le benchmark est disponible au téléchargement et doit être intégré à Olmo-eval, l’outil ouvert d’Ai2 consacré à l’exécution et à la comparaison d’évaluations de modèles.

Pourquoi c’est important

L’approche déplace l’analyse de l’équité : une réponse identique dans deux scénarios ne suffit pas nécessairement à établir qu’un modèle applique les mêmes critères. Un système peut parvenir à la même décision initiale tout en se montrant plus sensible aux arguments adversariaux lorsque ceux-ci favorisent un groupe donné. FairStress définit ainsi une équité symétrique : lorsque les éléments disponibles justifient une décision, le modèle devrait appliquer les mêmes critères et résister de manière équivalente à une remise en cause, quel que soit le groupe bénéficiaire. Cette mesure vise les systèmes utilisés dans des contextes où leurs sorties peuvent affecter les possibilités, les ressources ou la prise en charge des personnes.

Questions fréquentes

Qu’est-ce que FairStress ?

FairStress est un benchmark qui mesure l’équité démographique des grands modèles de langage au-delà de leur décision finale. [1]

Que sont les préfixes adversariaux ?

Ce sont des arguments persuasifs susceptibles d’amener un modèle à modifier sa décision, avec une sensibilité variable selon le groupe démographique favorisé. [1]

Quels modèles sont évalués ?

L’évaluation inclut notamment Olmo, Llama, Qwen, Gemma, Claude et la famille GPT. [1]

Quels domaines sont concernés ?

FairStress étudie notamment le recrutement, le crédit, la santé, l’éducation et le logement. [1]

Où FairStress est-il intégré ?

Ai2 indique construire son intégration dans Olmo-eval, son outil ouvert de comparaison des évaluations de modèles. [1]

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.