Lien vers l'article original : AI Testing Mostly Uses English Right Now. That's Risky
Time, 24 juillet 2024
Les risques de tester l’IA principalement en anglais
Hamza Chaudhry
Au cours des douze derniers mois, les gouvernements, ainsi que divers acteurs dans les mondes académique et industriel, ont beaucoup investi dans des études visant à évaluer les dommages causés par l’intelligence artificielle avancée. Il semble, cependant, que l’on néglige sans cesse un élément crucial : à l’heure actuelle, les modèles d’IA et leurs principaux tests de performance restent cantonnés à l’anglais.
Nous savons que les technologies avancées basées sur l’IA pourraient être utilisées dans de nombreuses langues pour causer du préjudice mais, en se basant surtout sur ce qui est produit en anglais, il est possible que notre réponse ne reste que fragmentaire. Aussi, on ignorerait ces gens qui y sont le plus vulnérables.
Après le lancement de ChatGPT en novembre 2022, les développeurs en IA ont fait part de leur surprise quant aux performances du modèle : il pouvait « parler » au moins 80 langues, pas juste l’anglais. Au cours de la dernière année, les analystes ont noté que GPT-4 surpassait Google Translate dans des dizaines de langues. Pourtant, cette focalisation sur l’anglais en ce qui concerne les tests signifie peut-être que ces évaluations négligent certaines capacités des modèles IA qui seraient plus pertinentes pour d’autres langues.
Tandis que la moitié du monde s’apprête à voter cette année, les experts ont fait part de leurs inquiétudes vis-à-vis des systèmes basés sur l’IA car ils pourraient être des « super-diffuseurs de fausses informations » et aussi menacer l’intégrité des élections. Ces dangers peuvent aller du « deepfake et du clonage vocal » jusqu’à la « manipulation d’identité et la production de fausses informations par l’IA ». Une situation qui ne peut visiblement qu’empirer avec le lancement récent, par les géants de la tech OpenAI et Google, des IA « multimodales » comme GPT-4o et Gemini Live, à savoir des systèmes qui peuvent parler, voir et entendre tout ce que vous faites. Malgré cela, une grande partie du discours quant aux politiques à adopter, y compris lors du sommet historique sur la sécurité de l’IA de Séoul en mai dernier ou encore dans l’annonce de la feuille de route tant attendue du Sénat américain, fait l’impasse sur les langues autres que l’anglais.
Ce n’est pas là simplement le problème d’une préférence pour certaines langues. Aux États-Unis, les recherches ont régulièrement démontré que les communautés dont l’anglais est la seconde langue, en l’occurrence des communautés majoritairement hispanophones, sont plus vulnérables à la désinformation que celles dont l’anglais est la langue maternelle. Des résultats semblables ont été obtenus en ce qui concerne les communautés de migrants en général, à la fois aux États-Unis et en Europe où les réfugiés ont été les cibles, et les sujets, de ces campagnes de désinformation. Pire encore, les gardes fous en termes de modération de contenu sur les réseaux sociaux, un espace de prolifération pour les faussetés générées par IA, sont largement biaisés en faveur de l’anglais. Alors que 90 % des utilisateurs de Facebook se trouvent en dehors des États-Unis et du Canada, les modérateurs ne passent que 13 % de leur temps de travail à se pencher sur la désinformation au-delà des frontières américaines. L’échec de ces plateformes quant à la modération des discours de haine au Myanmar, en Éthiopie et d’autres pays en conflit et plongés dans l’instabilité, montre d’autant plus le fossé linguistique existant dans ce domaine.
Malgré le travail des législateurs, des dirigeants de sociétés et des experts pour lutter contre la désinformation générée par IA, leurs efforts jettent un voile sur ceux qui risquent plus d’être pris pour cibles, qui sont plus vulnérables face à ces campagnes mensongères, y compris les immigrés et les habitants du Sud global.
Cette disparité est d’autant plus inquiétante quand on sait que les systèmes basés sur l’IA ont la capacité de provoquer des pertes humaines massives, par exemple, s’ils sont utilisés pour développer et déclencher une arme biologique. En 2023, les experts avaient tiré la sonnette d’alarme quant au fait que les grands modèles de langage (les LLM) pourraient servir à synthétiser et répandre des pathogènes susceptibles de causer des pandémies. Depuis, de nombreuses études ont été menées sur ce problème par des acteurs à la fois internes et externes à l’industrie. Un constat qui ressort souvent de ces rapports est le fait que la génération actuelle d’IA est aussi performante, et non meilleure, que les moteurs de recherche comme Google pour trouver des acteurs malveillants produisant des informations douteuses pouvant servir à produire des armes biologiques. C’est une étude menée par OpenAI, chef de file dans l’industrie de l’IA, qui est arrivée à cette conclusion, suivie d’un rapport de la RAND Corporation qui a obtenu des résultats semblables.
Le plus surprenant dans ces études est l’absence quasi-totale de tests menés dans d’autres langues que l’anglais. C’est d’autant plus étonnant que, dans la majorité des cas, les pays occidentaux luttent contre des acteurs non étatiques dans des régions où l’on ne parle que rarement l’anglais. La contestation ici n’est pas que le pachto, l’arabe, le russe ou d’autres langues pourraient produire des résultats plus dangereux qu’en anglais, mais plutôt qu’utiliser ces langues donnerait plus d‘efficacité à des acteurs non étatiques qui sont plus à l’aise dans d’autres langues que l’anglais.
Les LLM sont souvent des meilleurs traducteurs que les outils traditionnels. Il est bien plus facile pour un terroriste de simplement saisir une requête dans la langue de leur choix et de recevoir directement une réponse dans cette même langue. Le scénario contrefactuel, en revanche, serait de compter sur des moteurs de recherche peu fiables dans leur propre langue, d’utiliser Google pour leurs requêtes (ce qui ne fournit souvent que les résultats publiés dans leur langue), ou de passer par une traduction et une re-traduction fastidieuses afin d’obtenir des informations publiées en anglais et tout en risquant une perte de sens au cours du processus. Par conséquent, les acteurs non étatiques deviennent, à l’aide de ces systèmes, aussi efficaces que s’ils parlaient couramment anglais. Dans les mois à venir, nous sauront à quel point cela les rend plus dangereux.
L’idée qu’une IA pourrait, dans n’importe quelle langue, produire des résultats d’une qualité semblable à si elle le faisait en anglais ouvre la porte à une multitude d’applications. L’exemple le plus parlant est sans doute celui du « hameçonnage ciblé », qui consiste à manipuler des personnes précises afin de leur soutirer de l’information ou de l’argent. Depuis la popularisation de l’escroquerie du « prince nigérian », les experts ont établi une règle de base pour se protéger : si le message est écrit dans un anglais approximatif avec des fautes de grammaire, c’est probablement une arnaque. Désormais, ce type de messages est à la portée de gens qui n’ont aucune connaissance de l’anglais, ils n’ont qu’à écrire un prompt dans leur langue maternelle et ils recevront la réponse dans un anglais fluide. De plus, cela ne prend pas en compte le fait que ces IA pourraient améliorer les escroqueries menées entièrement dans ces langues étrangères.
Il est certain que la « question de la langue » en IA est d’importance capitale et qu’il reste beaucoup de travail à faire. Par exemple, les institutions gouvernementales et académiques peuvent dresser de nouvelles directives et de nouvelles exigences en termes d’évaluation des modèles IA et l’on peut pousser les sociétés à établir de nouveaux critères de test qui pourraient être moins exploitables dans des langues différentes de l’anglais. Surtout, il est essentiel d’assurer que les immigrés et les habitants du Sud global soient mieux intégrés dans ces efforts. Les coalitions qui cherchent à protéger le monde des risques de l’IA doivent commencer à agir en conséquences.
Traduit par Adem Benchemam, stagiaire à l'OEP