Contexte : Qu’est-ce qu’une boîte noire systémique dans les systèmes d’intelligence artificielle (IA) ?

Dans le contexte des systèmes d'IA, un boîte noire L'expression “ boîte noire ” désigne un dispositif, un système ou un objet technique appréhendé uniquement en termes d'entrées et de sorties, sans connaissance approfondie de son fonctionnement interne. Son implémentation est opaque. Il s'agit d'un dispositif, d'un système ou d'un objet qui a perdu la trace des entrées ayant influencé sa structure de décision pour produire des sorties – ou plus précisément, qui n'en a jamais gardé la trace. Cela fait partie de ce que l'on appelle le “ problème de la boîte noire ”. stimulant à de nombreux niveaux, par exemple :

• difficulté à corriger les systèmes d'IA lorsque des résultats problématiques sont produits.
• “questions de ” confiance » dans la robustesse du système face à une variété de contextes/situations ; et
• inexactitudes, manque d'expériences/de perspectives, relations de pouvoir inégales ancrées et caractéristiques discriminatoires dans les reflets/amplifications des mondes de données utilisés pour les former et les construire, et qui servent ensuite à reproduire ces préjudices et ces inégalités dans les contextes futurs et les processus décisionnels de l'IA.

Plusieurs structures de valeurs et systèmes de croyances sous-tendent et imprègnent le développement de l'IA, où les boîtes noires peuvent presque être considérées comme une forme de norme sociale : 

• La conviction que les boîtes noires sont un mal nécessaire dans le développement de modèles d'IA suffisamment précis est étayée par un raisonnement dichotomique qui assimile une complexité accrue du modèle d'IA à la précision, par opposition à des modèles d'IA transparents plus “ simples et faciles à interpréter ” considérés comme moins précis.
• Les hypothèses liées au modèle transforment les individus en récepteurs passifs des résultats algorithmiques conçus “ pour eux ”, dans un souci de simplicité d'utilisation. L'utilisateur fournit des données pour obtenir un résultat instantané, sans comprendre le fonctionnement interne de ce système. Ce mécanisme constitue également un puissant outil de contrôle de l'accès à l'information, influençant les pratiques d'inclusion et d'exclusion.

Des réponses ont été apportées aux préoccupations liées au problème de la boîte noire, certaines d'ordre réglementaire, mais principalement sous la forme d'IA explicable (XAI) ou de pratiques d'IA transparentes. La XAI peut se traduire par une documentation accrue des processus, mais elle appréhende plus souvent le problème de la boîte noire comme un problème technique, susceptible d'être résolu par une meilleure solution technique. Cependant, cela ne permet pas toujours de répondre aux questions concernant les personnes incluses ou exclues de ces processus, ni aux enjeux d'interprétabilité, d'accès ou de prise de décision fondée sur les données/justice distributive.