Justine ReynaudPar Ikram Chraibi Kaadoud
Le modèle implicite du superviseur humain dans la plupart des textes réglementaires est celui d’un professionnel compétent et attentif qui, face à des outputs précis et lisibles, formule des jugements éclairés. C’est une hypothèse plausible dans des environnements stables, à faibles enjeux et bien maîtrisés, mais une hypothèse fragile dans des contextes à forts enjeux, soumis à la pression temporelle, et techniquement opaques – précisément les contextes dans lesquels les systèmes d’IA sont de plus en plus déployés.
Autrement dit, il ne suffit pas d'être expert d'un domiaine et d'avoir une sortie claire du système pour que les choses fonctionnent bien. De plus, l'humain et la machine n'utilisent toujours pas les mêmes processus pour effectuer une même tâche (l'autrice donne l'exemple de l'analyse de sentiments: la machine s'appuie sur des mots tandis que l'humain a un traitement plus holistique)
Il est donc important d'également faire preuve de métacognition. Or, actuellement, les règlementations parlent de compétences, sans identifier ce que cela couvrirait. L'autrice plaide en faveur de l'élaboration d'une définition claire des compétences spécifiques nécessaires à la métacognition. Elle considère que l'absence de cette compétence chez les personnes supervisant des systèmes d'IA est dangereuse dans des domaines critiques.