hubertguillaud.wordpress.com · 42 min
Les algorithmes permettent de traiter des données massives et sont particulièrement populaires pour prendre des décisions sur les personnes – et notamment les plus démunies -, parce qu’ils permettent justement de procéder à des traitements de masses tout en réduisant les coûts de ces traitements. Cela n’est pas sans conséquences. “Trop souvent, plus de technologie signifie d’abord moins de démocratie”, constate Robinson.
Trop souvent, l’implantation d’algorithmes est le décret d’application des lois. Le problème, c’est que trop souvent, la politique n’est pas assez précise, les ingénieurs comme les administrations avant eux, doivent en produire une interprétation qui a des conséquences directes sur ceux qui sont affectés par le calcul. Nos lois et politiques sont remplies d’ambiguïtés. Le risque auquel nous sommes confrontés c’est de laisser décider aux ingénieurs et systèmes le rôle de définir les frontières morales des systèmes techniques qu’ils mettent en place.
Robinson détaille 4 stratégies de gouvernance pour les systèmes algorithmiques :
- Élargir la participation des parties prenantes
- Renforcer la transparence
- Améliorer la prévision d’impact des systèmes
- Assurer l’audit en continu
Élargir la participation des parties prenantes
C’est ce qu’on appelle aussi, assez mal, les “comités consultatifs” communautaires ou éthiques (qu’on devrait plutôt appeler il me semble Comités de parties prenantes, parce qu’ils ne devraient pas être seulement consultatifs, mais bien impliqués dans les décisions… et parce que leurs fonctions consistent avant tout à rassembler autour de la table tous ceux qui sont concernés, les usagers comme les experts).
(…)
C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux.
Transparence
La transparence peut prendre bien des formes. La principale à l’œuvre dans les systèmes techniques consiste à divulguer le code source des systèmes. Une solution intéressante, mais insuffisante, notamment parce qu’il ferme la question à l’élite du code, et surtout que sans données correspondantes, il est difficile d’en faire quelque chose (et c’est encore plus vrai avec les systèmes d’IA, dont la non-reproductabilité est le premier écueil). La transparence doit s’accompagner d’une documentation et de descriptions plus large : des données utilisées comme des logiques de décisions suivies, des critères pris en compte et de leurs poids respectifs. Elle doit être “extensive”, plaide Robinson (pour ma part, j’ajouterai bien d’autres termes, notamment le terme “projective”, c’est-à-dire que cette transparence, cette explicabilité, doit permettre au gens de se projeter dans les explications). Dans le contexte de la transplantation, le système doit être décrit d’une manière compréhensible, les changements envisagés doivent être explicités, montrer ce qu’ils vont changer, et l’ensemble doit pouvoir être largement débattu, car le débat fait également partie de la transparence attendue.
Prévision
La prévision consiste à produire des déclarations d’impacts qui décrivent les bénéfices et risques des modifications envisagées, évaluées et chiffrées. La prévision consiste à montrer les effets concrets, les changements auxquels on souhaite procéder en en montrant clairement leurs impacts, leurs effets. L’enjeu est bien de prévoir les conséquences afin de pouvoir décider depuis les effets attendus. Dans le cas de la transplantation de rein, les études d’impact sur les modifications de l’algorithme d’allocation ont permis de voir, très concrètement, les changements attendus, de savoir qui allait être impacté. Lors d’une de ses modifications par exemple, la prévision – produite par un organisme dédié et indépendant, c’est important – montrait que les patients âgés recevraient bien moins de transplantation… ce qui a conduit à rejeter la proposition.
Audit
L’audit consiste à surveiller le système en usage et à produire une documentation solide sur son fonctionnement. Les audits permettent souvent de montrer les améliorations ou détériorations des systèmes. Sous prétextes de vie privée ou de propriété, l’audit est encore bien trop rarement pratiqué. Bien souvent, pourtant, l’audit permet d’accomplir certaines mesures, comme par exemple de mesurer la performances des systèmes d’attribution de crédits sur différents groupes démographiques. Dans le domaine de la transplantation rénale américaine, le Scientific Registry of Transplant Recipients (SRTR) – l’organisme indépendant qui publie un rapport annuel détaillé pour mesurer la performance du système pour les patients selon des caractéristiques comme l’âge, le genre ou la race – permet de voir les évolutions dans le temps de ces caractéristiques, et de montrer si le système s’améliore ou se dégrade.
Ces bonnes pratiques ne se suffisent pas, (…) La bonne question à se poser parfois consiste aussi à refuser la construction d’un système… ou de poser la question des moyens. Trop souvent, les systèmes algorithmiques visent d’abord et avant tout à gérer la pénurie quand l’enjeu devrait d’abord consister à y remédier. Trop souvent, leurs déploiements visent et produisent de la diminution de personnel et donc amoindrit l’interaction humaine.
Dans le champ du social notamment, les travaux d’Eubanks ont montré que la mise en place de systèmes numériques produisent toujours une diminution des droits à l’encontre des plus démunis.
Un autre problème va donner lieu à de longues discussions : à partir de quand prendre en compte une demande de transplantation ? La règle a longtemps été à l’inscription d’un patient sur la liste d’attente… Or, cette inscription sur la liste d’attente n’est pas la même pour tous les patients : le niveau social, la couleur de peau et l’accès aux soins de santé sont là encore producteurs d’inégalités. En fait, le souhait de ne vouloir prendre en compte que des critères dits médicaux pour l’attribution d’un greffon, fait l’impasse sur ce qui ne relève pas du médical dans le médical et notamment ses pesanteurs sociales.
A partir de 2003, le débat s’enflamme sur la question des listes d’attentes : là encore, la discrimination est à l’oeuvre, les afro-américains n’étant pas placé sur les listes d’attentes aussi rapidement ou dans les mêmes proportions que les blancs. Les patients noirs attendent plus longtemps avant d’être inscrits en liste d’attente, souvent après plusieurs années de dialyse, notamment parce que l’accès aux soins aux Etats-unis reste fortement inégalitaire. Pour corriger cette disparité, en 2002, on propose non plus de partir du moment où un patient est ajouté à une liste d’attente, mais de partir du moment où un patient commence une dialyse. Pourtant, à cette époque, la question ne fait pas suffisamment consensus pour être adoptée.
Le suivi longitudinal de l’accès aux greffes montre qu’entre 2006 et 2017, l’équité raciale a nettement progressé, notamment du fait de la prise en compte de la date de mise sous dialyse pour tous. Les différences entre les candidats à la greffe, selon la race, se resserrent.
De même, plutôt que d’évaluer le risque de récidive, la question pourrait être posée bien autrement : plutôt que de tenter de trouver quel suspect risque de récidiver, la question pourrait être : quels services garantiront le mieux que cette personne se présente au tribunal ou ne récidive pas ? (…) Les logiciels de calcul du risque de récidive, comme Compass, reposent sur l’idée que le risque serait inhérent à des individus, quand d’autres systèmes pourraient imaginer le risque comme une propriété des lieux ou des situations, et les prédire à la place. (pour InternetActu.net, j’étais revenu sur les propos de Marianne Bellotti, qui militait pour des IA qui complexifient plutôt qu’elles ne simplifient le monde, qui, sur la question du risque de récidive, évoquait le système ESAS, un logiciel qui donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, mais, là où Compass charge l’individu, ESAS relativise et aide le juge à relativiser la peine, en l’aidant à comparer sa sentence à celles que d’autres juges avant lui ont prononcé).
Pour Robinson, les algorithmes sont des productions de compromis, d’autant plus efficaces qu’ils peuvent être modifiés (et ne cessent de l’être) facilement. Leur adaptabilité même nous invite à tisser un lien, trop inexistant, entre la société et la technique. Puisque les modifier n’est pas un problème, alors nous devrions pouvoir en discuter en permanence et avoir une voix pour les faire évoluer. Ils sont tout aussi bordéliques que la réalité. L’expertise technique n’est jamais et ne devrait jamais être prise comme une autorité morale. La participation ne devrait pas être vue comme quelque chose de lourd et de pesant, mais bien comme le seul levier pour améliorer la justice du monde. Robinson nous invite à imaginer un monde où les plus importants systèmes techniques refléteraient bien des voix, même la nôtre. Pour l’instant, ce que l’on constate partout, c’est que tout est fait pour ne pas les écouter.