Responsabilité algorithmique pour le secteur public: apprendre de la première vague de mise en œuvre des politiques

Les gouvernements se tournent de plus en plus vers les algorithmes pour automatiser la prise de décision pour les services publics. ALes algorithmes peuvent, par exemple, être utilisés pour prédire les futurs criminels, prendre des décisions sur les droits à l'aide sociale, détecter la fraude au chômage, décider où envoyer la policeou aider à la planification urbaine*. Pourtant, de plus en plus de preuves suggèrent que ces systèmes peuvent causer des dommages et manquent souvent de transparence dans leur mise en œuvre, y compris l'opacité autour des décisions sur le pour les utiliser. De nombreux systèmes algorithmiques manquent de responsabilité politique car ils reproduisent, amplifient et naturalisent la discrimination contre les personnes qui ont subi le plus gros de l'oppression et de la discrimination historiques. Ils facilitent également de nouvelles formes d'intrusion dans la vie privée, produisant des déterminations sur les personnes qui ont des échos durables tout au long de la vie des gens. Ces déterminations peuvent être difficiles à contester et sont souvent illisibles pour ceux dont elles façonnent la vie. Cela a stimulé opposition passionnée à travers les continents des chercheurs, des groupes de la société civile, des travailleurs de la technologie organisés et des communautés directement touchées par ces systèmes.

Reconnaissant cette crise, les décideurs se sont tournés vers les outils réglementaires et politiques, dans l'espoir de garantir 'responsabilité algorithmique'à travers les pays et les contextes. Avec de nombreux défis et questions ouvertes découlant de leurs premières étapes de mise en œuvre, le Institut AI Now, Institut Ada Lovelace, et le Open Government Partnership (OGP) s'associent pour lancer la première étude mondiale évaluant cette première vague de politique de responsabilité algorithmique.

Bien qu'il y ait eu des efforts pour évaluer la responsabilité algorithmique au sein d'institutions ou de contextes particuliers (p. Rapport parallèle au groupe de travail sur le système de décision automatisé de New Yorket Réseau informel des `` algorithmes ouverts '' de l'OGP), il y a eu peu d'études systématiques et intergouvernementales sur la mise en œuvre de ces politiques. Ce projet vise à comprendre les enjeux et les réussites des politiques de redevabilité algorithmique en se focalisant sur les expériences des acteurs et institutions directement responsables de leur mise en œuvre sur le terrain.

Combinant le travail de nos organisations respectives sur le terrain, ce projet fournira des conseils pratiques aux décideurs politiques et aux bureaucrates de première ligne à la tête de la dernière vague de politique de responsabilisation des algorithmes.

À travers ce projet, nous visons à:

1. Passez en revue les politiques existantes de responsabilité algorithmique dans le secteur public pour comprendre leurs défis, leurs réussites et la manière dont elles ont été mises en œuvre. Ceux-ci inclus Évaluations d'impact algorithmique, Audits algorithmiques, Registres d'algorithme / IA, et d'autres mesures visant à accroître transparenceSelon les articles de gouvernance de l'OGP, la transparence se produit lorsque "les informations détenues par le gouvernement (y compris sur les activités et les décisions) sont ouvertes, complètes, opportunes, librement accessibles au public... Plus, explicabilité et contrôle public.
2. Fournir des conseils pratiques aux décideurs et aux bureaucrates pour concevoir et mettre en œuvre des politiques efficaces de responsabilité algorithmique.
3. Identifier les questions critiques et les orientations pour la recherche future sur la responsabilité algorithmique qui peuvent informer et relever les défis émergeant de contextes où les politiques sont déjà à l'essai.

En tant que résultat final, à la fin de l'été 2021, nous publierons un rapport complet qui passe en revue les cadres de politique de responsabilité algorithmique existants et fournit des conseils pratiques aux décideurs, aux bureaucrates et aux agences responsables de leur mise en œuvre. Sur la base de ces informations, nous publierons également une recherche distincte décrivant les orientations futures de la communauté de recherche animée dans ce domaine.

Vous avez des questions ou travaillez-vous sur la conception algorithmique de la responsabilité, législationLa création et l'adoption de lois sont l'un des moyens les plus efficaces de garantir que les réformes du gouvernement ouvert ont des effets durables sur les pratiques gouvernementales. Spécifications techniques : Acte de création ou de r..., ou recherche ? Nous aimerions recevoir de vos nouvelles: Veuillez contacter Divij Joshi, chercheur principal pour ce projet, à divij [dot] joshi [at] gmail [dot] com.

Équipe:

Chefs de projet: Jenny Brenan est chercheur principal à l'Institut Ada Lovelace, Tonu Basu est le directeur adjoint des domaines politiques thématiques au Open Government Partnership, Amba Kak est le directeur des politiques et programmes mondiaux à l'Institut AI Now de l'Université de New York.

Chercheur principal: Divij Joshi est un avocat et chercheur intéressé par les implications sociales, politiques et réglementaires des technologies émergentes et leurs intersections avec les valeurs humaines.

À propos des partenaires:

Pour le Institut AI Now, la loi et les mécanismes politiques sont une voie clé pour garantir que les systèmes algorithmiques sont responsables devant les communautés et les contextes qu'ils sont censés servir. Cette recherche s'appuie sur un ensemble de travaux plus large, y compris notre cadre pour Évaluations d'impact algorithmique (AIA) et par Boîte à outils de responsabilité algorithmique. Dans l'esprit d'un engagement proactif dans le processus politique, aux côtés d'une large coalition de la société civile, nous avons également publié le Rapport parallèle au groupe de travail sur les systèmes de décision automatisés (ADS) de la ville de New York détailler les mécanismes de responsabilisation pour divers secteurs de l'administration municipale.

Pour le Institut Ada Lovelace, cette recherche fait partie de leur travail plus large sur la responsabilité des algorithmes. Il s'appuie sur des travaux existants sur outils d'évaluation des systèmes algorithmiques, mécanismes pour une transparence significative sur l'utilisation des algorithmes dans le secteur publicet une recherche active avec les autorités locales britanniques et les organismes gouvernementaux utilisant l'apprentissage automatique.

Pour le Open Government Partnership, un partenariat de 78 pays et 76 juridictions locales, faire progresser la transparence et la responsabilité dans les outils de politique numérique est un élément essentiel du programme de gouvernement ouvert d'un pays. Les membres de l'OGP travaillent avec la société civile et d'autres acteurs clés de leur pays pour co-créer et mettre en œuvre des plans d'action de l'OGP avec des engagements politiques concrets, qui sont ensuite contrôlés de manière indépendante pour leur ambition et leur achèvement par le biais du mécanisme de rapport indépendant de l'OGP. Alors que plusieurs pays OGP mettent en œuvre leur programme de transformation numérique par le biais de leur engagement dans l'OGP, un nombre croissant de membres de l'OGP utilisent également leurs plans d'action OGP pour mettre en œuvre des politiques qui régissent l'utilisation du secteur public technologies numériques. Parmi ceux-ci, la responsabilité des systèmes de prise de décision automatisés et des algorithmes a suscité un intérêt croissant. OGP convoque une réseau informel des gouvernements de mise en œuvre, en mobilisant une coalition transnationale de ceux qui travaillent sur la responsabilité algorithmique. Compte tenu de l'évolution rapide de la question, les membres de l'OGP bénéficieraient d'un effort plus complet qui documente ce qui fonctionne (et ne fonctionne pas) sur la question, dans différents contextes nationaux.

* Nous utilisons des «algorithmes» pour décrire un ensemble de technologies corrélées employées pour générer des connaissances ou des décisions par ordinateur, opérant sur des ensembles de données particuliers et limités par des logiques et des procédures spécifiques. (cf. Tarleton Gillespie, «Algorithme. » In Digital Keywords: A Vocabulary of Information Society and Culture, Ben Peters ed.)