Examen de l'utilisation des algorithmes par le gouvernement (NZ0019)

• Algorithmes ouverts: expériences de France, des Pays-Bas et de Nouvelle-Zélande (Juin 1, 2020)

• Réflexions sur la mise en œuvre de la politique algorithmique du secteur public (Décembre 1, 2020)

Engagement 8: Examen de l'utilisation des algorithmes par le gouvernement
Objectif:
Augmenter la transparence et la responsabilité de la façon dont le gouvernement utilise
algorithmes.
Ambition:
Pour que les Néo-Zélandais soient informés et aient confiance en la manière dont la
gouvernement utilise des algorithmes - processus de prise de décision automatique utilisés par
programmes informatiques - pour identifier les modèles dans les données.
Status Quo:
Les avancées dans les environnements numériques et de données changent notre vie,
travailler et interagir. Ces environnements en mutation présentent des avantages considérables.
améliorer la vie des citoyens, mais pose également des défis à la société.
s'assurer que les données sont utilisées correctement.
Des outils tels que la modélisation de données et les algorithmes ont un pouvoir considérable
améliorer des vies. Bien que ces outils soient de plus en plus utilisés par le gouvernement
agences pour soutenir la prise de décision, il n’existe pas d’accord convenu entre les gouvernements
approche des algorithmes ou des décisions qu’ils prennent en charge.
Le Data Steward en chef (directeur de Stats NZ) a récemment publié
les principes pour une utilisation sûre et efficace des données et des analyses avec
Commissaire à la protection de la vie privée. À l'aide de ces informations, le responsable des données en chef entreprend
un examen pangouvernemental avec le Chief Digital Officer (Chief Executive Officer)
du ministère de l'intérieur) pour accroître la transparence et la
la responsabilité de la façon dont le gouvernement utilise les algorithmes - pour améliorer la vie
des Néo-Zélandais. L’accent sera mis initialement sur des algorithmes opérationnels qui
avoir pour résultat ou d’informer des décisions ayant un impact direct sur des individus ou des groupes.
Disposer de conseils, de contrôles et de transparence est essentiel pour les nouveaux
Les Néo-Zélandais à comprendre comment leurs données personnelles sont utilisées et à
la confiance et l'intégrité des données utilisées par le gouvernement
tient en leur nom. Agence chef de file: Stats NZ (en collaboration avec le ministère de l'Intérieur
(Responsable numérique du gouvernement))
Chronologie: Octobre 2018 - Juin 2020
Engagement 8: Examen de l'utilisation des algorithmes par le gouvernement
Transparence des valeurs OGP,
Responsabilité
Jalons vérifiables et mesurables à remplir
l'engagement
Date de début Date de fin
Effectuer un examen initial des systèmes opérationnels existants
algorithmes et leur utilisation dans une gamme de
agences gouvernementales7 8
1 June 2018 31 October
2018
Envisager les prochaines étapes pour l’assurance de l’ensemble du gouvernement
liés à l'utilisation d'algorithmes en collaboration
avec des représentants de la société civile
31 Octobre
2018
28 Février
2019
Mettre à jour cet engagement (et ses jalons) pour
refléter les progrès réalisés dans les étapes précédentes
1 mars de l'année précédente
2019
31 mars de l'année précédente
2019

8. Examen de l'utilisation par le gouvernement des algorithmes

Objectif: Accroître la transparence et la responsabilité de la façon dont le gouvernement utilise les algorithmes.

Jalons:

1. «Achever un premier examen des algorithmes opérationnels existants et de leur utilisation dans un éventail d'organismes gouvernementaux»;
2. «Envisager les prochaines étapes de l'assurance pangouvernementale liée à l'utilisation d'algorithmes en collaboration avec les représentants de la société civile»;
3. «Mettre à jour cet engagement (et ses jalons) pour refléter les progrès réalisés dans les jalons précédents».

Date de début: Juin 2018

Date de fin: June 2020

Contexte et objectifs

L'objectif et l'ambition de l'engagement sont d'accroître la transparence et la responsabilité concernant l'utilisation des algorithmes par le gouvernement en s'assurant que le public est informé et a confiance en leur utilisation. Il note qu'il n'y a pas d'approche inter-gouvernementale concertée des algorithmes ou des décisions qu'ils soutiennent. Cela soutient les opinions exprimées par les auteurs et les participants lors de l'élaboration du plan d'action selon lesquelles l'utilisation par le gouvernement d'algorithmes devait être plus transparente et responsable, l'un d'entre eux déclarant qu '«il est impuissant pour les citoyens d'être soumis à des processus numériques qui sont opaques et peuvent contenir des biais et des hypothèses cachés». Les commentaires renforcent l'importance du sujet et le désir mutuel d'accroître la transparence et la responsabilité.

Il s'agit d'un travail que Stats NZ et le Chief Digital Officer du gouvernement ont commencé en mai 2018 après avoir conseillé aux ministres que de nombreux organismes gouvernementaux utilisent déjà la modélisation des données et des algorithmes pour aider à la prise de décision; il est nécessaire de s'assurer que les algorithmes sont utilisés de manière appropriée, éthique et sans biais; et il n'y a pas d'enregistrement centralisé de ces outils et des décisions qu'ils soutiennent. Comme ce travail est un nouveau domaine, sa portée initiale est limitée et doit être élargie et spécifiée sur la base de l'examen initial. Il répond à la valeur de la participation civique de l'OGP, car l'engagement collaborera avec les représentants de la société civile pour envisager les prochaines étapes concernant l'utilisation des algorithmes.

Le travail consiste à effectuer un examen initial, travailler avec les représentants de la société civile pour examiner les prochaines étapes de l'assurance pangouvernementale de l'utilisation des algorithmes et des actions ultérieures découlant des progrès des étapes 1 et 2. En suivant les conseils de Stats NZ, ils feront rapport publiquement sur les étapes 2 et 3 et que Le jalon 3 est un lieu d'attente pour l'ajout d'activités ultérieures jusqu'en juin 2020, le chercheur de l'IRM conclut que les jalons sont suffisamment précis pour être vérifiés.

Des experts externes en algorithmes ont informé le chercheur de l'IRM que l'approche de l'examen initial permettant à 14 agences d'auto-identifier leurs algorithmes était minime et manquait de profondeur. Un autre a noté l'absence d'une liste complète, l'omission de certains algorithmes importants, la nécessité d'un débat public plus approfondi sur l'éthique et a demandé un calendrier précis pour les rapports aux ministres. Dans la perspective des étapes 2 et 3, ces parties prenantes s'attendent à ce que la politique gouvernementale exige que tous les algorithmes utilisés par le gouvernement soient connus, catalogués dans un registre et transparents; le travail effectué pour accroître la capacité des fonctionnaires à comprendre ce que font les algorithmes et à développer des compétences pour les mettre à jour; et que le gouvernement a une première politique ouverte avec des directives pour les algorithmes ouverts à travers le gouvernement. D'autres ont demandé l'assurance que ces travaux permettraient de gagner la confiance recherchée par le gouvernement et étaient ravis de pouvoir s'appuyer sur les principes pour une utilisation sûre et efficace des données et des analyses, publiés par le commissaire à la protection de la vie privée et le responsable en chef des données du gouvernement en mai 2018. Ils ont appuyé un processus vérifiable évaluant les risques et d'autres facteurs liés à la sécurité. Un autre a noté que le Data Futures Partnership, qui a donné des conseils dans ce domaine, ne fonctionne plus car il a été établi pour une durée spécifique et a estimé que cet engagement tel qu'il était rédigé n'engendrait pas la confiance. D'autres ont noté que l'intelligence artificielle (IA) tourne souvent autour de l'utilisation d'algorithmes et souhaitent savoir si cette revue couvre l'IA. L'engagement se concentre cependant sur l'augmentation de la transparence et de la responsabilité des algorithmes, et le chercheur de l'IRM a été informé le 12 août 2019 qu '«il n'y a actuellement aucune capacité d'étendre la portée de ces travaux pour couvrir l'IA». Tous ont soutenu un engagement public plus large.

S'il est pleinement mis en œuvre tel que conçu, l'engagement aurait un impact potentiel mineur, car les jalons tels qu'énoncés ne peuvent pas atteindre la déclaration d'ambition ni produire les résultats convenus par les ministres en mai 2018. La réforme transformatrice nécessiterait un programme pour former les fonctionnaires à comprendre ce que font les algorithmes et comment pour les mettre à jour, ainsi que l'engagement du public au sens large et le travail détaillé de politique et de mise en œuvre intergouvernementales identifiés par les parties prenantes. L'étape 3 du plan d'action permet à Stats NZ d'envisager les prochaines étapes en consultation avec les représentants de la société civile et d'établir de nouvelles étapes.

Prochaines étapes

Si cet engagement est reporté au prochain plan d'action ou s'il y a des améliorations dans la mise en œuvre de cet engagement, le chercheur IRM recommande de travailler pour:

• documenter tous les algorithmes utilisés par le gouvernement et rendre le registre accessible au public;
• dialoguer largement avec le public au cours de ces travaux; et
• élaborer et mettre en œuvre des politiques, des lignes directrices et une formation nécessitant des algorithmes ouverts à l'échelle du gouvernement.

8. Examen de l'utilisation par le gouvernement des algorithmes

Substantiel:

But de l'engagement

Cet engagement visait à accroître la transparence et la responsabilité concernant l'utilisation des algorithmes par le gouvernement en veillant à ce que le public soit informé et ait confiance en leur utilisation. Dans un premier temps, il examinerait les algorithmes opérationnels existants et leur utilisation dans un éventail d'agences gouvernementales, envisagerait les prochaines étapes de l'assurance pangouvernementale en collaboration avec des représentants de la société civile, puis mettrait à jour l'engagement pour refléter les progrès réalisés.

At-il ouvert le gouvernement?

Marginal

Bien que cet engagement soit complet, le changement dans les pratiques gouvernementales est marginal à ce stade, l'accent étant mis sur l'obtention de l'adhésion des agences. En 2018 et 2019, Stats NZ a recueilli les détails de l'algorithme auprès des agences, a publié le premier Rapport d'évaluation algorithmique, a consulté les agences de services publics sur leur réponse aux recommandations du rapport et a publié un projet de charte d'algorithme pour une phase de consultation publique de deux mois. En février 2020, Stats NZ a publié un résumé des soumissions publiques, et en juillet 2020, le ministre des Statistiques a publié la Charte volontaire des algorithmes pour Aotearoa Nouvelle-Zélande (la Charte) avec 21 agences gouvernementales signataires. La Charte, publiée en anglais et en reo maori, établit des normes pour une utilisation sûre et éthique des algorithmes par les organismes du secteur public et des conseils pour atteindre les objectifs de transparence et de responsabilité.

Au 28 octobre 2021, le nombre de signataires s'étant engagés à appliquer les principes de la Charte dans leur travail avait considérablement augmenté pour atteindre 27, et davantage d'agences ont exprimé leur intérêt à signer. La première révision de la Charte devait être achevée en novembre 2021 et son rapport sera publié. Ses termes de référence stipulent que la Charte est un accord volontaire et autorégulateur qui n'est pas juridiquement contraignant et n'a pas de mécanismes d'application ou de processus formel pour surveiller la conformité des agences signataires. L'objectif de l'examen est de tirer des enseignements de la première année de mise en œuvre de la Charte, y compris les expériences des agences, les premières indications d'impacts positifs ou de conséquences imprévues, les besoins de soutien des signataires, en intégrant les perspectives te ao Māori et en reflétant les principes du Traité de Waitangi / te Tiriti o Waitangi, et la relation entre la Charte et les développements dans la prise en compte des considérations de souveraineté des données maories.

De vives inquiétudes ont été exprimées en août 2020 sur le fait que la Charte ne traite pas pleinement de considérations importantes, telles que la souveraineté des données des Maoris, avec un commentaire selon lequel la Charte "a le potentiel de discriminer davantage les Maoris que les préjugés actuels des données, des algorithmes et de l'apprentissage automatique ne le font déjà .” Les commentateurs des médias ont également demandé la prise en compte de la souveraineté des données maories dans la Charte, proposé un contrôle formel et proposé des suggestions de mise en œuvre.

La Charte a suscité un intérêt international, Stats NZ et Transparency International NZ étant invités à rejoindre la cohorte pilote du réseau OGP Leaders, en reconnaissance de la Charte, Il existe des preuves en ligne de l'adoption par le ministère de la Justice, la Société d'indemnisation des accidents, le ministère du Développement social, et la police néo-zélandaise. Stats NZ rapporte dans le rapport de fin de mandat de l'engagement que les signataires ont fait des progrès constants dans la mise en œuvre des engagements, bien que cela diffère considérablement d'une agence à l'autre en fonction de la maturité de leurs données et de l'utilisation d'algorithmes. Il s'attend à ce que l'examen fournisse plus d'informations sur la mesure dans laquelle la Charte a amélioré la transparence algorithmique, ainsi que sur les succès et les défis auxquels les agences ont été confrontées dans la mise en œuvre de la Charte. À l'heure actuelle, le changement dans la pratique du gouvernement néo-zélandais en est à ses débuts.

Les parties prenantes du milieu universitaire et des OSC rapportent que les modifications apportées au projet de charte après consultation reflétaient les commentaires du gouvernement et non de la communauté. Ils étaient ravis que la version finale « édulcorée » ait reçu une large adhésion des agences et ait réussi à obtenir un grand nombre de signataires. Ils cherchent à approfondir la Charte au fur et à mesure que les gens s'y habituent. Les parties prenantes de la société civile sont ravies que des agences telles que la police néo-zélandaise soient désormais signataires et que le travail initial ait créé une large sensibilisation à la Charte dans les discussions gouvernementales quotidiennes. Ils notent également que le Chief Data Steward n'a aucun pouvoir d'exécution dans l'ensemble du gouvernement, que la Charte est appliquée différemment d'une agence à l'autre, qu'aucune n'a publié de catalogue des algorithmes qu'elle utilise et que le document d'appui à la mise en œuvre de la Charte fourni au ministre en 2020 n'a pas été publié. La dépendance du gouvernement à l'égard de fournisseurs tiers est considérée comme une faiblesse, et la formation des agences et des fournisseurs serait utile.

Les parties prenantes s'attendent à ce que les recommandations de l'examen en cours préparent le terrain pour l'opérationnalisation active et l'expansion de la Charte. Ils recherchent des éclaircissements sur le leadership intergouvernemental, la surveillance, le suivi et la gestion appropriée des données. Ils les considèrent comme les principales exigences pour réaliser pleinement l'ambition de cet engagement de garantir que les Néo-Zélandais sont informés et ont confiance dans la manière dont le gouvernement utilise les algorithmes pour identifier les modèles dans les données.