Garantir la confiance dans la prise de décision publique qui utilise des algorithmes
Fatos Bytyqi via Unsplash
Résumé
La Nouvelle-Zélande contribue à garantir que l'utilisation des algorithmes par le gouvernement est transparente et responsable, et que les communautés peuvent avoir confiance dans la façon dont ils sont utilisés pour aider le gouvernement à prendre de bonnes décisions et à fournir des services efficacement.
Proposé par: Open Government PartnershipLe Open Government Partnership (OGP) est une initiative multipartite axée sur l'amélioration de la transparence du gouvernement, la garantie d'opportunités de participation des citoyens aux affaires publiques et le renforcement ... Autres
Algorithmes non cochés ; Biais et méfiance
De plus en plus, le travail au sein des gouvernements se fait désormais par des algorithmes. Ils peuvent analyser d'énormes quantités de données, identifier des modèles et prendre des décisions en une fraction de seconde en fonction de ces modèles. En théorie, cela devrait augmenter l'efficacité, éviter les erreurs humaines et les biais, et rationaliser tous les processus.
Mais, sans accès à ces algorithmes et sans connaissances techniques avancées, le travail qu'ils effectuent est effectivement caché aux communautés qu'ils sont censés servir. Pour la personne moyenne, il peut être difficile de comprendre comment les algorithmes les affectent. Cela signifie que les algorithmes échappent pratiquement au contrôle démocratique, alimentant finalement un cercle vicieux qui rend difficile le (r)établissement de la confiance.
Parce que les algorithmes administrés par ordinateur sont généralement considérés comme objectifs, rationnels et non motivés idéologiquement, il peut être facile d'oublier qu'ils peuvent être tout aussi biaisés que les personnes qui les ont créés ou les données sur lesquelles ils s'appuient. Sans un effort soutenu pour rechercher les biais potentiels, s'appuyer sur la prise de décision algorithmique peut perpétuer les préjugés sociétaux. En Nouvelle-Zélande, cela affecte particulièrement la population autochtone maorie, qui peine à se faire reconnaître par les algorithmes. Cela a conduit à des cas de fausse identification lorsque les algorithmes de reconnaissance faciale utilisés par la police n'ont pas été développés sur les visages maoris. Il existe également un certain nombre de préoccupations culturelles et spirituelles spécifiques concernant la capture, la diffusion et la conservation non supervisées des données de cartographie faciale. Sans inclure les Maoris dans le développement et l'utilisation de ces technologies, il n'y a pas de réglementation pour protéger les croyances culturelles maories. Les conséquences des algorithmes exécutés sans contrôle peuvent avoir des conséquences très graves pour les personnes qu'ils excluent des processus de développement et de déploiement. Ce biais n'est en aucun cas limité aux algorithmes de reconnaissance faciale, mais c'est un exemple illustratif utile.
Agir pour guider l'utilisation des algorithmes
New Zealand, as well as several other OGP members, are now using their action plans to advance transparenceSelon les statuts de l'OGP, la transparence est atteinte lorsque « l'information détenue par le gouvernement (y compris sur les activités et les décisions) est ouverte, exhaustive, opportune et librement accessible au public… Autres, participation and accountability of government algorithms. In New Zealand’s plan d'actionLes plans d’action sont au cœur de la participation d’un gouvernement au PGO. Ils sont le fruit d’un processus de co-création dans lequel le gouvernement et la société civile élaborent conjointement des engagements en faveur d’un gouvernement ouvert…, there are a few different elements that, taken together, should make algorithms more accessible and easier to understand for the public.
En juillet 2020, le gouvernement de la Nouvelle-Zélande a collaboré avec un certain nombre d'acteurs de la société civile pour mettre en œuvre le Charte d'algorithme pour Aotearoa Nouvelle-Zélande, which regulates algorithms that directly impact groups or individuals. The Charter has a number of requirements: Algorithms must be explained in plain English, relevant communities must be engaged, and that their use and handling of data is disclosed. Additionally, human oversight and accountability must be maintained so that the data’s limitations and biases are understood and managed, and that privacy, ethics, and droits de l'hommeUn élément essentiel d'un gouvernement ouvert comprend la protection des libertés et des droits sacrés de tous les citoyens, y compris les groupes les plus vulnérables, et la responsabilisation de ceux qui violent les droits de l'homme. T... are safeguarded. Good guidance, oversight and transparency makes it easier for New Zealanders to trust that, when the government is using algorithms, they have clear intentions that are met, with minimal unintended consequences.
Avec une transparence accrue, la lutte contre les biais algorithmiques est le prochain problème clé. Pour ce faire, le gouvernement travaille en partenariat étroit avec le Data Iwi Leaders Group, composé de leaders autochtones du secteur des données. Reconnaissant que les algorithmes peuvent perpétuer le biais, ils coopèrent afin de trouver des moyens de le contrer. Une mesure clé est la formation à l'éthique des données pour les fonctionnaires, qui aide à gérer les risques et à définir les responsabilités.
La charte des algorithmes reste volontaire pour le moment
New Zealand’s approach to algorithms is based on a public engagementLes engagements du PGO sont des promesses de réforme co-créées par les gouvernements et la société civile et soumises dans le cadre d'un plan d'action. Les engagements comprennent généralement une description du problème, des actions concrètes... from government agencies. As with any voluntary approach, one of the challenges is that not all agencies have fully committed to implementing the charter. There are also challenges around training officials in the use of algorithms, helping them update and refine them, and in building community awareness and engagement in their use. The fact that many of these technological changes are happening before the respective legal frameworks are fully established makes the challenge more complex – and also more urgent.
Alors que la charte des algorithmes de la Nouvelle-Zélande est un pas en avant dans la lutte pour la transparence des données, l'adoption a été lente. C'est en grande partie parce que la participation volontaire à la charte signifie qu'il n'y a pas eu beaucoup de pression ou d'urgence pour que beaucoup d'agences gouvernementales la mettent en œuvre. Les prochaines étapes pour inciter à la participation pourraient, par exemple, inclure un mandat selon lequel tous les algorithmes utilisés par le gouvernement doivent être rendus accessibles au public. Cela pourrait accélérer le projet de rendre l'utilisation des algorithmes plus ouverte et plus largement comprise, et donner aux Néo-Zélandais les outils nécessaires pour décider de la manière dont les algorithmes les affectent.
Laissez un commentaire