Améliorer l'achat et l'utilisation des algorithmes par le gouvernement (NL0050)

Quel est le problème public que cet engagement abordera? De plus en plus de décisions gouvernementales en matière de gestion et de politique reposent sur des données et des algorithmes. Les décisions fondées sur des algorithmes ne sont souvent pas transparentes pour les citoyens et les entreprises, tandis que les conséquences de l'application de ces algorithmes peuvent être d'une grande importance pour la société.

Quel est l'engagement? En résumé, les activités suivantes sont menées pour améliorer la supervision de l'utilisation des algorithmes par le gouvernement:  Développement d'un algorithme et d'une étude d'impact sur les droits de l'homme dans lequel on cherche autant que possible le lien avec les évaluations existantes;  Amélioration des conditions d'achat des algorithmes d'achat du gouvernement auprès des entreprises.  Exploration avec des organisations gouvernementales et des scientifiques si et comment parvenir à des définitions communes dans le domaine de l'IA et des algorithmes.  Un aperçu des outils disponibles pour le développement et l'utilisation d'algorithmes plus complexes.

Comment l'engagement contribuera-t-il à résoudre le problème public? Fournir aux organisations gouvernementales des outils pour traiter les algorithmes et les rendre transparents et les acheter garantit que les gouvernements peuvent faire des choix plus conscients et être plus transparents sur leurs actions. Cela rend l'utilisation des algorithmes par le gouvernement plus compréhensible pour les résidents.

Pourquoi cet engagement est-il pertinent pour les valeurs de l'OGP? Les instruments en cours d'élaboration garantissent que les gouvernements peuvent être plus transparents sur l'utilisation des algorithmes et les compromis qui sont faits. En ce sens, c'est aussi une forme de responsabilité pour l'utilisation d'algorithmes, car il est plus facile pour les citoyens de retracer ce qui se passe et comment les décisions (automatisées) sont prises. 30

Informations complémentaires  En 2019, des recherches ont été menées sur la supervision de l'utilisation des algorithmes dans le gouvernement: https://www.rijksoverheid.nl/documenten/rapporten/2019/11/25/rapport-toezicht-op-gebruik-van-algoritmen-door-de-overheid  Une lettre au parlement a été publiée en 2019 sur les garanties contre les risques des algorithmes et des analyses de données par le gouvernement. L'accent est mis sur la transparence, la vérifiabilité et la protection juridique, BZK a testé les lignes directrices dans la pratique: https://www.rijksoverheid.nl/documenten/kamerstukken/2019/10/08/tk-waarborgen-tegen-risico-s-van-data-analyses-door-de-overheid  La Cour des comptes enquête sur l'utilisation d'algorithmes dans le secteur public depuis février 2020: https://www.rekenkamer.nl/actueel/lopend-onderzoek/zicht-op-algoritmes  Les lignes directrices existantes pour l'application des algorithmes par les gouvernements sont en cours d'évaluation et une autre obligation légale de ces lignes directrices est à l'étude. Activité jalon avec un livrable vérifiable Date de début: Date de fin: Développement d'un algorithme et d'une évaluation de l'impact sur les droits de l'homme dans lesquels un lien est recherché autant que possible avec les évaluations existantes. 1-1-2021 1-4-2021 Améliorations des conditions de passation des marchés pour les achats d'algorithmes auprès des entreprises par le gouvernement. 1-1-2021 1-9-2021 Exploration avec des organisations gouvernementales et des scientifiques pour savoir si et comment parvenir à des définitions conjointes et à des solutions prises en charge dans le domaine de l'IA et des algorithmes. 1-1-2021 1-5-2021 Un aperçu des outils disponibles pour le développement et l'utilisation d'algorithmes plus complexes. 1-1-2021 1-4-2021

Examen du plan d'action

Engagement 12 : Algorithmes ouverts

Pôle d'engagement n° 10, 11 et 12 : Technologie ouverte

(Ministère de l'Intérieur et des Relations du Royaume et/ou ses filiales telles que KOOP (Office des publications des Pays-Bas), ICTU, Foundation for Public Code, Open State Foundation, Code for NL, EMMA Communicatie, Ministère de la justice et de la sécurité, Chambre des comptes)

Pour une description complète des engagements inclus dans ce cluster, voir les engagements 10, 11 et 12 aux pages 24-30 du plan d'action Pays-Bas 2020 – 2022 ici.

Contexte et objectifs:

Le gouvernement néerlandais possède de vastes quantités de données, auxquelles il est possible d'accéder publiquement via le portail national de données ouvertes data.overheid.nl. Après l'achèvement d'un projet pilote en 2020, l'Engagement 10 cherche à intensifier ce travail en établissant cinq nouvelles communautés de données ouvertes en plus des quatre communautés actuellement actives. Les communautés de données ouvertes se composent de propriétaires de données, de réutilisateurs et d'experts dans des domaines spécifiques, tels que l'éducation ou la mobilité. Les communautés offrent des données spécifiques, des données de référence, des applications et la possibilité d'interroger directement des experts sur les données. Cet engagement implique également le développement d'indicateurs qui peuvent aider à évaluer l'impact réel de l'utilisation et de la réutilisation des ensembles de données gouvernementales. Ces indicateurs seront rendus visibles sur le portail national de données et devraient soutenir une offre et une demande structurelles de données ouvertes (avec l'aide de ces communautés de données). L'engagement appelle également à développer une analyse d'impact sur l'utilisation des données ouvertes.

En outre, les transformations numériques ont modifié le fonctionnement de la prestation de services publics aux Pays-Bas. L'engagement avec la communauté informatique, y compris les développeurs de logiciels, est essentiel car cela améliore la qualité et aide à favoriser une meilleure compréhension de ces outils entre les utilisateurs et les créateurs. Comme le gouvernement commande fréquemment des logiciels, le faire dans un format open source, ce qui signifie que les logiciels sont gratuits et ouverts à la modification et à la redistribution, favorise la collaboration essentielle des organisations publiques et le partage d'outils numériques pour le bien public. Outre le développement collaboratif, les logiciels open source peuvent également renforcer la transparence, éviter la duplication d'outils logiciels pour les agences gouvernementales et empêcher le « verrouillage » des fournisseurs. En outre, et en réponse aux demandes de renseignements des députés, le gouvernement prévoit de rendre le code source disponible pour les logiciels développés par des moyens publics afin qu'ils puissent être examinés, améliorés et réutilisés publiquement. Les organisations gouvernementales, cependant, ont une expérience limitée de la publication de codes source et il n'est pas toujours clair quels sont les coûts de publication du code source ou si cela ajoute de la valeur dans tous les cas. Dans le cadre de l'Engagement 11, le ministère de l'Intérieur et des Relations avec le Royaume, ainsi qu'un large éventail d'OSC axées sur la technologie, diffuseront l'utilisation de l'open source au sein du gouvernement, en stimulant le débat, en développant une boîte à outils, en partageant les meilleures pratiques et en reliant ce thème à l'élaboration des politiques au niveau national.

Les gouvernements s'appuient également de plus en plus sur les nouvelles technologies telles que l'intelligence artificielle (IA), l'apprentissage automatique et les algorithmes pour analyser les données et éclairer l'élaboration des politiques. L'utilisation d'algorithmes dans les politiques gouvernementales a suscité un débat dans la société néerlandaise ; les chiens de garde locaux ont critiqué l'utilisation d'un algorithme appelé SyRI par le gouvernement pour lutter contre la fraude en raison de son manque de transparence, de son parti pris apparent et de son mépris pour la vie privée. L'utilisation de SyRI a finalement été interdite par un tribunal national qui a jugé que le système violait la Convention européenne des droits de l'homme. Le gouvernement a commandé diverses études sur le sujet et convient que les algorithmes doivent être transparents pour des raisons de contrôle et de contrôle juridique. Cependant, la mesure dans laquelle les algorithmes sont utilisés semble encore largement inconnue. En outre, la Cour des comptes a signalé que peu d'attention est actuellement accordée aux aspects éthiques ou aux biais potentiels dans les algorithmes du gouvernement. Il a noté que les citoyens devraient être en mesure de comprendre l'utilisation et le fonctionnement des algorithmes et savoir vers qui s'adresser en cas de questions ou d'objections. La Cour des comptes recommande au gouvernement de sécuriser les données personnelles dans la gestion de ses algorithmes et d'assurer un langage commun sans ambiguïté qui définit des exigences de qualité pour les algorithmes.

Dans ce contexte, le quatrième plan d'action continue de travailler sur le thème des algorithmes au titre de l'engagement 12. Le plan d'action précédent des Pays-Bas comprenait un engagement sur l'élaboration de cadres et de lignes directrices préliminaires sur la transparence algorithmique, mais il n'a été mené qu'à un stade limité. Ce nouvel engagement porte en revanche explicitement sur la question de l'éthique et des algorithmes. Il vise à développer un outil d'évaluation d'impact basé sur les droits de l'homme pour les algorithmes potentiels et à l'utiliser pour établir des normes en s'engageant avec des tiers (tels que des fournisseurs de logiciels externes). Il prévoit également d'améliorer les conditions pour que le gouvernement achète des algorithmes aux entreprises et d'explorer comment arriver à des définitions communes dans l'IA et les algorithmes. Cependant, l'engagement n'indique pas explicitement si les évaluations d'impact sur les droits humains des algorithmes gouvernementaux seront mises à la disposition du public.

Potentiel de résultats : modeste

Pris ensemble, les engagements de ce cluster pourraient améliorer l'ouverture, la transparence et la participation dans la façon dont les Pays-Bas utilisent les technologies et les données critiques. Les trois engagements visent à travailler avec un large éventail de parties prenantes en dehors du gouvernement et à faciliter les commentaires externes (y compris les citoyens) pour améliorer les données et les outils logiciels détenus ou hébergés par le gouvernement.

Les données publiques ouvertes ne peuvent exploiter leur potentiel que si, en plus d'être facilement et publiquement disponibles dans des formats appropriés, elles sont utilisées par un groupe sans cesse croissant d'utilisateurs divers et expérimentés. Grâce aux communautés de données ouvertes au titre de l'Engagement 10, les agences gouvernementales découvriront de nouvelles façons innovantes de réutiliser les données gouvernementales, tandis que les utilisateurs apprendront à mieux naviguer sur le portail national qui comprend des dizaines de milliers d'ensembles de données. L'attention particulière accordée au suivi et à l'évaluation du succès, en cherchant à développer des indicateurs à l'échelle du portail pour mesurer l'impact des données, pourrait donner des résultats significatifs. L'impact démontré sur les problèmes sociaux de l'utilisation des données ouvertes peut par la suite augmenter la demande de davantage de données. En s'appuyant sur cette évaluation d'impact, cet engagement peut également aider à construire un soutien social et politique plus large pour la divulgation des données gouvernementales dans un format de données ouvert.

L'engagement 11 a un potentiel prometteur pour renforcer la capacité du gouvernement à travailler en open source, grâce à des liens directs avec les efforts d'élaboration de politiques existants au niveau du gouvernement central, couplés à un engagement fort de la société civile et de la communauté open source. Bien que les résultats exacts soient difficiles à prévoir, rendre le codage open source plus transparent pourrait révéler de nouvelles informations sur le fonctionnement du gouvernement en ce qui concerne les services publics numériques.

Enfin, l'accent renouvelé sur les algorithmes gouvernementaux dans le cadre de l'Engagement 12 fait suite aux recommandations antérieures du MII de s'appuyer sur les organes existants de travail domestique dans ce domaine au niveau du gouvernement central. Bien que cet engagement n'appelle pas à l'ouverture d'algorithmes gouvernementaux supplémentaires, l'évaluation de l'impact sur les droits de l'homme pourrait aider les agences gouvernementales à se prémunir contre les biais potentiels dans les données de soulignement des algorithmes qu'elles achètent. Cela pourrait à son tour contribuer à réduire la discrimination possible de certains segments de la population lorsque le gouvernement utilise des algorithmes pour élaborer des politiques. Cet engagement pourrait également enrichir d'autres efforts au niveau du gouvernement central, comme la stratégie d'« approvisionnement avec impact ».

Il est important de noter, cependant, que l'engagement ne précise pas si l'utilisation des évaluations d'impact sur les droits humains deviendra obligatoire pour toutes les agences gouvernementales lorsqu'elles achèteront des algorithmes. Il ne précise pas non plus si les résultats de ces évaluations d'impact seront rendus publics au cours du processus d'achat d'algorithmes. Par conséquent, les résultats de cet engagement dépendront en grande partie de l'adoption des évaluations des droits de l'homme par les agences gouvernementales et du niveau de détail inclus. Les résultats de l'engagement dépendront également des discussions tenues avec la société civile sur l'impact des algorithmes sur la société et de la mesure dans laquelle ces discussions conduisent à rendre plus d'algorithmes accessibles au public pour examen.

Opportunités, défis et recommandations pendant la mise en œuvre

La technologie ouverte est un vaste sujet, mais plusieurs chevauchements thématiques pourraient être explorés à l'intérieur de ce cluster et au-delà. Par exemple, les engagements sur les communautés de données ouvertes et l'open source pourraient renforcer la divulgation proactive des informations gouvernementales au titre de l'engagement 5 de ce plan d'action. Les catégories et les formats d'information sont au cœur de ce travail. Par conséquent, l'IRM recommande de partager les points de vue et les idées pertinents des engagements 10 et 11 avec les parties prenantes travaillant sur la divulgation proactive des informations gouvernementales (Engagement 5). En outre, l'Engagement 3 sur la démocratie numérique vise à piloter un outil numérique open source et des plateformes de consensus basées sur l'IA (telles que pol.is et openstad.org), et les enseignements tirés pourraient être partagés avec les experts et les organisations impliqués dans le cadre de l'Engagement 11.

Concernant l'Engagement 12, le MII recommande rendre accessible au public l'évaluation de l'impact sur les droits de l'homme des marchés publics d'algorithmes. De cette façon, les évaluations d'impact pourraient fournir aux citoyens et à la société civile un mécanisme important pour surveiller la manière dont les agences gouvernementales prennent en compte les droits de l'homme lors de l'achat de leurs algorithmes. En conséquence, les citoyens et la société civile pourront mieux soulever les problèmes éthiques potentiels dans l'utilisation des algorithmes par le gouvernement dans ses politiques. L'IRM recommande également d'aller plus loin en utiliser les évaluations d'impact sur les droits de l'homme obligatoires pour toutes les agences publiques lorsqu'elles achètent des algorithmes.

En termes d'algorithmes ouverts plus largement, les Pays-Bas ont rejoint un groupe d'autres pays travaillant sur ce sujet dans le cadre de l'OGP. L'IRM recommande engager des experts internationaux d'autres pays pour partager leurs expériences et leçons apprises sur la transparence algorithmique. EtaLab de France, par exemple, a de l'expérience dans la divulgation aux citoyens de la manière et du moment où les algorithmes ont été utilisés et pourrait ajouter une valeur significative au travail aux Pays-Bas. En outre, l'IRM recommande évaluer où la divulgation est le plus nécessaire et envisager de répertorier les ensembles de données de grande valeur où les algorithmes sont actuellement utilisés. Par exemple, la ville d'Amsterdam, qui a été impliquée dans le processus de co-création, a développé un registre d'algorithmes où les citoyens peuvent en savoir plus sur l'utilisation des algorithmes dans l'administration municipale. De tels exemples de sensibilisation et de sensibilisation du public sont considérés comme importants pour aider à accroître les connaissances et les compétences des citoyens afin de développer une « citoyenneté technologique ».

Enfin, en prévision de l'Engagement 13 de ce plan d'action (discuté ci-dessous), le MII recommande aux parties prenantes impliquer le médiateur national, lorsque cela est possible, dans ses travaux sur la transparence algorithmique, car cela représente l'un des principaux canaux permettant aux personnes de faire part de leurs préoccupations. En outre, le médiateur national a déclaré qu'il cherchait à garantir que les algorithmes utilisés par le gouvernement sont solides et axés sur les citoyens.

Rapport de résultats

Engagement 12. Algorithmes ouverts

● Vérifiable: Oui

● A-t-il une optique de gouvernement ouvert? Non

● Cet engagement a été regroupé comme suit : Technologie ouverte

● Potentiel de résultats : Modeste

● Achèvement: Substantiel

● At-il ouvert le gouvernement? Marginal

La plupart des étapes ont été franchies, notamment la publication de l'outil d'évaluation de l'impact sur les droits de l'homme et les algorithmes. Cet outil vise à guider les discussions entre les décideurs politiques et d’autres parties sur l’opportunité de développer une application gouvernementale algorithmique. De plus, le gouvernement a lancé un registre d’algorithmes en ligne dans lequel les agences gouvernementales publient les algorithmes qu’elles utilisent. En avril 2023, il y avait 109 algorithmes inscrits au registre. L'IRM n'a pas été en mesure de vérifier si des travaux visant à améliorer les conditions d'achat d'algorithmes et à élaborer des orientations pratiques sur l'achat d'algorithmes avaient été mis en œuvre. Cependant, le nouveau registre n’a eu qu’un impact marginal sur l’ouverture du gouvernement, car il a regroupé les algorithmes gouvernementaux en un seul endroit.