Algorithmes ouverts: expériences de France, des Pays-Bas et de Nouvelle-Zélande
Algoritmos abiertos: Las experiencias de Francia, Países Bajos y Nueva Zelanda
Crédit : Fatos Bytyqi via Unsplash
Cet article fait partie de la «série de blogs sur les algorithmes ouverts» de l'OGP. Lire les autres articles de la série ici.
Les algorithmes - des systèmes analytiques qui traitent les données et complètent ou remplacent la prise de décision précédemment entreprise par les gens - sont devenus un moyen essentiel pour les gouvernements d'améliorer la prestation des services publics et la mise en œuvre des politiques. De plus en plus, les gouvernements utilisent des algorithmes pour prendre des décisions qui ont un impact concret sur la vie des gens, de l'attribution des transplantations cardiaques au pourvoi de postes vacants dans les garderies.
Il est crucial que les citoyens puissent accéder à des informations sur la façon dont ces décisions sont prises et quelles données sont utilisées pour construire ces algorithmes, et avoir le savoir-faire et l'opportunité de contester les processus automatisés. Des cas, tels qu'un programme pilote d'immigration utilisé en Nouvelle-Zélande et aux Pays-Bas Indication des risques du système (SyRI) profite au système de détection des fraudes, montre à quel point il est important d'intégrer la transparenceSelon les articles de gouvernance de l'OGP, la transparence se produit lorsque "les informations détenues par le gouvernement (y compris sur les activités et les décisions) sont ouvertes, complètes, opportunes, librement accessibles au public... Plus, responsabilité, droits numériques et engagement des utilisateurs dans le gouvernement prise de décision automatiséeAlors que les gouvernements se tournent de plus en plus vers les algorithmes pour soutenir la prise de décision pour les services publics, la transparence et la responsabilité de l'utilisation des algorithmes sont nécessaires pour minimiser leurs dommages et augmenter ... procédés.
Le mois dernier, le Open Government Partnership (OGP) a organisé un échange en ligne de fonctionnaires de trois agences d'exécution du partenariat: Etalab du gouvernement de la France, Association des municipalités des Pays-Basainsi que, Responsable des données du gouvernement du gouvernement de la Nouvelle-Zélande, d'échanger des expériences et de creuser certains des défis liés à l'ouverture des algorithmes à l'examen du public. Voici quelques points saillants de la discussion:
Communiquer la complexité
Nous savons de la données ouvertesEn ouvrant les données et en les rendant partageables et réutilisables, les gouvernements peuvent permettre un débat éclairé, une meilleure prise de décision et le développement de nouveaux services innovants. Spécifications techniques : Police... mouvement que la transparence est insuffisante - un vidage de données sur un portail n'a pas de sens sans une sensibilisation suffisante, l'éducation La responsabilité au sein du système d'éducation publique est essentielle pour améliorer les résultats et la réussite, et la responsabilité est presque impossible sans des politiques transparentes et des opportunités de participation ... et la participation. Le même principe s'applique aux algorithmes.
Nous devons permettre aux citoyens d'exercer leurs droits et de tenir leurs gouvernements responsables de l'utilisation des algorithmes. Mais il n'y a pas encore une large compréhension de ce que sont les algorithmes, ni de la façon dont ils pourraient être utilisés dans la prise de décision publique. De plus, il est peu probable qu'une personne moyenne ait les connaissances techniques ou le temps nécessaires pour examiner le code source ou interpréter un ensemble de données. Dans cette optique, il peut être plus utile de concentrer l'engagement du public et les discussions sur des études de cas spécifiques et des questions relatives au partage des données et au consentement.
En tant que membre de l'organisation Engagement OGP des Pays-Bas sur les algorithmes ouverts, les réformateurs ont réuni 150 personnes de tous horizons, y compris la société civile, les artistes et les scientifiques, pour sensibiliser et parler de l'utilisation des algorithmes par le gouvernement. Aditionellement, une interview avec les décideurs a été publiée pour aider à la compréhension du public. Ces efforts du gouvernement peuvent être soutenus par un activisme accru de la part de la société civile pour aider à démontrer la valeur de l'ouverture des algorithmes.
Il est également important de saisir l'opportunité d'un intérêt public accru, qui peut émerger à la suite de scandales, ou comme nous le voyons actuellement au milieu de la pandémie. COVID-19 présente une opportunité claire d'éduquer les citoyens sur leurs droits numériques, étant donné l'accent actuel sur la confidentialité et l'utilisation des données en relation avec les applications de suivi et de traçage.
Renforcer les capacités du gouvernement
Ce ne sont pas seulement les citoyens qui ont besoin de plus d'informations et de connaissances sur les algorithmes. Au sein du gouvernement, il est également nécessaire de former et de doter les fonctionnaires de l'expertise appropriée, ainsi que de mieux faire connaître les avantages et l'importance de procédures complexes supplémentaires, telles que les évaluations d'impact. C'est pourquoi les trois pays ont élaboré des orientations pour aider les gouvernements et les fonctionnaires à naviguer dans l'utilisation responsable des algorithmes (France, Netherlands et New Zealand). Etalab en France a également travaillé pour soutenir les agences gouvernementales dans la mise en œuvre du cadre juridique qui soutient responsabilité et transparence des algorithmes du secteur public.
Surfaçage et adressage du biais
Toutes les données, et donc tous les algorithmes, contiennent des biais. La clé est de comprendre où les biais pourraient se trouver, et comment gérer les données et leur traitement de manière équitable et conformément aux attentes de la communauté. La formation à l'éthique des données pour les fonctionnaires est cruciale et pourrait être accompagnée par des groupes consultatifs d'experts, tels que celui créé en New Zealand, afin d'aider à gérer les risques et à définir les responsabilités.
Élaboration de normes internationales
À mesure que l'utilisation des algorithmes par le gouvernement augmente, il y a de plus en plus de discussions sur les normes internationales et sur la façon de concilier les différentes approches et de trouver des points communs. Les normes peuvent être plus efficaces si elles sont accompagnées d'un organisme professionnel de responsabilisation et de mécanismes de réclamation, soulignés par un cadre juridique approprié. S'il existe un intérêt plus large, l'OGP pourrait travailler avec des partenaires pour commencer à examiner les normes existantes (par exemple, Principes de l'OCDE sur l'IA), et d'autres ressources, inventaires (par ex. Inventaire mondial des directives d'éthique de l'IA d'Algorithm Watch), des lignes directrices et des cas d'utilisation concrets, pour aider à identifier ce qui a fonctionné ou non.
Prochaines étapes
Etalab, l'Association des municipalités des Pays-Bas et le responsable des données du gouvernement néo-zélandais étudient les moyens de poursuivre leurs discussions productives. L'OGP souhaite également engager un groupe plus large de gouvernements, de la société civile et de partenaires internationaux d'autres régions pour faire avancer cette discussion, et explorer d'autres questions telles que la transparence et la responsabilité des marchés publics d'algorithmes et de systèmes d'IA, comment aborder les évaluations d'impact, et comment ce sujet est lié à COVID-19. Surveillez cet endroit!
FRANCE
| Ce qu'ils font |
| Etalab s'est concentré sur la manière d'aider les agences à remplir leurs obligations légales en termes d'explicabilité et de transparence. Dans ce contexte, Etalab a produit deux documents d'orientation pour les agences: une sur l’ouverture des codes sources publics et une sur cadre juridique de responsabilisation et de transparence des algorithmes du secteur public. Leur travail s'appuie également sur des études de cas spécifiques auprès des agences d'accompagnement. En juin 2019, Etalab a écrit un document décrivant leur approche. |
| Cadre législatif? |
| Oui - le 2016 'Loi pour une République numérique», a introduit de nouvelles dispositions concernant les algorithmes publics. Ces dispositions visent à introduire une plus grande transparence et responsabilisation de l'administration dans l'utilisation de ces systèmes, en particulier lorsqu'ils sont utilisés pour prendre des décisions. |
| OGP EngagementLes engagements du PGO sont des promesses de réforme co-créées par les gouvernements et la société civile et soumises dans le cadre d'un plan d'action. Les engagements comprennent généralement une description du problème, des actions concrètes... |
| «Améliorer la transparence des algorithmes publics et des codes sources», engagement n ° 6, AP 2018-2020 |
PAYS-BAS
| Ce qu'ils font |
| Le ministère de la Justice et de la Sécurité et le ministère de l'Intérieur, entre autres, lignes directrices publiées sur l'utilisation d'algorithmes par le gouvernement, avec les valeurs publiques comme objectif important.En 2013, j'ai nommé Ambassadeur Amina C. Mohamed, mon secrétaire du Cabinet (Ministre) du Ministère des Affaires étrangères et du Commerce international. Depuis lors, l'Ambassadeur Mohamed a dirigé avec brio notre action diplomatique. Nous avons bénéficié énormément de ses démarches tant régionalesqu’internationales d'importance à la fois nationale et continentale. Une étude a été menée sur la surveillance de l'utilisation des algorithmes par le gouvernement. La Chambre nationale des comptes néerlandaise a été recherche l'utilisation d'algorithmes dans le secteur public depuis février 2020. Le gouvernement néerlandais envisage une approche à trois niveaux, examinant l'utilisation, la mise en œuvre et l'adoption d'algorithmes ouverts. |
| Cadre législatif? |
| Non |
| Engagement de l'OGP |
| «Algorithmes ouverts», engagement n ° 6, AP 2018-2020 |
NOUVELLE-ZÉLANDE
| Ce qu'ils font |
| En 2018, le Chief Data Steward du gouvernement et le commissaire à la protection de la vie privée ont publié le Principes pour une utilisation sûre et efficace des données et des analyses pour guider les pratiques des agences gouvernementales.En octobre 2018, le gouvernement a publié un bilan des algorithmes opérationnels utilisés par les agences gouvernementales.En juin 2019, le responsable en chef des données du gouvernement a convoqué un Groupe consultatif sur l'éthique des données et en octobre 2019, a annoncé une consultation publique sur charte d'algorithme proposée pour les agences gouvernementales. |
| Cadre législatif? |
| Non |
| Engagement de l'OGP |
| «Examen de l'utilisation des algorithmes par le gouvernement», engagement n ° 8, AP 2018-2020 |
Téléchargez les exemples au format PDF ici.
Crédit photo en vedette: Unsplash
Este artículo forma parte de la serie de artículos sobre algoritmos abiertos de OGP. Para leer el resto de los artículos de la serie, haz clic aquí.
Los algoritmos, sistemas analíticos que procesan datos y reemplazan la toma de decisiones por personas, se han convertido en un elemento fundamental de la provisión de servicios públicos y la implementación de las políticas de gobierno. Cada vez más, los gobiernos están utilizando algoritmos para tomar decisiones que afectan la vida de las personas, por ejemplo quién recibe un trasplante de órganos o qué personas contratar para trabajar en una guardería
Es fundamental que los ciudadanos tengan acceso a información sobre cómo se toman estas decisiones y qué datos se están utilizando para crear los algoritmos y que tengan los conocimientos necesarios para cuestionar las decisiones que se tomaron de forma automatizada. Algunos casos como el programa piloto de inmigración de Nueva Zelanda y el sistema de indicación de riesgos de los Países Bajos han sido fortalecidos con sistemas de detección de fraudes, demostrando la importancia de incorporar transparencia, rendición de cuentas, derechos digitales y participación de los usuarios en los procesos de toma de decisiones automatizada.
El mes pasado, Open Government Partnership (OGP) organizó un intercambio virtual con funcionarios de tres agencias implementadoras de la alianza: Etalab del Gobierno de Francia, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda con el fin de intercambiar experiencias y analizar algunos de los retos que han enfrentado en sus procesos de apertura de los algoritmos al escrutinio público. A continuación presentamos las conclusiones más importantes que surgieron en la discusión:
Transmitir la complejidad
Sabemos por la experiencia del movimiento de datos abiertos que la transparencia no es suficiente: publicar datos en un portal tiene sentido si no existe sensibilización, educación y participación. El mismo principio aplica al caso de los algoritmos.
Es necesario capacitar a los ciudadanos de manera que puedan ejercer sus derechos y exigir a sus gobiernos que rindan cuentas sobre el uso de los algoritmos. Pero la ciudadanía en general aún no sabe que se utilizan los algoritmos o cómo se pueden utilizar en la toma de decisiones. Además, el ciudadano promedio no tiene conocimiento técnico ni el tiempo necesario para analizar los códigos o interpretar los datos. En ese sentido, probablemente sea más útil enfocar la participación pública en casos de estudio específicos y temas sobre cómo se comparten los datos y el consentimiento.
Como parte de un compromiso que los Países Bajos establecieron en el marco de OGP sobre algoritmos abiertos, un grupo de reformadores reunió a 150 personas de diferentes grupos, incluyendo a la sociedad civil, artistas y académicos, para sensibilizarlos y discutir el uso de algoritmos por el gobierno. Además, se publicó una entrevista con los actores que diseñan políticas públicas para mejorar el conocimiento del público. Por otro lado, los activistas de la sociedad civil pueden complementar los esfuerzos de los gobiernos, demostrando el valor de la apertura de los algoritmos.
Además, es importante aprovechar el interés del público que surge en ciertos casos como cuando se registra un escándalo o, como lo estamos viviendo, en el contexto de la pandemia. La atención que ha surgido sobre la privacidad y el uso de datos, el COVID-19 representa una oportunidad para educar a la ciudadanía en sus derechos digitales.
Desarrollar las capacidades del gobierno
La ciudadanía no es el único grupo que requiere de información y conocimiento sobre algoritmos. Al interior del gobierno también hay la necesidad de capacitar y equipar a los funcionarios con experiencia, además de sensibilizarlos sobre los beneficios y la importancia de los procedimientos complejos, por ejemplo las evaluaciones de impacto. Es por ello que Francia, Países Bajos y Nueva Zelanda han desarrollado guías para ayudar a los gobiernos y funcionarios a estudiar el uso responsable de los algoritmos. Etalab de Francia ha estado trabajando en apoyar a las instituciones de gobierno en la implementación de un marco legal que apoya la rendición de cuentas y transparencia de los algoritmos del sector público.
Identificar y eliminar sesgos
Todos los datos y, por lo tanto, todos los algoritmos tienen sesgos. La clave es identificar en dónde están esos sesgos y cómo manejar los datos y su procesamiento de forma justa y alineada con las expectativas de la comunidad. Es indispensable capacitar a los funcionarios en la ética de los datos y estos esfuerzos podrían estar acompañados de grupos asesores, como el que estableció Nueva Zelanda, para ayudar a manejar los riesgos y definir las responsabilidades.
Desarrollar estándares internacionales
El uso de algoritmos por parte de los gobiernos está aumentando; en ese sentido está surgiendo una discusión sobre estándares internacionales y sobre cómo alinear diferentes metodologías para identificar puntos en común. Los estándares pueden ser más efectivos si están acompañados de un organismo de rendición de cuentas y de mecanismos de denuncias y con el respaldo de un marco legal adecuado. Si existe el interés, OGP podría trabajar con algunos socios y empezar a analizar los estándares existentes (por ejemplo, los principios sobre inteligencia artificial de la OCDE) y otros recursos, inventarios (por ejemplo, el inventario global de principios éticos sobre inteligencia artificial de Algorithm Watch), lineamientos y casos de estudio concretos con el fin de identificar qué ha funcionado y qué no.
Siguientes pasos
Etalab, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda están identificando formas de seguir impulsando la discusión. Además, OGP quiere invitar a un grupo amplio de gobiernos, organizaciones de la sociedad civil y socios internacionales de otras regiones para impulsar la discusión y explorar otros temas, por ejemplo la transparencia y rendición de cuentas de los algoritmos y sistemas de inteligencia artificial de las adquisiciones de gobierno, cómo aplicar las evaluaciones de impacto y cómo se relaciona el tema con el COVID-19.
FRANCIA
| Qué está haciendo |
| Etalab se ha enfocado en cómo ayudar a las instituciones a cumplir con sus obligaciones legales en términos de justificación y transparencia. En ese contexto, elaboraron dos documentos de orientación para las instituciones, uno sobre la apertura de códigos y uno sobre el marco legal de transparencia y rendición de cuentas de los algoritmos del sector público. Además, están acompañando a las instituciones en el seguimiento a casos de estudio específicos.
En junio de 2019, Etalab publicó un artículo sobre su enfoque. |
| ¿Marco legal? |
| En 2016, se publicó la Ley para una República Digital en la que se identificaron nuevas disposiciones sobre algoritmos públicos. Dichas disposiciones buscan aumentar la transparencia y rendición de cuentas de la administración alrededor del uso de estos sistemas, en particular en lo que se refiere a los procesos de toma de decisiones. |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020 : “Mejorando la transparencia de los algoritmos públicos y los códigos fuente” |
PAÍSES BAJOS
| Qué está haciendo |
| El ministerio de justiciar y seguridad y el ministerio del interior, entre otros, publicaron una serie de lineamientos sobre el uso de algoritmos por el gobierno, enfocándose en los valores públicos.
En 2019, llevaron a cabo una investigación sobre la supervisión del gobierno sobre el uso de los algoritmos. La cámara de auditorías ha investigado el uso de los algoritmos en el sector público desde febrero de 2020. El Gobierno de los Países Bajos está considerando un enfoque triple, considerando el uso, implementación y adopción de algoritmos abiertos. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020: “Algoritmos abiertos” |
NUEVA ZELANDA
| Qué está haciendo |
| En 2018, el encargado de datos y el comisionado de privacidad publicaron los principios para el uso seguro y efectivo de datos y análisis con el fin de orientar las prácticas de las instituciones.
En octubre de 2018, el gobierno publicó un inventario sobre los algoritmos utilizados por las instituciones de gobierno. En junio de 2019, el encargado de datos convocó un grupo asesor sobre ética de datos y en octubre de 2019 anunciaron una consulta pública sobre una propuesta de estatuto de algoritmos para las instituciones de gobierno. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 8, plan de acción AP 2018-2020: “revisión del uso de algoritmos por parte del gobierno” |
Alex Cooper Répondre
La politique peut-elle être décidée par un algorithme?
Quelle boussole morale est intégrée dans les algorithmes?
Ouvrir les algorithmes à un examen public (expert) ne revient pas à rendre des comptes.
Déléguer les décisions à un système automatisé signifie moins de responsabilité, pas plus. Les fonctionnaires peuvent dire "ce n'était pas moi, a décidé l'ordinateur"
Et cela signifie aussi MOINS CITOYENNE PARTICIPATION dans la prise de décision, pas plus. Pourquoi consulter des gens quand tout ce que vous avez à faire est de collecter des données et de les introduire dans la machine?
Cependant, tout ce dont nous parlons ici est la détection de modèles dans la détection de la fraude aux prestations? Les exemples sont sommaires - un programme d'immigration pilote signifie quoi? Un système pour compter le nombre de points dont dispose une personne pour décider d’autoriser ou non la citoyenneté? N'est-ce pas appelé une calculatrice? Ou le système sera-t-il autorisé à retirer des points à certaines personnes qu'il n'aime pas et à attribuer des points bonus à d'autres - en fonction de quoi?
Les détails de ces systèmes n'ont pas d'importance si les principes qui les sous-tendent sont défectueux.
charter2019.fr
Diego Cota Répondre
Alex, quizás convenga un modelo híbrido. Donde un algoritmo imparcialmente seleccione a las personas que tengan injerencia en la decisión a tomarse. Puede comenzar con decisiones hiper-locales y hacer un goteo progressual hacia macro decisiones. Por ejemplo, si un gobierno estatal decide incluir en su plan la construcción de una avenida para desfogar el tráfico de un sector particular de la ciudad, el algoritmo pudiera seleccionar los ingenieros viales, civiles, ciudadanos afectados por la expropiación de terrenosas, propietarios cercanas a la avenida, propietarios de établis que pudieran ser mermados en sus ventas durante la construction, etc. Y hacer modearación de las alternativas presentadas entre los participantes. De esa manera se focaliza la capacidad de decisión entre los afectados directos. Cuando ocurre un consenso, el proyecto se “gradúa” y compite por la asignación de recursos vs. otros proyectos en igualdad de circunstancias. ¿Hace sentido?