Mejorar la compra y el uso de algoritmos por parte del gobierno (NL0050)

¿Cuál es el problema público que abordará el compromiso? Cada vez más, la gestión gubernamental y las decisiones políticas se basan en datos y algoritmos. Las decisiones basadas en algoritmos a menudo no son transparentes para los ciudadanos y las empresas, mientras que las consecuencias de aplicar estos algoritmos pueden ser de gran importancia para la sociedad.

Cual es el compromiso? En resumen, se llevan a cabo las siguientes actividades para mejorar la supervisión del uso de algoritmos por parte del gobierno:  Desarrollo de un algoritmo y evaluación de impacto en derechos humanos en el que se busca la conexión lo más posible con las evaluaciones existentes;  Mejoras en las condiciones de compra de los algoritmos de compras gubernamentales de las empresas.  Exploración con organizaciones gubernamentales y científicos sobre cómo llegar a definiciones conjuntas en el campo de la IA y los algoritmos.  Una descripción general de las herramientas disponibles para el desarrollo y uso de algoritmos más complejos.

¿Cómo contribuirá el compromiso a la solución del problema público? Proporcionar a las organizaciones gubernamentales herramientas para tratar con algoritmos y hacerlos transparentes y adquirirlos garantiza que los gobiernos puedan tomar decisiones más conscientes y ser más transparentes en sus acciones. Esto hace que el uso de algoritmos por parte del gobierno sea más comprensible para los residentes.

¿Por qué este compromiso es relevante para los valores de OGP? Los instrumentos que se están desarrollando garantizan que los gobiernos puedan ser más transparentes sobre el uso de algoritmos y las compensaciones que se realizan. En ese sentido, también es una forma de rendición de cuentas por el uso de algoritmos, porque es más fácil para los ciudadanos rastrear lo que sucede y cómo se toman las decisiones (automatizadas). 30

Información adicional  En 2019, se realizó una investigación sobre la supervisión del uso de algoritmos en el gobierno: https://www.rijksoverheid.nl/documenten/rapporten/2019/11/25/rapport-toezicht-op-gebruik-van-algoritmen-door-de-overheid  Se publicó una carta al parlamento en 2019 sobre garantías contra riesgos de algoritmos y análisis de datos por parte del gobierno. El enfoque está en la transparencia, verificabilidad y protección legal, BZK ha probado las pautas en la práctica: https://www.rijksoverheid.nl/documenten/kamerstukken/2019/10/08/tk-waarborgen-tegen-risico-s-van-data-analyses-door-de-overheid  El Tribunal de Cuentas ha estado investigando el uso de algoritmos en el sector público desde febrero de 2020: https://www.rekenkamer.nl/actueel/lopend-onderzoek/zicht-op-algoritmes  Se están evaluando las Directrices existentes para la aplicación de algoritmos por parte de los gobiernos y se está explorando una obligación legal adicional de estas directrices. Actividad de hitos con un entregable verificable Fecha de inicio: Fecha de finalización: Desarrollo de un algoritmo y evaluación de impacto en los derechos humanos en el que se busca la conexión tanto como sea posible con las evaluaciones existentes. 1-1-2021 1-4-2021 Mejoras en las condiciones de contratación para las adquisiciones de algoritmos de empresas por parte del gobierno. 1-1-2021 1-9-2021 Exploración con organizaciones gubernamentales y científicos sobre cómo llegar a definiciones conjuntas y soluciones respaldadas en el campo de la IA y los algoritmos. 1-1-2021 1-5-2021 Una descripción general de las herramientas disponibles para el desarrollo y uso de algoritmos más complejos. 1-1-2021 1-4-2021

Revisión del plan de acción

Compromiso 12: Algoritmos abiertos

Clúster de compromiso n. ° 10, 11 y 12: tecnología abierta

(Ministerio del Interior y Relaciones del Reino y / o sus subsidiarias como KOOP (oficina de publicación de los Países Bajos), ICTU, Foundation for Public Code, Open State Foundation, Code for NL, EMMA Communicatie, Ministerio de Justicia y Seguridad, Cámara de Auditoría)

Para obtener una descripción completa de los compromisos incluidos en este grupo, consulte los compromisos 10, 11 y 12 en las páginas 24-30 del plan de acción de los Países Bajos 2020-2022. esta página.

Contexto y objetivos:

El gobierno holandés posee una gran cantidad de datos, a los que se puede acceder públicamente a través del portal nacional de datos abiertos data.overheid.nl. Tras la finalización de un piloto en 2020, el Compromiso 10 busca ampliar este trabajo mediante el establecimiento de cinco nuevas comunidades de datos abiertos además de las cuatro comunidades actualmente activas. Las comunidades de datos abiertos están formadas por propietarios, reutilizadores y expertos de datos en dominios específicos, como la educación o la movilidad. [ 58 ] Las comunidades ofrecen datos específicos, datos de referencia, aplicaciones y la oportunidad de preguntar a los expertos directamente sobre los datos. Este compromiso también implica el desarrollo de indicadores que pueden ayudar a evaluar el impacto real de usar y reutilizar conjuntos de datos gubernamentales. Estos indicadores se harán visibles en el portal de datos nacional y se espera que mantengan una oferta y demanda estructural de datos abiertos (con la ayuda de estas comunidades de datos). El compromiso también exige desarrollar una evaluación de impacto sobre el uso de datos abiertos.

Además, las transformaciones digitales han alterado el funcionamiento de la prestación de servicios públicos en los Países Bajos. El compromiso con la comunidad de TI, incluidos los desarrolladores de software, es esencial, ya que mejora la calidad y ayuda a fomentar una comprensión más profunda de estas herramientas entre usuarios y creadores. Como el gobierno encarga con frecuencia software, haciéndolo en un formato de código abierto, lo que significa que el software es gratuito y está abierto a modificaciones y redistribuciones, promueve la colaboración esencial de las organizaciones públicas y el intercambio de herramientas digitales para el bien público. Además del desarrollo colaborativo, el software de código abierto también puede fortalecer la transparencia, evitar la duplicación de herramientas de software para las agencias gubernamentales y evitar el llamado "bloqueo" del proveedor. Además, y en respuesta a las consultas de los parlamentarios, el gobierno planea hacer que el código fuente esté disponible para el software desarrollado por medios públicos para que pueda ser revisado, mejorado y reutilizado públicamente. [ 59 ] Sin embargo, las organizaciones gubernamentales tienen una experiencia limitada en la publicación de códigos fuente y no siempre está claro cuáles son los costos de publicación del código fuente o si esto agrega valor en todos los casos. A través del Compromiso 11, el Ministerio del Interior y Relaciones del Reino, junto con una amplia gama de OSC centradas en la tecnología, difundirán el uso del código abierto funcional dentro del gobierno, estimulando el debate, desarrollando una caja de herramientas, compartiendo las mejores prácticas y vinculando este tema. a la formulación de políticas a nivel nacional.

Los gobiernos también confían cada vez más en nuevas tecnologías como la inteligencia artificial (IA), el aprendizaje automático y los algoritmos para analizar datos e informar la formulación de políticas. El uso de algoritmos en las políticas gubernamentales provocó un debate en la sociedad holandesa; Los organismos de control locales criticaron el uso de un algoritmo llamado SyRI por parte del gobierno para combatir el fraude debido a su falta de transparencia, aparente sesgo y desprecio por la privacidad. El uso de SyRI fue finalmente prohibido en un tribunal nacional que dictaminó que el sistema violaba el Convenio Europeo de Derechos Humanos. [ 60 ] El gobierno ha encargado varios estudios sobre el tema [ 61 ] y está de acuerdo en que los algoritmos deben ser transparentes por razones de supervisión y supervisión legal. [ 62 ] Sin embargo, parece que todavía se desconoce en gran medida hasta qué punto se utilizan los algoritmos. Además, el Tribunal de Cuentas ha informado que actualmente se presta poca atención a los aspectos éticos o posibles sesgos en los algoritmos del gobierno. [ 63 ] Señaló que los ciudadanos deben poder comprender el uso y el funcionamiento de los algoritmos y saber a dónde acudir con preguntas u objeciones. El Tribunal de Cuentas recomienda que el gobierno proteja los datos personales en la gestión de sus algoritmos y garantice un lenguaje común inequívoco que defina los requisitos de calidad de los algoritmos.

En este contexto, el cuarto plan de acción sigue trabajando en el tema de los algoritmos en el marco del Compromiso 12. El plan de acción anterior de los Países Bajos incluía un compromiso sobre el desarrollo de marcos y directrices preliminares en torno a la transparencia algorítmica, pero solo se completó de forma limitada. [ 64 ] Este nuevo compromiso, por otro lado, se centra explícitamente en el tema de la ética y los algoritmos. Su objetivo es desarrollar una herramienta de evaluación de impacto basada en los derechos humanos para posibles algoritmos y utilizarla para establecer estándares en la interacción con terceros (como proveedores de software externos). También planea mejorar las condiciones para que el gobierno compre algoritmos de empresas y explorar cómo llegar a definiciones conjuntas en IA y algoritmos. Sin embargo, el compromiso no establece explícitamente si las evaluaciones de impacto sobre los derechos humanos de los algoritmos gubernamentales estarán disponibles para el público.

Potencial de resultados: modesto

En conjunto, los compromisos de este grupo podrían mejorar la apertura, la transparencia y la participación en la forma en que los Países Bajos utilizan tecnologías y datos críticos. Los tres compromisos buscan trabajar con una amplia variedad de partes interesadas fuera del gobierno y facilitar la retroalimentación externa (incluidos los ciudadanos) para mejorar los datos y las herramientas de software de propiedad del gobierno o alojados por el gobierno.

Los datos gubernamentales abiertos solo pueden estar a la altura de su potencial si, además de estar disponibles de manera fácil y pública en formatos apropiados, son utilizados por un grupo cada vez mayor de usuarios diversos y experimentados. A través de las comunidades de datos abiertos bajo el Compromiso 10, las agencias gubernamentales aprenderán sobre formas nuevas e innovadoras para la reutilización de datos gubernamentales, mientras que los usuarios aprenderán a navegar mejor por el portal nacional que incluye decenas de miles de conjuntos de datos. La atención particular dedicada al seguimiento y evaluación del éxito, al buscar desarrollar indicadores en todo el portal para medir el impacto de los datos, podría producir resultados significativos. El impacto demostrado en los problemas sociales mediante el uso de datos abiertos puede aumentar posteriormente la demanda de más datos. Basándose en esa evaluación de impacto, este compromiso también puede ayudar a generar un apoyo social y político más amplio para la divulgación de datos gubernamentales en un formato de datos abiertos.

El Compromiso 11 tiene un potencial prometedor para fortalecer la capacidad del gobierno para trabajar en código abierto, gracias a los vínculos directos con los esfuerzos de formulación de políticas existentes a nivel del gobierno central, junto con un fuerte compromiso de la sociedad civil y la comunidad de código abierto. Aunque los resultados exactos son difíciles de pronosticar, hacer que la codificación de código abierto sea más transparente podría revelar nuevos conocimientos sobre cómo opera el gobierno con respecto a los servicios públicos digitales.

Finalmente, el enfoque renovado en los algoritmos gubernamentales bajo el Compromiso 12 sigue las recomendaciones anteriores del MRI para aprovechar los cuerpos existentes de trabajo doméstico en esta área a nivel del gobierno central. [ 65 ] Aunque este compromiso no requiere la apertura de algoritmos gubernamentales adicionales, la evaluación de impacto en los derechos humanos podría ayudar a las agencias gubernamentales a protegerse contra posibles sesgos en los datos subyacentes de los algoritmos que adquieren. Esto, a su vez, podría ayudar a reducir la posible discriminación de ciertos segmentos de la población cuando el gobierno utiliza algoritmos en el desarrollo de políticas. Este compromiso también podría enriquecer otros esfuerzos a nivel del gobierno central, como la estrategia de 'adquisiciones con impacto'. [ 66 ]

Sin embargo, es importante señalar que el compromiso no especifica si el uso de las evaluaciones de impacto sobre los derechos humanos será obligatorio para todas las agencias gubernamentales cuando adquieran algoritmos. Tampoco especifica si los resultados de estas evaluaciones de impacto se pondrán a disposición del público durante el proceso de adquisición del algoritmo. Por lo tanto, los resultados de este compromiso dependerán en gran medida de la aceptación de las evaluaciones de derechos humanos entre las agencias gubernamentales y el nivel de detalle incluido. Los resultados del compromiso también dependerán de las discusiones mantenidas con la sociedad civil sobre el impacto de los algoritmos en la sociedad y la medida en que estas discusiones conduzcan a que más algoritmos estén disponibles públicamente para su escrutinio.

Oportunidades, desafíos y recomendaciones durante la implementación

La tecnología abierta es un tema amplio, sin embargo, se podrían explorar varias superposiciones temáticas dentro de este grupo y más allá. Por ejemplo, los compromisos sobre comunidades de datos abiertos y código abierto podrían fortalecer la divulgación proactiva de información gubernamental bajo el Compromiso 5 de este plan de acción. Las categorías y formatos de información son fundamentales para ese trabajo. Por lo tanto, el IRM recomienda compartir conocimientos e ideas relevantes de los Compromisos 10 y 11 con las partes interesadas que trabajan en la divulgación proactiva de información gubernamental (Compromiso 5). Además, el Compromiso 3 sobre democracia digital tiene como objetivo poner a prueba una herramienta digital de código abierto y plataformas de consenso impulsadas por IA (como pol.is y openstad.org), y las lecciones aprendidas podrían compartirse con los expertos y organizaciones involucradas en el Compromiso 11.

Con respecto al Compromiso 12, el IRM recomienda poner a disposición del público la evaluación del impacto en los derechos humanos de la contratación pública de algoritmos. De esta manera, las evaluaciones de impacto podrían proporcionar a los ciudadanos y a la sociedad civil un mecanismo importante para monitorear cómo las agencias gubernamentales están tomando en cuenta los derechos humanos al adquirir sus algoritmos. Como resultado, los ciudadanos y la sociedad civil podrán plantear mejor los posibles problemas éticos en el uso de algoritmos por parte del gobierno en sus políticas. El IRM también recomienda ir un paso más allá al Hacer que el uso de las evaluaciones de impacto en los derechos humanos sea obligatorio para todas las agencias públicas cuando adquieren algoritmos..

En términos de algoritmos abiertos en general, los Países Bajos se han unido a un grupo de otros países que trabajan en este tema en el contexto de OGP. [ 67 ] El IRM recomienda Involucrar a expertos internacionales de otros países para compartir sus experiencias y lecciones aprendidas sobre transparencia algorítmica.. EtaLab de Francia, por ejemplo, tiene experiencia en revelar a los ciudadanos cómo y cuándo se usaron los algoritmos y podría agregar un valor significativo al trabajo en los Países Bajos. Además, el IRM recomienda evaluar dónde se necesita más la divulgación y considerar enumerar los conjuntos de datos de alto valor donde se utilizan actualmente los algoritmos. Por ejemplo, la ciudad de Amsterdam, que participó en el proceso de cocreación, ha desarrollado un registro de algoritmos donde los ciudadanos pueden aprender más sobre el uso de algoritmos en la administración de la ciudad. [ 68 ] Estos ejemplos de divulgación pública y sensibilización se consideran importantes para ayudar a aumentar el conocimiento y las habilidades de los ciudadanos para desarrollar una "ciudadanía tecnológica". [ 69 ]

Finalmente, en previsión del Compromiso 13 de este plan de acción (discutido a continuación), el IRM recomienda que las partes interesadas Involucrar a la Defensoría del Pueblo, cuando sea posible, en su trabajo de transparencia algorítmica., ya que este representa uno de los canales clave para que las personas planteen inquietudes. Además, la Defensoría del Pueblo ha declarado que busca asegurar que los algoritmos utilizados por el gobierno sean sólidos e impulsados ​​por los ciudadanos. [ 70 ]

Informe de resultados

Compromiso 12. Algoritmos abiertos

● Verifiable: Sí

● ¿Tiene una lente de gobierno abierto? No

● Este compromiso se ha agrupado en: Tecnología Abierta

● Potencial de resultados: Modesto

● Terminación: Sustancial

● ¿Abrió el gobierno? Marginal

Se lograron la mayoría de los hitos, incluida la publicación de la herramienta de evaluación de impacto sobre derechos humanos y algoritmos. ^{[ 35 ]} Esta herramienta tiene como objetivo guiar los debates entre los responsables de la formulación de políticas y otras partes sobre la conveniencia de desarrollar una aplicación gubernamental algorítmica. ^{[ 36 ]} Además, el gobierno lanzó un registro de algoritmos en línea donde las agencias gubernamentales publican los algoritmos que utilizan. ^{[ 37 ]} En abril de 2023, hay 109 algoritmos registrados. El IRM no pudo verificar si se había implementado el trabajo para mejorar los términos de adquisición de algoritmos y desarrollar orientación práctica sobre la adquisición de algoritmos. Sin embargo, el nuevo registro ha tenido un impacto marginal en la apertura del gobierno, ya que ha reunido los algoritmos gubernamentales en un solo lugar.