Reflexiones sobre la implementación de la política algorítmica del sector público
Reflexiones sobre la implementación de las políticas de algoritmos en el sector público
Esta pieza es parte de la "Serie de blogs de algoritmos abiertos" de OGP. Leer otras publicaciones de la serie aquí.
En los últimos años, la forma en que funcionan los gobiernos ha experimentado una transformación significativa, con más servicios digitalizados para una entrega eficiente y efectiva. Las agencias gubernamentales utilizan cada vez más algoritmos y datos sofisticados para la toma de decisiones públicas sobre asuntos relacionados con la salud, educaciónLa rendición de cuentas dentro del sistema de educación pública es clave para mejorar los resultados y logros, y la rendición de cuentas es casi imposible sin políticas transparentes y oportunidades de participación..., migración y otras áreas políticas clave. Hacer que el uso de algoritmos por parte del sector público sea más transparente y responsable es crucial para garantizar que las tecnologías digitales no se utilicen indebidamente y que se protejan los derechos de los usuarios y ciudadanos, incluido el uso de datos personales de manera ética.
Aumento del interés del público por el uso de algoritmos para la toma de decisiones públicas, que puede surgir a raíz de escándalos como el Algoritmos de SyRI en los Países Bajos y algoritmos de calificación de exámenes en el Reino Unido, son motivo de preocupación, pero también son una valiosa oportunidad para crear conciencia dentro y fuera del gobierno sobre la importancia de aumentar transparenciaDe acuerdo con los Artículos de Gobernanza de OGP, la transparencia ocurre cuando "la información en poder del gobierno (incluidas las actividades y decisiones) es abierta, completa, oportuna y está disponible gratuitamente para el público... Más y responsabilidad públicaDe acuerdo con los Artículos de Gobernanza de OGP, la responsabilidad pública ocurre cuando "las reglas, regulaciones y mecanismos establecidos exigen a los actores gubernamentales que justifiquen sus acciones, actúen sobre las críticas... Más de algoritmos.
Varios miembros de OGP, incluidos Francia, Holanda y Nueva Zelanda, ahora están utilizando sus planes de acción de OGP para promover la transparencia, la participación y la responsabilidad de los algoritmos gubernamentales. En noviembre de 2020, OGP organizó un intercambio en línea con funcionarios gubernamentales de agencias implementadoras de Canadá, Francia, Nueva Zelanda y el Reino Unido. Esta red se reunió por primera vez en mayo de 2020 y continuará reuniéndose trimestralmente, abordando una variedad de cuestiones de política relacionadas con la responsabilidad algorítmica. A ellos se unirán diferentes socios de la sociedad civil y expertos, en función del tema de discusión.
Esta discusión más reciente se centró en compartir las experiencias de los países sobre la coordinación intergubernamental y el desarrollo de capacidades en las agencias gubernamentales relevantes para apoyar la implementación de la responsabilidad algorítmica. El grupo estuvo acompañado por Amba Kak, Director de Programas y Políticas Globales en Instituto AI Now de la Universidad de Nueva York, quienes compartieron ejemplos de brechas y desafíos sobre los que habían consultado con los gobiernos. Estas son algunas de las preguntas de diseño e implementación que se destacaron en la discusión:
1. Alcance y definición de algoritmos: Alcanzar un entendimiento común de la noción y el alcance de una política algorítmica es uno de los mayores desafíos del diseño de políticas. No existe una política de "talla única". El contenido y el alcance dependen del servicio que el gobierno esté brindando al público y de los problemas que se aborden, lo que dificulta adoptar un enfoque más amplio y crear una guía integral para las agencias gubernamentales relevantes. Algunas de las principales preguntas que deben abordarse al diseñar la responsabilidad algorítmica son:
- Tecnología vs impacto: ¿Se debe centrar la atención en la tecnología utilizada o en el impacto (o más bien en la decisión)? El grupo destacó la eficacia de centrarse en el impacto para determinar las reglas, en lugar de la tecnología en sí. En términos de qué tecnologías deberían estar involucradas en el alcance, una de las preguntas clave que se plantearon fueron los desafíos de definición con la inteligencia artificial (IA). Lo que se ha observado es que varios instrumentos de política utilizan “toma de decisiones automatizadaA medida que los gobiernos recurren cada vez más a los algoritmos para respaldar la toma de decisiones para los servicios públicos, la transparencia y la responsabilidad del uso de algoritmos son necesarias para minimizar su daño y aumentar ...” como término general en lugar de IA. Esto cambia el enfoque a la función, el uso y el impacto de estos sistemas como un todo en lugar de definiciones más estrechas. Otras preguntas clave incluyen: ¿Qué deben y no deben considerarse exenciones? ¿Cómo se pueden tener en cuenta los principios de la ética de los datos?
- Ámbito sectorial: ¿Debemos tener un alcance amplio o estrecho? ¿Qué sectores deberían estar cubiertos? Los profesionales han identificado una superposición tanto sectorial como regulatoria en la implementación de los principios de diseño.
- Design y implementación: ¿Es el enfoque basado en el riesgo un buen ajuste para orientar a las agencias sobre en qué enfocarse? ¿Cómo podemos llevar la responsabilidad algorítmica al design de algoritmos, y no solo en la implementación? La mayoría de los funcionarios del grupo consideran igualmente importante incorporar estos principios en ambas etapas en todos los departamentos gubernamentales. Uno de los desafíos clave identificados es determinar cómo armonizar las nuevas reformas con los marcos legales existentes. Algunos países encuentran útil vincular las reformas a sus marcos de ética y protección de datos preexistentes cuando se han creado conjuntamente con la sociedad civil y expertos.
2. Obligado por ley, política o enfoque voluntario: La aplicación de la responsabilidad algorítmica en las diferentes agencias gubernamentales que utilizan algoritmos en su trabajo también es un aspecto clave a considerar. Existen diferentes modelos:
- Obligado por ley: Francia tiene un marco legal exigir algoritmos abiertos, por lo que el alcance de la política está establecido en la ley. Las administraciones deben publicar en línea una lista de algoritmos cuando se utilizan para tomar decisiones que impactan la vida de los ciudadanos.
- Obligado por política: Canadá tiene un Directiva emitido por el comité de supervisión financiera y de operaciones del gobierno federal, que establece requisitos sobre cómo se pueden utilizar los algoritmos para respaldar la prestación de servicios a los ciudadanos. Los departamentos del gobierno federal canadiense deben cumplir con esta directiva.
- Voluntario: En Nueva Zelanda, el enfoque de los algoritmos se basa en un compromiso público de las agencias gubernamentales, no en un estándar legal. El país creó una carta de algoritmos (incluso como parte de un Compromiso OGP) que fue objeto de consulta pública y actualmente se encuentra trabajando en su implementación. Como en cualquier enfoque voluntario, uno de los desafíos es que no todas las agencias se han comprometido a implementar la carta. Es importante considerar que muchos de estos cambios están ocurriendo antes de que se establezcan los marcos legales. Esta es una limitación, pero también una oportunidad que ha permitido un movimiento más rápido y ágil. Se considera posible probar enfoques para la responsabilidad algorítmica dentro del sector público.
3. Responsabilidad de los organismos especializados
Uno de los desafíos que el grupo destacó fue implementar la rendición de cuentas de la toma de decisiones algorítmicas en los contextos donde la prestación de servicios se realizó a través de una cadena de diferentes departamentos, cada uno con diferentes mandatos y responsables de diferentes elementos a lo largo de la cadena de prestación. En tales casos, es posible que diferentes agencias sean responsables de recopilar datos y otras de usar los datos. Mientras que algunos utilizan los datos para procesos gubernamentales internos, otros están orientados a la prestación de servicios. Por lo tanto, una de las preguntas clave de política que surge es en qué etapas se deben implementar las herramientas y medidas de rendición de cuentas.
El cambio de cultura entre los departamentos gubernamentales es otro desafío que se identificó: inicialmente se pensó que la implementación de tecnologías digitales solo necesitaba departamentos de TI. Ahora hemos aprendido que es necesario adoptar un enfoque multidisciplinario que incluya aspectos legales, de privacidad, de impacto, de diseño centrado en el usuario y de entrega.
Otros desafíos son que estas agencias tienen prioridades políticas en competencia y se ocupan de recursos limitados, lo que aumenta la necesidad de encontrar un equilibrio entre lo que es útil y lo que se les puede exigir humanamente. También existe la perspectiva de que dedicar recursos a la transparencia y la rendición de cuentas puede tener el costo de la innovación.
4. Canales de participación
Algunos de los gobiernos participantesLos países y locales participantes de OGP, a menudo denominados miembros de OGP, están comprometidos a trabajar con la sociedad civil para fortalecer su adhesión a los valores de gobierno abierto. Para unirse a OGP como pa... se han acercado proactivamente a las agencias relevantes o han establecido grupos de trabajo para coordinar el trabajo intragubernamental. Por ejemplo:
- Etalab en Francia ha establecido un grupo de trabajo con las agencias gubernamentales relevantes, incluidas las administraciones locales.
- En Nueva Zelanda, Stats NZ y el administrador de datos del gobierno se conectaron con las agencias relevantes para promover la aplicación de la Carta de Algoritmos y están trabajando con las agencias más grandes del país para coordinar su implementación. Un total de 26 organizaciones gubernamentales se han adherido a la Carta de Algoritmos.
- Al redactar su Directiva sobre la toma de decisiones automatizada, Canadá celebró consultas en diferentes ciudades del país con representantes gubernamentales, académicos, expertos legales y la sociedad civil.
La relevancia de comunicar la importancia de los algoritmos y su uso tanto al público como a los demás funcionarios del gobierno también es esencial. El gobierno de Francia, por ejemplo, creó un breve video para explicar un algoritmo.
Próximos pasos
Este grupo continuará reuniéndose en 2021 e involucrará a un grupo más amplio de gobiernos, sociedad civil y socios internacionales de otras regiones para impulsar esta discusión. También exploraremos preguntas sobre transparencia y responsabilidad de la contratación pública de algoritmos y sistemas de inteligencia artificial, sesgo algorítmico, sistemas de responsabilidad, estándares internacionales y casos de uso concretos.
Crédito de la imagen destacada: heylagostechie a través de Unsplash
Este artículo forma parte de la serie de artículos sobre algoritmos abiertos de OGP. Para leer el resto de los artículos de la serie, haz clic aquí.
En los últimos años, la forma de operar de los gobiernos se ha transformado significativamente, pues muchos servicios se han digitalizado para una mayor eficiencia y efectividad. Cada vez es más frecuente que las instituciones de gobierno utilicen algoritmos y datos sofisticados para apoyar la toma de decisiones en temas relacionados con la salud, educación, migración y otras áreas de política. La transparencia y rendición de cuentas del sector público en su uso de los algoritmos es fundamental para evitar malos usos alrededor de las tecnologías digitales y asegurar que los derechos de las y los usuarios y de la ciudadanía incluyendo el uso ético de los datos personales estén protegidos.
En ocasiones, el interés en el uso de los algoritmos para la toma de decisiones surge como consecuencia de escándalos como el caso de los algoritmos SyRI de los Países Bajos y los algoritmos para la calificación de exámenes del Reino Unido. Esto es una razón para preocuparse, pero también una oportunidad para sensibilizar a actores de fuera y dentro del gobierno sobre la importancia de la transparencia y la rendición de cuentas de los algoritmos.
Varios miembros de OGP, incluyendo a Francia, los Países Bajos y Nueva Zelanda, están aprovechando sus planes de acción de OGP para mejorar la transparencia, rendición de cuentas y participación en los algoritmos de gobierno. En noviembre de 2020, OGP organizó un intercambio virtual con funcionarios de las instituciones implementadoras de Canadá, Francia, Nueva Zelanda y el Reino Unido. Esta red se reunió por primera vez en mayo del 2020 y seguirá reuniéndose cada trimestre para discutir temas relacionados con la rendición de cuentas de los algoritmos. Además, en estas sesiones participarán organizaciones de la sociedad y diversos expertos dependiendo del tema a discutir.
La sesión más reciente se enfocó en compartir experiencias sobre esfuerzos intergubernamentales de coordinación y desarrollo de capacidades en instituciones de gobierno para apoyar la implementación de mecanismos de rendición de cuentas en los algoritmos. Al grupo se unió Amba Kak, directora de política global y programas en el Instituto AI Now de la Universidad de Nueva York, quien compartió retos que había consultado con gobiernos. A continuación presentamos algunos puntos sobresalientes:
1. Alcance y definición de los algoritmos
Uno de los retos asociados más importantes al diseño de políticas es tener un entendimiento común sobre la noción y el alcance de las políticas de algoritmos. El contenido y alcance dependerán del servicio ofrecido al público y de las problemáticas que busca atender, por lo que es un reto establecer lineamientos generales para las instituciones de gobierno. Las siguientes son algunas de las principales preguntas a responder en el diseño de mecanismos de rendición de cuentas para los algoritmos:
- Tecnología vs. impacto: ¿El enfoque debe ser en la tecnología o el impacto (o en la decisión)? El grupo comentó que enfocarse en el impacto para determinar las reglas es más efectivo que enfocarse en la tecnología en sí misma. En términos de qué tecnologías deben involucrarse en el alcance, una de las preguntas clave se relaciona con retos de definición de la inteligencia artificial (IA). Se ha observado que varios instrumentos de política utilizan la “toma de decisiones automatizada” como un término sombrilla y no el concepto de IA, transfiriendo el enfoque hacia la función, uso e impacto de los sistemas en general y no en definiciones más estrechas. Otras preguntas clave son: ¿Qué debe y no debe ser considerado una excepción? ¿Cómo pueden incorporarse los principios de la ética de datos?
- Alcance sectorial: ¿Es recomendable implementar un alcance amplio o más definido? ¿Qué sectores deben cubrirse? Se ha identificado una superposición sectorial y regulatoria en la implementación de los principios de diseño.
- Diseño e implementación: ¿Es recomendable implementar un enfoque basado en riesgos para guiar a las instituciones sobre el enfoque que deben tomar? ¿Cómo podemos incorporar la rendición de cuentas de los algoritmos desde el diseño y no solamente durante la implementación? En la opinión de la mayoría de los funcionarios, es igualmente importante incorporar estos principios en ambas fases en todos los departamentos de gobierno. Un reto clave es determinar cómo armonizar las reformas de nueva creación con los marcos legales existentes. Para algunos países fue útil vincular reformas con sus marcos existentes de ética y protección de datos en sus procesos de cocreación con expertos y la sociedad civil.
2. Obligatorio por ley o política o de forma voluntaria
La aplicación de mecanismos de rendición de cuentas en los algoritmos en las diferentes instituciones de gobierno es un aspecto importante a considerar. En ese sentido, existen diferentes modelos:
- Obligatorio por ley: Francia cuenta con un marco legal que regula los algoritmos abiertos, por lo que el alcance de la política está definido en la ley. Los administradores están obligados a publicar en línea una lista de algoritmos cuando éstos son utilizados para tomar decisiones que impactan la vida de la ciudadanía
- Obligatorio por política: Canadá cuenta con una disposición emitida por el comité de supervisión financiera y de operaciones del gobierno federal que establece requisitos sobre el uso de algoritmos para la provisión de servicios públicos. Todos los departamentos del gobierno federal de Canadá deben cumplir con esta disposición.
- Voluntario: En Nueva Zelanda, la visión sobre los algoritmos se basa en un compromiso público por parte de las instituciones de gobierno, pero no existe un estándar legal. El país creó un estatuto (como parte de un compromiso de OGP) que fue sujeto a consulta pública y actualmente están trabajando en su implementación. Como cualquier acción voluntaria, un reto es que no todas las instituciones se han comprometido al estatuto.
Es importante tomar en cuenta que muchos de estos retos están ocurriendo antes del establecimiento de marcos legales. Esto representa una limitación, pero también una oportunidad que ha promovido un movimiento más ágil y rápido. Es posible probar mecanismos para la rendición de cuentas alrededor de los algoritmos en el sector público.
3. Responsabilidad de instituciones especializadas
Uno de los retos que identificó el grupo fue la implementación de mecanismos de rendición de cuentas alrededor de la toma de decisiones con algoritmos en contextos en los que la provisión de servicios ocurre a través de una serie de departamentos, cada uno de los cuales tiene mandatos diferentes y que son responsables de diferentes elementos a lo largo de la cadena de provisión del servicio. En dichos casos es posible que diferentes instituciones sean responsables de colectar datos y que otras tengan a su cargo el uso de dichos datos. Algunos grupos utilizan datos para procesos internos del gobierno y otros se enfocan en el servicio. Por lo tanto, una de las preguntas clave que surge es en qué etapas deben implementarse medidas y utilizar herramientas para la rendición de cuentas.
Otro reto identificado fue el cambio en la cultura entre departamentos de gobierno: inicialmente se creía que la implementación de las tecnologías digitales únicamente requería del apoyo del departamento de informática. Hoy sabemos que es necesario un enfoque multidisciplinario que incluye aspectos legales, de privacidad y de diseño centrado en las y los usuarios.
Además, estas agencias tienen muchas prioridades que atender y cuentan con recursos limitados, lo cual aumenta la necesidad de encontrar un equilibrio entre lo que es útil y lo que es factible. Finalmente, hay quienes opinan que dedicar recursos a la transparencia y rendición de cuentas podría limitar la innovación.
4. Canales de participación
Algunos miembros han contactado proactivamente a dependencias de gobierno y creado grupos de trabajo para coordinar el trabajo al interior del gobierno. Por ejemplo:
- En Francia, Etalab creó un grupo de trabajo con instituciones de gobierno relevantes que incluye gobiernos locales.
- En Nueva Zelanda, Stats NZ y el director de protección de datos del gobierno trabajó con las instituciones de gobierno relevantes para coordinar su implementación. Hasta la fecha, 26 instituciones gubernamentales se han unido a los estatutos sobre algoritmos.
- En el diseño de su disposición sobre toma de decisiones automatizada, Canadá organizó consultas en diferentes ciudades con representantes de gobierno, académicos, expertos en derecho y la sociedad civil.
Es de fundamental importancia comunicar la importancia de los algoritmos y su uso tanto al público como a otras instituciones de gobierno. Por ejemplo, el Gobierno de Francia publicó un video para explicar el algoritmo.
Siguientes pasos:
El grupo se seguirá reuniendo en 2021 e invitará a más grupos de gobierno, organizaciones de la sociedad civil y socios internacionales de otras regiones para seguir impulsando la conversación. Además, exploraremos diversos temas sobre transparencia, rendición de cuentas de los procesos de compra de algoritmos y sistemas de AI, sesgos de los algoritmos, estándares internacionales y casos de uso concretos.
Sin comentarios aún
Más información

Algoritmos abiertos: experiencias de Francia, los Países Bajos y Nueva Zelanda
Los algoritmos, sistemas analíticos que procesan datos y complementan o reemplazan la toma de decisiones que antes realizaban las personas, se han convertido en una forma esencial para que los gobiernos mejoren la prestación de servicios públicos ...

Una guía para el gobierno abierto y el coronavirus: protecciones de privacidad
Los gobiernos están recopilando cantidades sin precedentes de datos personales para respaldar esfuerzos vitales de salud pública, como el seguimiento de la transmisión de COVID-19 y la aplicación de la cuarentena. En particular, los gobiernos y las corporaciones están recolectando y ...

Cinco innovaciones gubernamentales reconocidas por su trabajo para abrir el gobierno
Se han reconocido cinco reformas de gobierno abierto de Letonia, México, Nueva Zelanda, la ciudad de Buenos Aires, Argentina y el estado de Kaduna, Nigeria ...
Deje un comentario