Garantizar la confianza en la toma de decisiones públicas que utiliza algoritmos
Fatos Bytyqi via Unsplash
Resumen
Nueva Zelanda está ayudando a garantizar que el uso de algoritmos por parte del gobierno sea transparente y responsable, y que las comunidades puedan tener confianza en cómo se utilizan para ayudar al gobierno a tomar buenas decisiones y brindar servicios de manera efectiva.
Presentado por: Open Government PartnershipEl Open Government Partnership (OGP) es una iniciativa de múltiples partes interesadas enfocada en mejorar la transparencia del gobierno, garantizar oportunidades para la participación ciudadana en asuntos públicos y fortalecer... Más
Algoritmos sin marcar; Sesgo y desconfianza
Cada vez más, el trabajo dentro de los gobiernos se realiza mediante algoritmos. Pueden analizar grandes cantidades de datos, identificar patrones y tomar decisiones en una fracción de segundo basándose en esos patrones. En teoría, esto debería aumentar la eficiencia, evitar errores humanos y sesgos, y hacer que todos los procesos sean más ágiles.
Pero, sin acceso a esos algoritmos y sin conocimientos técnicos avanzados, el trabajo realizado por ellos está efectivamente oculto a las comunidades a las que están destinados. Para la persona promedio, puede ser difícil entender cómo los algoritmos los impactan. Esto significa que los algoritmos prácticamente evaden la supervisión democrática y, en última instancia, alimentan un círculo vicioso que dificulta (re) establecer la confianza.
Debido a que los algoritmos administrados por computadora generalmente se consideran objetivos, racionales y no motivados ideológicamente, puede ser fácil olvidar que pueden ser tan sesgados como las personas que los crearon o los datos en los que se basan. Sin un esfuerzo sostenido para estar atento a posibles sesgos, confiar en la toma de decisiones algorítmicas puede perpetuar los prejuicios sociales. En Nueva Zelanda, esto afecta particularmente a la población indígena maorí, que lucha por ser reconocida por algoritmos. Esto ha dado lugar a casos de identificación falsa cuando los algoritmos de reconocimiento facial utilizados por la policía no se han desarrollado en rostros maoríes. También hay una serie de preocupaciones culturales y espirituales específicas sobre la captura, difusión y retención no supervisadas de datos de mapas faciales. Sin incluir a los maoríes en el desarrollo y uso de estas tecnologías, no existen regulaciones para proteger las creencias culturales maoríes. Las consecuencias de que los algoritmos se ejecuten sin control pueden tener consecuencias muy graves para las personas que dejan fuera de los procesos de desarrollo e implementación. Este sesgo no se limita de ninguna manera a los algoritmos de reconocimiento facial, pero es un ejemplo ilustrativo útil.
Adopción de medidas para guiar el uso del algoritmo
New Zealand, as well as several other OGP members, are now using their action plans to advance transparenciaSegún los Artículos de Gobernanza de la OGP, la transparencia se produce cuando “la información en poder del gobierno (incluidas las relativas a actividades y decisiones) es abierta, completa, oportuna y de libre acceso para el público,... Más, participation and accountability of government algorithms. In New Zealand’s plan de acciónLos planes de acción son fundamentales para la participación de un gobierno en la Alianza para el Gobierno Abierto (AGP). Son el resultado de un proceso de cocreación en el que el gobierno y la sociedad civil desarrollan conjuntamente compromisos para un gobierno abierto..., there are a few different elements that, taken together, should make algorithms more accessible and easier to understand for the public.
En julio de 2020, el gobierno de Nueva Zelanda colaboró con una serie de partes interesadas de la sociedad civil para implementar la Carta de algoritmos para Aotearoa Nueva Zelanda, which regulates algorithms that directly impact groups or individuals. The Charter has a number of requirements: Algorithms must be explained in plain English, relevant communities must be engaged, and that their use and handling of data is disclosed. Additionally, human oversight and accountability must be maintained so that the data’s limitations and biases are understood and managed, and that privacy, ethics, and derechos humanosUna parte esencial del gobierno abierto incluye proteger las libertades y los derechos sagrados de todos los ciudadanos, incluidos los grupos más vulnerables, y responsabilizar a quienes violan los derechos humanos. T... are safeguarded. Good guidance, oversight and transparency makes it easier for New Zealanders to trust that, when the government is using algorithms, they have clear intentions that are met, with minimal unintended consequences.
Habiendo aumentado la transparencia, abordar el sesgo algorítmico es el siguiente tema clave. Para ello, el gobierno trabaja en estrecha colaboración con el Data Iwi Leaders Group, que está formado por líderes indígenas en el sector de datos. Reconociendo que los algoritmos pueden perpetuar el sesgo, cooperan para encontrar formas de contrarrestarlo. Una medida clave es la capacitación en ética de datos para funcionarios públicos, que ayuda a gestionar los riesgos y definir responsabilidades.
La carta del algoritmo sigue siendo voluntaria por ahora
New Zealand’s approach to algorithms is based on a public compromisoLos compromisos de OGP son promesas de reforma creadas conjuntamente por los gobiernos y la sociedad civil y presentadas como parte de un plan de acción. Los compromisos suelen incluir una descripción del problema, una acción concreta... from government agencies. As with any voluntary approach, one of the challenges is that not all agencies have fully committed to implementing the charter. There are also challenges around training officials in the use of algorithms, helping them update and refine them, and in building community awareness and engagement in their use. The fact that many of these technological changes are happening before the respective legal frameworks are fully established makes the challenge more complex – and also more urgent.
Si bien la carta de algoritmos de Nueva Zelanda es un paso adelante en la lucha por la transparencia de los datos, la adopción ha sido lenta. Esto se debe en gran parte a que la participación voluntaria en la carta significa que no ha habido mucha presión o urgencia para que muchas agencias gubernamentales la implementen. Los pasos futuros para incentivar la participación podrían, por ejemplo, incluir un mandato de que todos los algoritmos utilizados por el gobierno deben ser accesibles al público. Esto podría acelerar el proyecto de hacer que el uso de algoritmos sea más abierto y ampliamente comprendido, y brindarle a la gente de Nueva Zelanda las herramientas para decidir cómo les afectan los algoritmos.
Deje un comentario