Revisión del uso gubernamental de algoritmos (NZ0019)

• Algoritmos abiertos: experiencias de Francia, los Países Bajos y Nueva Zelanda (Junio ​​1, 2020)

• Reflexiones sobre la implementación de la política algorítmica del sector público (1 de diciembre de 2020)

Compromiso 8: Revisión del uso de algoritmos por parte del gobierno
Objetivo:
Para aumentar la transparencia y la rendición de cuentas sobre cómo utiliza el gobierno
algoritmos.
Ambición:
Para garantizar que los neozelandeses estén informados y tengan confianza en cómo
el gobierno usa algoritmos: procesos automáticos de toma de decisiones utilizados por
programas de computadora: para identificar patrones en los datos.
Status quo:
Los avances en entornos digitales y de datos están cambiando la forma en que vivimos,
trabajar e interactuar. Estos entornos cambiantes presentan considerables
oportunidades para mejorar la vida de los ciudadanos, pero también presentan desafíos para
asegúrese de que los datos se usen adecuadamente.
Las herramientas como el modelado de datos y los algoritmos tienen un poder tremendo para
mejorar vidas A pesar de que el gobierno usa cada vez más estas herramientas
agencias para apoyar la toma de decisiones, no hay acuerdo entre los gobiernos
enfoque a los algoritmos o las decisiones que apoyan.
El Jefe de Administración de Datos (Director Ejecutivo de Estadísticas de Nueva Zelanda) publicó recientemente
los Principios para el uso seguro y efectivo de datos y análisis con el
Comisionado de Privacidad. Utilizando estos, el administrador de datos jefe está emprendiendo
una revisión intergubernamental con el Director digital (Director ejecutivo
del Departamento de Asuntos Internos) para aumentar la transparencia y
responsabilidad de cómo el gobierno usa algoritmos - para mejorar las vidas
de neozelandeses. El enfoque inicial estará en algoritmos operacionales que
dar lugar a, o informar, decisiones que afectan directamente a individuos o grupos.
Tener orientación, supervisión y transparencia en su lugar es esencial para Nuevo
Los neozelandeses deben comprender cómo se utilizan sus datos personales y fomentar
Confianza, confianza e integridad en torno al uso de datos del Gobierno
se mantiene en su nombre. Agencia principal: Stats NZ (trabajando con el Departamento de Asuntos Internos
(Oficial digital en jefe del gobierno)
Cronología: octubre 2018 - junio 2020
Compromiso 8: Revisión del uso de algoritmos por parte del gobierno
Transparencia de valores OGP,
Responsabilidad
Hitos verificables y medibles para cumplir
el compromiso
Fecha de inicio Fecha de término
Complete una revisión inicial de las operaciones existentes
algoritmos y su uso en una gama de
agencias gubernamentales 7 8
1 junio 2018 31 octubre
2018
Considere los siguientes pasos para la garantía de todo el gobierno
relacionado con el uso de algoritmos en colaboración
con representantes de la sociedad civil
31 October
2018
28 febrero
2019
Actualice este compromiso (y sus hitos) para
reflejar el progreso realizado en hitos anteriores
1 marzo
2019
31 marzo
2019

8. Revisión del uso de algoritmos por parte del gobierno. [ 90 ]

Objetivo: aumentar la transparencia y la responsabilidad de cómo el gobierno utiliza algoritmos.

Hitos:

1. "Complete una revisión inicial de los algoritmos operativos existentes y su uso en una variedad de agencias gubernamentales";
2. “Considere los próximos pasos para la garantía de todo el gobierno relacionada con el uso de algoritmos en colaboración con representantes de la sociedad civil”;
3. "Actualice este compromiso (y sus hitos) para reflejar el progreso realizado en hitos anteriores".

Fecha de Inicio: June 2018

Fecha de finalización: junio 2020

Contexto y objetivos

El objetivo y la ambición del compromiso son aumentar la transparencia y la rendición de cuentas sobre el uso de algoritmos por parte del gobierno al garantizar que el público esté informado y confíe en su uso. Señala que no existe un enfoque intergubernamental acordado para los algoritmos o las decisiones que respaldan. Esto respalda las opiniones expresadas por los remitentes y los participantes durante el desarrollo del plan de acción de que el uso de algoritmos por parte del gobierno debía ser más transparente y responsable, [ 91 ] Uno de ellos comentó que "es desalentador para los ciudadanos estar sujetos a procesos digitales que son opacos y pueden contener prejuicios y suposiciones ocultos". [ 92 ] La retroalimentación refuerza la importancia del tema y el deseo mutuo de aumentar la transparencia y la rendición de cuentas.

Este es un trabajo que Stats NZ y el Director Digital del Gobierno comenzaron en mayo de 2018 siguiendo el consejo a los Ministros de que muchas agencias gubernamentales ya usan modelos de datos y algoritmos para ayudar con la toma de decisiones; es necesario garantizar que los algoritmos se usen de manera adecuada, ética y sin sesgos; y no existe un registro centralizado de estas herramientas y las decisiones que respaldan. [ 93 ] Como este trabajo es un campo nuevo, su alcance inicial es limitado y debe ampliarse y especificarse en función de la revisión inicial. Cumple con el valor de participación cívica de OGP ya que el compromiso colaborará con representantes de la sociedad civil para considerar los próximos pasos con respecto al uso de algoritmos.

El trabajo implica completar una revisión inicial, [ 94 ] trabajando con representantes de la sociedad civil para considerar los próximos pasos para asegurar todo el gobierno del uso de algoritmos y las acciones posteriores que surjan del progreso de los Hitos 1 y 2. Siguiendo el consejo de Stats NZ de que informarán públicamente sobre los Hitos 2 y 3 y que Milestone 3 es un lugar de espera para agregar actividades posteriores hasta junio de 2020, [ 95 ] El investigador de IRM concluye que los hitos son lo suficientemente específicos como para verificar.

Expertos en algoritmos externos informaron al investigador de IRM que el enfoque de la revisión inicial para que 14 agencias identificaran sus algoritmos era mínimo y carecía de profundidad. [ 96 ] Otro señaló la falta de una lista completa, la omisión de algunos algoritmos importantes, la necesidad de un mayor debate público sobre la ética y solicitó un cronograma específico para informar a los Ministros. [ 97 ] Mirando hacia los hitos 2 y 3, estas partes interesadas esperan que la política del gobierno exija que todos los algoritmos utilizados por el gobierno sean conocidos, catalogados en un registro y transparentes; trabajo realizado para aumentar la capacidad de los funcionarios para comprender qué hacen los algoritmos y desarrollar habilidades para actualizarlos; y ese gobierno tiene una primera política abierta con pautas para algoritmos abiertos en todo el gobierno. [ 98 ] Otros buscaron la seguridad de que este trabajo lograría la confianza buscada por el gobierno, y se alegraron de que se basara en los Principios para el uso seguro y efectivo de datos y análisis, publicados por el Comisionado de Privacidad y el Jefe de Administración de Datos del Gobierno en mayo de 2018. [ 99 ] Apoyaron un proceso auditable que evaluaba el riesgo y otros factores relacionados con la seguridad. Otro señaló que la Data Futures Partnership, que brindó asesoramiento en esta área, ya no funciona, ya que se estableció durante un período específico de tiempo y consideró que este compromiso tal como está escrito no genera confianza. [ 100 ] Otros señalaron que la inteligencia artificial (IA) a menudo gira en torno al uso de algoritmos y desean saber si esta revisión cubre la IA. [ 101 ] Sin embargo, el objetivo del compromiso es aumentar la transparencia y la responsabilidad de los algoritmos, y el 12 de agosto de 2019 se informó al investigador de IRM que "actualmente no hay capacidad para ampliar el alcance de este trabajo para cubrir la IA". [ 102 ] Todos apoyaron un compromiso público más amplio.

Si se implementa completamente como se diseñó, el compromiso tendría un impacto potencial menor, ya que los hitos como se indica no pueden lograr la declaración de ambición ni entregar los resultados que los Ministros acordaron en mayo de 2018. La reforma transformativa requeriría un programa para capacitar a los funcionarios para comprender qué hacen los algoritmos y cómo para actualizarlos, y el compromiso público más amplio y el trabajo detallado de implementación y políticas intergubernamentales identificadas por las partes interesadas. El hito 3 del plan de acción permite a Stats NZ considerar los próximos pasos en consulta con los representantes de la sociedad civil y establecer otros hitos.

Próximos pasos

Si este compromiso se traslada al próximo plan de acción o si hay mejoras en la implementación de este compromiso, el investigador de IRM recomienda trabajar para:

• documentar todos los algoritmos utilizados por el gobierno y poner el registro a disposición del público;
• comprometerse ampliamente con el público durante este trabajo; y
• desarrollar e implementar políticas, pautas y capacitación que requieran algoritmos abiertos en todo el gobierno.

8. Revisión del uso de algoritmos por parte del gobierno.

Sustancial:

Objetivo del compromiso

Este compromiso tenía como objetivo aumentar la transparencia y la rendición de cuentas en torno al uso de algoritmos por parte del gobierno al garantizar que el público esté informado y tenga confianza en su uso. Inicialmente, revisaría los algoritmos operativos existentes y su uso en una variedad de agencias gubernamentales, consideraría los próximos pasos para la garantía de todo el gobierno en colaboración con representantes de la sociedad civil y luego actualizaría el compromiso para reflejar el progreso realizado. [ 100 ]

¿Abrió el gobierno?

Marginal

Si bien este compromiso está completo, el cambio en la práctica del gobierno es marginal en esta etapa, con un enfoque en obtener la aceptación de la agencia. Durante 2018 y 2019, Stats NZ recopiló detalles de algoritmos de las agencias, publicó la versión inicial Informe de evaluación algorítmica, [ 101 ] consultó a las agencias de servicio público sobre su respuesta a las recomendaciones del informe y publicó un borrador de la Carta del Algoritmo para una fase de consulta pública de dos meses. [ 102 ] En febrero de 2020, Stats NZ publicó un resumen de las presentaciones públicas, [ 103 ] y en julio de 2020, el Ministro de Estadística publicó la Carta voluntaria de algoritmos para Aotearoa Nueva Zelanda (la Carta) [ 104 ] con 21 signatarios de agencias gubernamentales. [ 105 ] La Carta, publicada tanto en inglés como en te Reo Māori, [ 106 ] establece estándares para el uso seguro y ético de algoritmos por parte de agencias del sector público y orientación para cumplir con los objetivos de transparencia y rendición de cuentas.

Para el 28 de octubre de 2021, el número de signatarios comprometidos con la aplicación de los principios de la Carta en su trabajo había aumentado significativamente a 27, y más agencias expresaron interés en suscribirse. La primera revisión de la Carta debía completarse en noviembre de 2021 y su informe se publicará. Sus Términos de Referencia establecen que la Carta es un acuerdo voluntario autorregulado que no es legalmente vinculante y no tiene mecanismos de cumplimiento o proceso formal para monitorear el cumplimiento de las agencias signatarias. [ 107 ] El objetivo de la revisión es aprender del primer año de implementación de la Carta, incluidas las experiencias de las agencias, cualquier indicación temprana de impactos positivos o consecuencias no deseadas, las necesidades de apoyo de los signatarios, incorporando las perspectivas te ao Māori y reflejando los principios del Tratado de Waitangi / te Tiriti o Waitangi, y la relación entre la Carta y los avances en el tratamiento de las consideraciones de soberanía de datos de los maoríes.

En agosto de 2020, se expresó una gran preocupación de que la Carta no aborda en su totalidad consideraciones importantes, como la Soberanía de los datos de los maoríes, con el comentario de que la Carta “tiene el potencial de discriminar aún más a los maoríes que los sesgos actuales de los datos, los algoritmos y el aprendizaje automático. .” [ 108 ] Los comentaristas de los medios también buscaron la consideración de la soberanía de datos de los maoríes en la Carta, propusieron una supervisión formal y ofrecieron sugerencias de implementación. [ 109 ]

La Carta ha despertado interés internacional, con Stats NZ y Transparency International NZ invitados a unirse a la cohorte piloto de la Red de líderes de OGP, en reconocimiento de la Carta, [ 110 ] Hay evidencia en línea de aceptación por parte del Ministerio de Justicia, [ 111 ] la Corporación de Compensación de Accidentes, [ 112 ] el Ministerio de Desarrollo Social, [ 113 ] y la policía de Nueva Zelanda. [ 114 ] Stats NZ informa en el informe de fin de período del Compromiso que los signatarios han logrado un progreso constante en la implementación de los compromisos, aunque esto difiere considerablemente entre las agencias según la madurez de sus datos y el uso de algoritmos. Espera que la revisión brinde más información sobre cuánto ha mejorado la Carta en la transparencia algorítmica, así como los éxitos y desafíos que las agencias han enfrentado en la implementación de la Carta. [ 115 ] En la actualidad, el cambio en la práctica del gobierno de Nueva Zelanda se encuentra en una etapa inicial.

Las partes interesadas académicas y de las OSC informan que los cambios en el borrador del estatuto después de la consulta reflejaron los comentarios del gobierno, no de la comunidad. Estaban complacidos de que la versión final "diluida" tuviera una amplia aceptación por parte de las agencias y hubiera ganado con éxito una gran cantidad de signatarios. Buscan más profundidad en la Carta con el tiempo a medida que las personas se acostumbran a ella. [ 116 ] Las partes interesadas de la sociedad civil están complacidas de que agencias como la Policía de Nueva Zelanda ahora sean signatarias y que el trabajo inicial haya creado una amplia conciencia sobre la Carta en las discusiones gubernamentales diarias. También señalan que el administrador principal de datos no tiene poder de ejecución en todo el gobierno, que la Carta se aplica de manera diferente entre las agencias, que ninguna ha publicado un catálogo de los algoritmos que están usando y que el documento de apoyo a la implementación de la Carta se entregó al Ministro en 2020 no ha sido publicado. [ 117 ] La dependencia del gobierno de proveedores externos se considera una debilidad, y la capacitación de agencias y proveedores sería útil. [ 118 ]

Las partes interesadas tienen grandes expectativas de que las recomendaciones de la revisión actual establezcan el escenario para la puesta en marcha activa y la expansión de la Carta. Buscan claridad sobre el liderazgo intergubernamental, la supervisión, el monitoreo y la gestión adecuada de datos. Consideran que estos son los requisitos clave para lograr plenamente la ambición de este compromiso de garantizar que los neozelandeses estén informados y tengan confianza en cómo el gobierno usa algoritmos para identificar patrones en los datos.