Transparencia en la toma de decisiones automatizada (AU0024)

Resumen

El propósito de este compromiso es garantizar una mayor transparencia sobre el uso de la toma de decisiones automatizada (ADM) en el gobierno y contribuir a una Inteligencia Artificial (IA) segura y responsable al tiempo que facilita la innovación. Se pretende lograr esto a través de: • una mejor gobernanza, capacidad y orientación para respaldar el uso seguro y responsable de la IA en Australia; • la consideración de un marco legal consistente que rija la toma de decisiones automatizada por parte de las agencias gubernamentales australianas; y • una mayor transparencia y protección de los derechos personales. Manejo de información por entidades sujetas a la Ley de Privacidad de 1988.

Por qué este compromiso es importante

El cumplimiento de este compromiso tiene como objetivo abordar las preocupaciones de la comunidad sobre la transparencia y la integridad de las decisiones tomadas utilizando sistemas ADM y sobre el uso seguro y responsable de la IA. Es importante que exista un marco legal coherente que respalde el uso de la toma de decisiones automatizada, de modo que los servicios gubernamentales puedan operar de manera ética, sin prejuicios y con las salvaguardias adecuadas. También es necesario respaldar la transparencia y la integridad de las decisiones tomadas utilizando sistemas ADM, incluido el hecho de que las personas puedan solicitar información significativa sobre cómo se toman las decisiones automatizadas, con un efecto legal o igualmente significativo, cuando se utiliza información personal. Estos objetivos se reflejan tanto en la respuesta del Gobierno a la Comisión Real Robodebt que se comprometió a considerar opciones para un marco legal consistente para ADM, como en la respuesta del Gobierno al Informe de Revisión de la Ley de Privacidad. Una mayor transparencia sobre el uso de ADM es parte del fomento de la confianza pública que Australia necesita para aprovechar plenamente los beneficios de la IA, incluidas las oportunidades para mejorar la productividad, facilitar el crecimiento económico y mejorar los resultados para los australianos en materia de salud, educación, medio ambiente y seguridad nacional. Este trabajo ayudará al gobierno australiano a lograr avances en esta área de rápido desarrollo y establecer mecanismos de gobernanza para garantizar que la IA se desarrolle y utilice de manera segura y responsable en Australia. Estos mecanismos pueden incluir regulaciones, estándares, herramientas, marcos, principios y prácticas comerciales.

Áreas de desafío de OGP relacionadas

• Gobernanza digital • Acceso a la información

Cómo se puede medir el impacto de este compromiso

• El gobierno australiano puede demostrar transparencia en el uso de ADM. • Se establecen mecanismos de gobernanza para garantizar que la IA se desarrolle y utilice de manera segura y responsable en Australia.

Otra información relevante, por ejemplo, consultas, trabajos de investigación en curso.

El Departamento de Industria, Ciencia y Recursos (DISR) realizó recientemente una consulta pública sobre IA segura y responsable, que resultó en más de 500 respuestas que reafirmaron las expectativas de la comunidad en torno a la transparencia en el uso de tecnologías de IA, particularmente por parte del gobierno. El gobierno australiano está revisando actualmente estas presentaciones. El 19 de septiembre de 2023, el diputado Hon Ed Husic, Ministro de Industria y Ciencia, y la senadora Katy Gallagher, Ministra de Finanzas, anunciaron el establecimiento del Grupo de Trabajo sobre IA en el Gobierno para centrarse en el uso seguro y responsable de la IA dentro del gobierno. El grupo de trabajo depende del Subcomité sobre el futuro del trabajo de la Junta de Secretarios y está dirigido conjuntamente por la Agencia de Transformación Digital (DTA) y DISR. Está desarrollando enfoques para la gobernanza, la gestión de riesgos, las habilidades y capacidades, y el uso técnico y la preparación para la IA a nivel de todo el gobierno. El Departamento del Fiscal General está avanzando en el trabajo sobre la respuesta del gobierno al informe de revisión de la Ley de Privacidad, que se publicó el 28 de septiembre de 2023, que incluye el acuerdo sobre las propuestas relativas al uso de ADM (propuestas 19.1 a 19.3). La respuesta del gobierno a la Comisión Real Robodebt se comprometió a considerar oportunidades de reforma legislativa para introducir un marco legal consistente en el que la automatización en los servicios gubernamentales pueda operar de manera ética, sin sesgos y con salvaguardias apropiadas, lo que incluirá la consideración de vías de revisión y mecanismos de transparencia (recomendación 17.1). OGP Global tiene más recomendaciones sobre gobernanza digital y toma de decisiones automatizada en su Guía de Gobierno Abierto.

Hitos*

1.1 Grupo de trabajo para actualizar la IA en el gobierno Grupo de trabajo para actualizar la Guía provisional sobre el uso de IA generativa para agencias.

1.2 Publicación de la respuesta del gobierno Respuesta del gobierno al informe de revisión de la Ley de Privacidad

1.3 Respuesta del gobierno Publicación de la respuesta del gobierno a la Comisión Real Robodebt

1.4 Nueva legislación Introducir legislación para proteger la información personal de los australianos, incluso en relación con el uso de ADM.

1.5 Proyecto de desarrollo de políticas AGD para liderar el desarrollo de políticas y el proceso de determinación del alcance de las opciones para desarrollar un marco legislativo integral y consistente para todo el gobierno para ADM en respuesta a la recomendación 17.1 de la Comisión Real Robodebt, incluyendo consultas dentro del gobierno y consultas específicas con partes interesadas externas. Esto incluirá la consideración de opciones para que la automatización de los servicios gubernamentales funcione de manera ética, sin prejuicios y con las salvaguardias adecuadas.

1.6 Consulta pública AGD liderará consultas públicas y asesoramiento sobre opciones para implementar un marco legislativo de todo el gobierno para ADM y finalizar la legislación para su consideración e introducción por parte del Gobierno.

1.7 Implementar un nuevo marco AGD para liderar la implementación de cualquier marco legislativo de todo el gobierno para ADM, incluido el desarrollo de material de orientación y la prestación de asesoramiento a las agencias.

*Es posible que se agreguen hitos adicionales o más detallados en 2024, luego de la consideración del gobierno.

Revisión del plan de acción

Compromiso 1. Transparencia en la toma de decisiones automatizada

Compromiso 1. Transparencia en la toma de decisiones automatizada. Departamento del Procurador General; Oficina del Defensor del Pueblo de la Commonwealth.

Para una descripción completa del compromiso, véase el compromiso 1 en Australia de Open Government Partnership Plan de Acción Nacional 2023-2025.

Contexto y objetivos:

Este compromiso, propuesto por miembros del gobierno, pero que refleja una creciente preocupación pública reconocida por los miembros de la sociedad civil de OGP, [ 1 ] El objetivo es abordar las inquietudes generalizadas en toda Australia sobre las decisiones que toma el gobierno mediante la toma de decisiones automatizada (ADM). En consonancia con el trabajo que el gobierno ya está realizando, responde a la Recomendación 17.1 del informe de la Comisión Real de julio de 2023 sobre el plan Robodebt. [ 2 ] Durante un período de seis años, el programa comparó automáticamente los datos de los beneficiarios de la asistencia social proporcionados a Centrelink con los datos de la Oficina de Impuestos de Australia y envió cartas en las que, por error, exigía a las personas que devolvieran miles de dólares al gobierno. Esto tuvo consecuencias sociales muy graves, incluidos casos de suicidio.

Los primeros tres hitos del compromiso se implementaron en 2023, antes del período de implementación formal de este plan de acción: la publicación de la Inteligencia Artificial (IA) en la Guía provisional actualizada del Grupo de Trabajo del Gobierno sobre el uso de herramientas públicas de IA generativa para agencias en noviembre, [ 3 ] la publicación de la respuesta del gobierno al informe de revisión de la Ley de Privacidad en septiembre, [ 4 ] y publicar la respuesta del gobierno al informe Robodebt de la Comisión Real en noviembre. [ 5 ] Ambas respuestas prevén reformas legales que el compromiso pretende llevar a cabo durante el periodo de implementación.

Potencial de resultados: Sustancial

Este compromiso busca restablecer la confianza pública en el uso que hace el gobierno de la gestión de deudas a través de una nueva legislación que proteja el uso de información personal en las decisiones de gestión de deudas, así como un marco legislativo para la gestión de deudas. Esta es una prioridad para los australianos, como lo demuestra el volumen y la variedad de presentaciones ante la Comisión Real y las cuestiones planteadas en las investigaciones públicas anteriores del Senado sobre el plan Robodebt. [ 6 ] Según el Consejo Jurídico, el sector comunitario, incluida la asistencia jurídica comunitaria, y los numerosos australianos que se vieron afectados por Robodebt fueron los responsables de sacar a la luz los problemas planteados por el plan. [ 7 ] Al aceptar las recomendaciones de la Comisión Real, el Ministro de Servicios Gubernamentales enfatizó la importancia de asegurar que el Robodebt no vuelva a ocurrir, reconociendo el costo que tuvo para aquellos que se quitaron la vida y para sus familias. [ 8 ] Se espera que la legislación que se introduzca con este compromiso garantice que las personas puedan solicitar información significativa sobre cómo se toman decisiones automatizadas al utilizar información personal.

Inicialmente, el compromiso prevé introducir nueva legislación que proteja la información personal, incluso cuando se utiliza ADM, en 2024. El Departamento del Fiscal General (AGD) ha aclarado que la legislación estará acompañada de orientación a las agencias y que la Oficina del Comisionado de Información (OAIC) ​​seguirá asesorando al público sobre este asunto. [ 9 ] La respuesta a la revisión de la Ley de Privacidad comprometió al Gobierno a realizar reformas que brindarán protecciones más fuertes a la privacidad y al mismo tiempo fomentarán la innovación digital. [ 10 ] La propuesta 19.1 de la respuesta del gobierno requiere que las entidades reguladas garanticen que sus políticas de privacidad establezcan los tipos de información personal que se utilizarán en “decisiones sustancialmente automatizadas” que tengan un efecto legal o de otro modo significativo en un individuo, y la propuesta 19.3 propone que los individuos tienen derecho a solicitar información significativa, clara y sin jerga sobre cómo se toman las decisiones automatizadas que tienen un efecto legal (o igualmente significativo) en los derechos de un individuo. [ 11 ] Los medios de comunicación señalan que estas propuestas se inspiran en el artículo 22 del Reglamento General de Protección de Datos (RGPD) de la Unión Europea. [ 12 ] pero se aplicaría a una gama más amplia de toma de decisiones automatizada que la prevista en el RGPD, que se aplica únicamente a decisiones automatizadas, en lugar de decisiones sustancialmente automatizadas. [ 13 ]

En 2025, el compromiso prevé introducir e implementar un marco legislativo transparente para todo el gobierno en materia de automatización de la gestión de decisiones, centrado en la automatización ética y segura de los servicios gubernamentales, junto con el desarrollo de material de orientación y asesoramiento para las agencias. Liderado por AGD, se desarrollará mediante consultas con el gobierno, partes interesadas externas específicas y mediante una consulta pública en 2024-25. La respuesta del gobierno a la Comisión Real indicó que considerará las oportunidades para garantizar un marco legal claro y transparente coherente para la toma de decisiones gubernamentales que involucren la automatización, aprovechando los avances tecnológicos en inteligencia artificial y automatización, y desarrollará un marco legal integral y coherente para respaldar la toma de decisiones automatizada, en consonancia con los principios recomendados por la Comisión Real. [ 14 ]

Los miembros de la sociedad civil del OGF que brindaron comentarios sobre este compromiso reconocieron la escala y la claridad de sus hitos, a través de la legislación propuesta que introduce un cambio vinculante. [ 15 ] Aunque el compromiso no ofrece garantías sobre el alcance particular de la legislación prevista, en mayo de 2024, el Procurador General describió el alcance de la reforma de la Ley de Privacidad que se introducirá en agosto de 2024. [ 16 ] El gobierno ha acordado que los tipos de información personal que se utilizarán en decisiones sustancialmente automatizadas que tengan un efecto legal o similarmente significativo sobre los derechos de un individuo deben estar claramente delineados en las políticas de privacidad. [ 17 ] En junio se promulgó la Ley del Tribunal de Revisión Administrativa de 2024, que sustituyó al Tribunal Administrativo de Apelaciones por el Tribunal de Revisión Administrativa y restableció el Consejo de Revisión Administrativa para apoyar las mejoras continuas en la toma de decisiones administrativas en todo el gobierno. [ 18 ] Como organismo independiente, el Consejo tiene la facultad de determinar cuestiones de investigación relacionadas con sus funciones. El anuncio en mayo de 2024 del próximo Comisionado de Información de Australia sigue dando garantías de que la orientación gubernamental para garantizar la promoción y protección adecuadas del acceso a la información y los derechos a la privacidad seguirá siendo una prioridad máxima. [ 19 ]

Si el gobierno continúa avanzando en este nivel de cambio legislativo relacionado con la regulación de la ADM en el gobierno, la mejora de la transparencia y la protección de la información personal y la mejora de la capacidad y la orientación de gobernanza no legislativa, el potencial de obtener resultados de este compromiso sería sustancial.

Oportunidades, desafíos y recomendaciones durante la implementación

El Gobierno está en condiciones de avanzar en la transparencia de este compromiso. Según las Instrucciones de redacción de Australia, la División de Transparencia y Derecho Administrativo (TAL) de la AGD está facultada para diseñar la nueva legislación del compromiso. [ 20 ] El compromiso también se beneficiará del trabajo paralelo del Grupo de Trabajo sobre Inteligencia Artificial en el Gobierno. [ 21 ] Además, el gobierno estableció un nuevo Grupo de Expertos en Inteligencia Artificial en febrero de 2024 para brindar asesoramiento al Departamento de Industria, Ciencia y Recursos sobre el trabajo inmediato en materia de transparencia, pruebas y rendición de cuentas, incluidas opciones para barreras de protección de la IA en entornos de alto riesgo. [ 22 ] El principal desafío para este compromiso es formular una legislación que aborde tanto la protección de la privacidad como el valor de la transparencia en el gobierno abierto.

Los hitos no legislativos adicionales, que se basan en el trabajo paralelo del gobierno sobre la gestión de los residuos, podrían ayudar a desarrollar e implementar un marco de políticas de gestión de los residuos para todo el gobierno, independientemente de si el marco legislativo de la gestión de los residuos se aprueba en su totalidad. Para apoyar la implementación de este compromiso y aprovechar al máximo el período de dos años de este plan de acción, el IRM recomienda: