Explorar y establecer un proceso para la rendición de cuentas de la IA en la ciudad de Austin (USAU0007)

ID de compromiso

Estados Unidos U0007

Título del compromiso

Explorar y establecer un proceso para la rendición de cuentas de la IA en la ciudad de Austin

Problema

Las herramientas de inteligencia artificial (IA) se están desarrollando rápidamente y las organizaciones gubernamentales las están adoptando para una variedad de tareas y servicios. Muchas se comunican directamente con los residentes y/o influyen en las decisiones y los resultados para ellos. Sin embargo, debido a su diseño, estas herramientas pueden generar resultados sesgados o incorrectos y podrían usarse de manera indebida o abusiva. Actualmente, los gobiernos carecen de un marco sólido y sistemático para identificar, evaluar y abordar los sesgos, los errores y el abuso en las herramientas de IA.

Status quo

Es bien conocida la tendencia de las herramientas de IA actuales a producir información sesgada e incorrecta; sin embargo, las soluciones para abordar este problema son inconsistentes. Van desde asignar responsabilidad al desarrollador del software hasta realizar pruebas y monitoreo dentro de la organización, pasando por aceptar sesgos y errores como parte de las herramientas de IA disponibles actualmente y mitigar las situaciones a medida que ocurren. Se han producido múltiples casos de resultados perjudiciales para los residentes debido a sesgos y errores de las herramientas de IA empleadas por el gobierno, pero no existe un enfoque acordado para evaluarlos, monitorearlos, identificarlos y abordarlos de manera proactiva.

Acción

La ciudad de Austin creará, probará e implementará en conjunto un marco para la rendición de cuentas en materia de IA en la organización. Esto incluye procesos compartidos para evaluar las herramientas de IA que se están considerando para su compra y uso, a fin de comprender su estructura, su potencial de sesgo y las medidas de mitigación. El marco también creará estructuras para que el personal de la ciudad y los residentes detecten y denuncien casos de errores, sesgo y abuso de la IA, y procedimientos para investigar y abordar estos casos. La intención es garantizar la seguridad y la precisión de las herramientas de IA que emplea la ciudad, y que reflejen el valor de la comunidad de Austin y generen confianza entre el gobierno y los ciudadanos.

¿Cómo contribuirá el compromiso a la solución del problema público descrito anteriormente?

La creación conjunta de un marco estándar y compartido para la rendición de cuentas en materia de IA crea una base de confianza y una cultura de prevención proactiva en lo que respecta a los sesgos, errores y abusos de la IA. Tanto la organización de la ciudad como la comunidad de Austin ven el potencial del ecosistema de IA, que avanza rápidamente, pero también comprenden los riesgos y las deficiencias que conllevan las herramientas actuales. Al crear un marco para asignar responsabilidades, mitigar los riesgos y abordar los desafíos, creamos una base sólida para el desarrollo y la adopción de una IA segura, ética y eficaz en el futuro.

¿Con qué objetivo a largo plazo identificado en su estrategia de gobierno abierto se relaciona este compromiso?

A largo plazo, queremos mejorar la capacidad de la ciudad para evaluar y adoptar con éxito tecnologías emergentes de una manera segura, equitativa y ética. Para lograrlo, es fundamental crear un marco basado en la confianza, la rendición de cuentas y el compromiso con la comunidad. La rendición de cuentas en materia de IA en el gobierno también es un tema prioritario en las conversaciones nacionales e internacionales, y este trabajo ayudará a impulsar materialmente la práctica allí y creará una oportunidad para que otros adapten el marco para su uso en sus jurisdicciones.

Área de política primaria

Gobernanza digital

Sector primario

Tecnología científica

¿A qué valor de OGP es relevante este compromiso?