Saltar navegación

Tres recomendaciones para una IA más inclusiva y equitativa en el sector público

Tres recomendaciones para el uso más incluyente y equitativo de la inteligencia artificial en el sector público

Allison Merchant|

En todo el mundo, las entidades del sector público están explorando cada vez más el uso de algoritmos con el objetivo de mejorar las políticas y la toma de decisiones basadas en datos. Existe un gran potencial para que estos sistemas ayuden a corregir los sesgos de género o a orientar las intervenciones de políticas para cerrar las brechas de equidad en torno al acceso financiero, la contratación y el reclutamiento, las políticas de salud o educación, o diseño de adquisiciones abiertas y toma de decisiones.

Pero esos mismos datos se pueden usar para diseñar o entrenar algoritmos de manera activa o inadvertida para discriminar a las mujeres, las niñas y las personas no binarias que de otro modo podrían calificar para un servicio, beneficio o préstamo. Los gobiernos y los socios de la sociedad civil buscan comprender mejor y abordar los impactos diferenciados por género de los algoritmos en el gobierno abierto y reducir los sesgos humanos en torno a género, raza y etnia, clase, edad y otros datos demográficos.

En el último Red de algoritmos abiertos reunión, los miembros se reunieron para discutir esta intersección de inclusión, gobierno abierto e inteligencia artificial (IA). Esta reunión fue copresidida por el Gobierno de Canadá, con la participación de los Gobiernos de Estonia, Noruega, el Reino Unido y Escocia, así como de los encuestados de la sociedad civil. Muchos en la mesa virtual han comenzado a considerar cuestiones de igualdad, sesgo y discriminación en sus compromisos algorítmicos en los planes de acción de OGP y en las estrategias de IA del gobierno. Muchos de estos compromisos se basan en la idea de que la apertura de datos y el diseño de algoritmos es una vía para reducir el sesgo y la discriminación, y que el proceso de recopilación de datos o diseño es tan importante como el resultado. Como El plan de acción de Escocia señala, “la forma en que los servicios públicos toman decisiones utilizando datos es tan importante como los datos que publican. Esto incluye el uso de inteligencia artificial confiable, ética e inclusiva, como se describe en la estrategia de IA de Escocia”. Finlandia, por ejemplo, preparará un conjunto general de pautas éticas para que el gobierno garantice que los sistemas de IA no estén integrados con modelos discriminatorios directa o indirectamente.

Algorítmico transparencia es un emergente compromiso área para los miembros de OGP, con la mayoría de los compromisos provenientes de las naciones del Norte Global. Pocos hacen referencia explícita a experiencias de género en lugar de discriminación o prejuicio más amplios. A medida que la tecnología de IA esté más disponible e integrada en las políticas y los procedimientos gubernamentales, los actores del gobierno abierto deben ser conscientes de los posibles problemas discriminatorios desde el principio y desarrollar enfoques abiertos, transparentes y equitativos para ayudar a mitigarlos.

Los miembros de Open Algorithm Network recomiendan que los actores del gobierno abierto:

1. Abrir estrategias y proyectos de automatización al público para mejorar la transparencia algorítmica y la rendición de cuentas para más comunidades

Siempre que sea posible, los miembros pueden buscar oportunidades para establecer medidas a través de políticas, leyes, regulación, u otras reformas para promover la transparencia algorítmica. Esto puede tomar la forma de hacer que las políticas o estrategias algorítmicas sean abiertas y accesibles al público, publicar información sobre próximos proyectos para su revisión y comentarios, o involucrar de manera proactiva a las partes interesadas afectadas en torno al diseño y uso de algoritmos.

En Canadá, el Directiva sobre la toma de decisiones automatizada incluye varios requisitos de transparencia, como completar y publicar un Evaluación de impacto algorítmica (AAI); proporcionar avisos y explicaciones a los clientes o al público antes y después de las decisiones; asegurar el acceso a los componentes de un sistema (por ejemplo, para auditorías o investigaciones); publicar el código fuente cuando corresponda; y documentar decisiones automatizadas. Si bien la directiva requiere que los departamentos prueben los datos utilizados por los sistemas automatizados en busca de sesgos no deseados, la publicación de los resultados de las pruebas de sesgo puede ser un desafío debido a los riesgos para la privacidad, la seguridad o la propiedad intelectual. La protección de la privacidad para un pequeño grupo demográfico, por ejemplo, puede entrar en conflicto con los esfuerzos para probar abiertamente los algoritmos en busca de sesgos, un proceso que podría requerir información personal confidencial sobre las personas afectadas por la automatización. Si bien existen estrategias para anonimizar datos como este, esta tensión puede plantear un desafío para desarrollar una comprensión compartida de la transparencia algorítmica equitativa e inclusiva en el sector público.

Otra oportunidad es conectar las estrategias o políticas algorítmicas nacionales con los compromisos de OGP para mejorar su participación y consulta pública, como hemos visto en miembros como Escocia y Canadá. El Gobierno escocés ha seguido abriendo programas algorítmicos a través de desafíos públicos, como un desafío actual sobre IA y discapacidad y acceso inclusivo a los servicios públicos.

2. Utilice evaluaciones al principio del proceso de diseño para comprender el género o inclusión diferencias o prueba de sesgo no intencionado

Las evaluaciones y directrices se pueden utilizar para ayudar a los actores del sector público a identificar y mitigar los riesgos de discriminación y otras formas de desigualdad durante la etapa de diseño de un proyecto. Estas herramientas pueden incluir evaluaciones de género como uno GBA Plus de Canadáanálisis de economía políticaevaluaciones de impacto en los derechos humanos Sólo para nombrar unos pocos. Los miembros acordaron que es mejor implementarlos al principio del proceso y usarlos iterativamente a lo largo de la vida de una política o programa.

El Gobierno de Canadá busca fortalecer las salvaguardias de la Directiva sobre la toma de decisiones automatizada contra resultados discriminatorios para personas o grupos históricamente marginados. La tercera revisión en curso de la directiva propone un nuevo requisito que obliga al terminación de un Análisis Basado en Género Plus durante el desarrollo de la modificación de un sistema automatizado. Esto fomentaría un enfoque interseccional para el diseño de proyectos de automatización, lo que permitiría a los departamentos considerar múltiples factores de identidad como el sexo, el género, la geografía y el idioma al evaluar los impactos potenciales de un sistema en las personas. El gobierno también está trabajando para expandir el AIA para evaluar los impactos potenciales de los proyectos de automatización en personas con discapacidades.

De manera similar, en el Reino Unido, las políticas deben someterse a una Evaluación de impacto en la igualdad, que puede ayudar a identificar oportunidades para promover mejor la igualdad o detectar posibles discriminaciones o efectos negativos de una política o servicio. Esto cubre una variedad de datos demográficos protegidos como la edad, la discapacidad, la reasignación de género, el matrimonio y la unión civil, el embarazo y la maternidad, la raza, la religión o las creencias, el sexo y la orientación sexual.

En Finlandia, aunque la ley existente protege la igualdad y la no discriminación, la primera evaluación del Programa de IA del gobierno pidió la adopción de pautas éticas para desarrollar algoritmos y arquitecturas para evitar sesgos y efectos adversos sobre la dignidad humana y la igualdad. Su compromiso propone la adopción de nuevos métodos de recopilación y uso de datos, el suministro de más datos gubernamentales abiertos de alta calidad, la revisión de regulaciones, la financiación de investigaciones interdisciplinarias a largo plazo sobre los riesgos de la IA, una mayor conciencia de la IA entre los empleados gubernamentales y debates públicos sobre AI.

Si bien las pautas y evaluaciones éticas pueden proporcionar información crítica sobre posibles oportunidades de inclusión o puntos ciegos en la IA, no son un fin en sí mismas. Los sistemas de IA, y los datos que los respaldan, también deben monitorearse regularmente para garantizar la calidad y que los resultados no estén inadvertidamente sesgados en contra de la demografía como las mujeres y las personas con diversidad de género.

3. Utilizar datos abiertos para lograr un diseño representativo y responsable teniendo en cuenta la privacidad y la gestión de datos 

Una mejor información abierta y con información de género puede mejorar la toma de decisiones, la transparencia y la rendición de cuentas en torno a la formulación de políticas, los presupuestos y los servicios públicos. Esto incluye datos representativos que pueden alimentar algoritmos y mejorar los resultados de las decisiones automatizadas, junto con mejores datos generados por los ciudadanos. Por ejemplo, Finlandia está mejorando el acceso público a la información al mejorar la calidad y la usabilidad de los datos abiertos.

Cuándo y cómo usar, analizar y almacenar datos confidenciales, incluidos el sexo, el género y la orientación sexual, son consideraciones de privacidad constantes. Una posible solución propuesta por el Reino Unido es el uso de intermediarios de datos, socios de confianza que pueden facilitar el acceso y el intercambio de datos y apoyar a los gobiernos en la gestión de parte de este riesgo y la posible mitigación de sesgos. También pueden permitir que las personas y las entidades tengan una mayor comprensión de qué datos se recopilan y cuándo y cómo se utilizan.

Mirando hacia el futuro sobre la IA inclusiva 

OGP continuará explorando esta intersección de igualdad de género, diseño y uso algorítmico equitativo, y gobernanza digital con Open Algorithms Network y socios de gobierno abierto. Juntos, intentaremos identificar intervenciones que se puedan adaptar y compartir en toda la Alianza y más allá para el desarrollo de compromisos basados ​​en género sobre políticas algorítmicas y aprender cómo los procesos de gobierno abierto pueden apoyar mejor el diseño conjunto del uso y la regulación de algoritmos que conducir a políticas y prácticas más equitativas.

Comentarios (1)

Prof. Thuli Madonsela Responder

Este es un desarrollo alentador. En el Centro para la Justicia Social de la Universidad de Stellenbosch (SU), hemos estado abogando por el uso de datos suficientemente desagregados para la evaluación prospectiva del impacto en la justicia social o la igualdad de las leyes, políticas y esquemas sociales planificados en el punto de diseño, además de la normal evaluaciones de impacto realizadas durante y después de la implementación. Las dispares medidas de contención de Covid-19, como el bloqueo y los paquetes de apoyo socioeconómico compensatorio, han sido un regalo para resaltar la importancia de las evaluaciones de impacto prospectivas. Este propósito y todos los procesos y las medidas de aprovechamiento de la IA requieren datos adecuadamente desagregados y aprendizaje automático en sintonía con la equidad. Nos encantaría colaborar.

Deje un comentario

Su dirección de correo electrónico no será publicada. Las areas obligatorias están marcadas como requeridas *

Más información

Miniatura de algoritmos y derechos humanos: comprensión de sus impactos Desafíos y soluciones

Algoritmos y derechos humanos: comprensión de sus impactos

Las evaluaciones de impacto algorítmico en derechos humanos han surgido como una herramienta de rendición de cuentas para identificar daños potenciales, mitigar impactos no deseados e informar decisiones políticas sobre el uso de algoritmos en políticas clave...

Miniatura de gobernanza digital en OGP

Gobernanza digital en OGP

Los países de OGP están aprovechando las oportunidades de la tecnología en evolución, como la inteligencia artificial, los algoritmos basados ​​en datos y las redes sociales masivas, al tiempo que desarrollan políticas para hacer frente a las amenazas, incluida la desinformación, ...

Miniatura para Género en OGP

Género en OGP

Los reformadores del gobierno abierto están uniendo fuerzas con los defensores del género y la inclusión en toda la Alianza para reconocer y responder mejor a las realidades vividas por las mujeres, las niñas y las personas en todo el...

Open Government Partnership