En todo el mundo, las entidades del sector público están explorando cada vez más el uso de algoritmos con el objetivo de mejorar las políticas y la toma de decisiones basadas en datos. Existe un gran potencial para que estos sistemas ayuden a corregir los sesgos de género o a orientar las intervenciones de políticas para cerrar las brechas de equidad en torno al acceso financiero, la contratación y el reclutamiento, las políticas de salud o educación, o diseño de adquisiciones abiertas y toma de decisiones.

Pero esos mismos datos se pueden usar para diseñar o entrenar algoritmos de manera activa o inadvertida para discriminar a las mujeres, las niñas y las personas no binarias que de otro modo podrían calificar para un servicio, beneficio o préstamo. Los gobiernos y los socios de la sociedad civil buscan comprender mejor y abordar los impactos diferenciados por género de los algoritmos en el gobierno abierto y reducir los sesgos humanos en torno a géneroLos gobiernos participantes de OGP están trayendo perspectivas de género a áreas de políticas populares, asegurando la diversidad en los procesos participativos y apuntando específicamente a las brechas de género en las políticas para abordar los gobiernos ... Más, raza y etnia, clase, edad y otros datos demográficos.

En el último Red de algoritmos abiertos reunión, los miembros se reunieron para discutir esta intersección de inclusión, gobierno abierto e inteligencia artificial (IA). Esta reunión fue copresidida por el Gobierno de Canadá, con la participación de los Gobiernos de Estonia, Noruega, el Reino Unido y Escocia, así como de los encuestados de la sociedad civil. Muchos en la mesa virtual han comenzado a considerar cuestiones de igualdad, sesgo y discriminación en sus compromisos algorítmicos en los planes de acción de OGP y en las estrategias de IA del gobierno. Muchos de estos compromisos se basan en la idea de que la apertura de datos y el diseño de algoritmos es una vía para reducir el sesgo y la discriminación, y que el proceso de recopilación de datos o diseño es tan importante como el resultado. Como El plan de acción de Escocia señala, “la forma en que los servicios públicos toman decisiones utilizando datos es tan importante como los datos que publican. Esto incluye el uso de inteligencia artificial confiable, ética e inclusiva, como se describe en la estrategia de IA de Escocia”. Finlandia, por ejemplo, preparará un conjunto general de pautas éticas para que el gobierno garantice que los sistemas de IA no estén integrados con modelos discriminatorios directa o indirectamente.

Algorítmico transparenciaDe acuerdo con los Artículos de Gobernanza de OGP, la transparencia ocurre cuando "la información en poder del gobierno (incluidas las actividades y decisiones) es abierta, completa, oportuna y está disponible gratuitamente para el público... Más es un emergente compromisoLos compromisos de OGP son promesas de reforma creadas conjuntamente por los gobiernos y la sociedad civil y presentadas como parte de un plan de acción. Los compromisos suelen incluir una descripción del problema, una acción concreta... área para los miembros de OGP, con la mayoría de los compromisos provenientes de las naciones del Norte Global. Pocos hacen referencia explícita a experiencias de género en lugar de discriminación o prejuicio más amplios. A medida que la tecnología de IA esté más disponible e integrada en las políticas y los procedimientos gubernamentales, los actores del gobierno abierto deben ser conscientes de los posibles problemas discriminatorios desde el principio y desarrollar enfoques abiertos, transparentes y equitativos para ayudar a mitigarlos.

Los miembros de Open Algorithm Network recomiendan que los actores del gobierno abierto:

1. Abrir estrategias y proyectos de automatización al público para mejorar la transparencia algorítmica y la rendición de cuentas para más comunidades

Siempre que sea posible, los miembros pueden buscar oportunidades para establecer medidas a través de políticas, leyes, regulaciónLos reformadores del gobierno están desarrollando regulaciones que consagran valores de transparencia, participación y rendición de cuentas en las prácticas gubernamentales. Especificaciones técnicas: Acta de creación o reforma..., u otras reformas para promover la transparencia algorítmica. Esto puede tomar la forma de hacer que las políticas o estrategias algorítmicas sean abiertas y accesibles al público, publicar información sobre próximos proyectos para su revisión y comentarios, o involucrar de manera proactiva a las partes interesadas afectadas en torno al diseño y uso de algoritmos.

En Canadá, el Directiva sobre la toma de decisiones automatizada incluye varios requisitos de transparencia, como completar y publicar un Evaluación de impacto algorítmica (AAI); proporcionar avisos y explicaciones a los clientes o al público antes y después de las decisiones; asegurar el acceso a los componentes de un sistema (por ejemplo, para auditoríasLos marcos institucionales y legales son necesarios para garantizar la integridad de la información financiera y el cumplimiento de las normas y procedimientos presupuestarios. Especificaciones técnicas: Estos... o investigaciones); publicar el código fuente cuando corresponda; y documentar decisiones automatizadas. Si bien la directiva requiere que los departamentos prueben los datos utilizados por los sistemas automatizados en busca de sesgos no deseados, la publicación de los resultados de las pruebas de sesgo puede ser un desafío debido a los riesgos para la privacidad, la seguridad o la propiedad intelectual. La protección de la privacidad para un pequeño grupo demográfico, por ejemplo, puede entrar en conflicto con los esfuerzos para probar abiertamente los algoritmos en busca de sesgos, un proceso que podría requerir información personal confidencial sobre las personas afectadas por la automatización. Si bien existen estrategias para anonimizar datos como este, esta tensión puede plantear un desafío para desarrollar una comprensión compartida de la transparencia algorítmica equitativa e inclusiva en el sector público.

Otra oportunidad es conectar las estrategias o políticas algorítmicas nacionales con los compromisos de OGP para mejorar su participación y consulta pública, como hemos visto en miembros como Escocia y Canadá. El Gobierno escocés ha seguido abriendo programas algorítmicos a través de desafíos públicos, como un desafío actual sobre IA y discapacidad y acceso inclusivo a los servicios públicos.

2. Utilice evaluaciones al principio del proceso de diseño para comprender el género o inclusiónLos gobiernos participantes de OGP están trabajando para crear gobiernos que realmente sirvan a todas las personas. Los compromisos en este ámbito pueden abordar personas con discapacidad, mujeres y niñas, lesbianas, gays, bisexuales, tr... Más diferencias o prueba de sesgo no intencionado

Las evaluaciones y directrices se pueden utilizar para ayudar a los actores del sector público a identificar y mitigar los riesgos de discriminación y otras formas de desigualdad durante la etapa de diseño de un proyecto. Estas herramientas pueden incluir evaluaciones de género como GBA Plus de Canadá, análisis de economía políticao evaluaciones de impacto en los derechos humanos Sólo para nombrar unos pocos. Los miembros acordaron que es mejor implementarlos al principio del proceso y usarlos iterativamente a lo largo de la vida de una política o programa.

El Gobierno de Canadá busca fortalecer las salvaguardias de la Directiva sobre la toma de decisiones automatizada contra resultados discriminatorios para personas o grupos históricamente marginados. La tercera revisión en curso de la directiva propone un nuevo requisito que obliga al terminaciónLos implementadores deben cumplir con sus compromisos para lograr el impacto. Para cada compromiso, el Mecanismo de Informes Independientes (IRM) de OGP evalúa el grado en que las actividades describen... Más de un Análisis Basado en Género Plus durante el desarrollo de la modificación de un sistema automatizado. Esto fomentaría un enfoque interseccional para el diseño de proyectos de automatización, lo que permitiría a los departamentos considerar múltiples factores de identidad como el sexo, el género, la geografía y el idioma al evaluar los impactos potenciales de un sistema en las personas. El gobierno también está trabajando para expandir el AIA para evaluar los impactos potenciales de los proyectos de automatización en personas con discapacidadesUn gobierno no está abierto a menos que sea accesible para todos, y los gobiernos están trabajando para garantizar que las personas con discapacidades reciban servicios equitativos y oportunidades para participar. Especificaciones técnicas....

De manera similar, en el Reino Unido, las políticas deben someterse a una Evaluación de impacto en la igualdad, que puede ayudar a identificar oportunidades para promover mejor la igualdad o detectar posibles discriminaciones o efectos negativos de una política o servicio. Esto cubre una variedad de datos demográficos protegidos como la edad, la discapacidad, la reasignación de género, el matrimonio y la unión civil, el embarazo y la maternidad, la raza, la religión o las creencias, el sexo y la orientación sexual.

En Finlandia, aunque la ley existente protege la igualdad y la no discriminación, la primera evaluación del Programa de IA del gobierno pidió la adopción de pautas éticas para desarrollar algoritmos y arquitecturas para evitar sesgos y efectos adversos sobre la dignidad humana y la igualdad. Su compromiso propone la adopción de nuevos métodos de recopilación y uso de datos, el suministro de más datos gubernamentales abiertos de alta calidad, la revisión de regulaciones, la financiación de investigaciones interdisciplinarias a largo plazo sobre los riesgos de la IA, una mayor conciencia de la IA entre los empleados gubernamentales y debates públicos sobre AI.

Si bien las pautas y evaluaciones éticas pueden proporcionar información crítica sobre posibles oportunidades de inclusión o puntos ciegos en la IA, no son un fin en sí mismas. Los sistemas de IA, y los datos que los respaldan, también deben monitorearse regularmente para garantizar la calidad y que los resultados no estén inadvertidamente sesgados en contra de la demografía como las mujeres y las personas con diversidad de género.

3. Utilizar datos abiertosAl abrir los datos y hacerlos compartibles y reutilizables, los gobiernos pueden permitir un debate informado, una mejor toma de decisiones y el desarrollo de nuevos servicios innovadores. Especificaciones técnicas: Póliza... para lograr un diseño representativo y responsable teniendo en cuenta la privacidad y la gestión de datos 

Una mejor información abierta y con información de género puede mejorar la toma de decisiones, la transparencia y la rendición de cuentas en torno a la formulación de políticas, los presupuestos y los servicios públicos. Esto incluye datos representativos que pueden alimentar algoritmos y mejorar los resultados de las decisiones automatizadas, junto con mejores datos generados por los ciudadanos. Por ejemplo, Finlandia está mejorando el acceso público a la información al mejorar la calidad y la usabilidad de los datos abiertos.

Cuándo y cómo usar, analizar y almacenar datos confidenciales, incluidos el sexo, el género y la orientación sexual, son consideraciones de privacidad constantes. Una posible solución propuesta por el Reino Unido es el uso de intermediarios de datos, socios de confianza que pueden facilitar el acceso y el intercambio de datos y apoyar a los gobiernos en la gestión de parte de este riesgo y la posible mitigación de sesgos. También pueden permitir que las personas y las entidades tengan una mayor comprensión de qué datos se recopilan y cuándo y cómo se utilizan.

Mirando hacia el futuro sobre la IA inclusiva 

OGP continuará explorando esta intersección de igualdad de género, diseño y uso algorítmico equitativo, y gobernanza digitalA medida que las tecnologías en evolución presentan nuevas oportunidades para que los gobiernos y los ciudadanos promuevan la apertura y la responsabilidad, los gobiernos participantes de OGP están trabajando para crear políticas que aborden el... Más con Open Algorithms Network y socios de gobierno abierto. Juntos, intentaremos identificar intervenciones que se puedan adaptar y compartir en toda la Alianza y más allá para el desarrollo de compromisos basados ​​en género sobre políticas algorítmicas y aprender cómo los procesos de gobierno abierto pueden apoyar mejor el diseño conjunto del uso y la regulación de algoritmos que conducir a políticas y prácticas más equitativas.