El uso cada vez mayor de algoritmos para los procesos de toma de decisiones puede presentar riesgos y tener impactos nocivos en la privacidad y el ejercicio de los derechos. derechos humanosUna parte esencial del gobierno abierto incluye proteger las libertades y los derechos sagrados de todos los ciudadanos, incluidos los grupos más vulnerables, y responsabilizar a quienes violan los derechos humanos. T.... Las evaluaciones de impacto algorítmico en derechos humanos han surgido como una herramienta de rendición de cuentas para identificar daños potenciales, mitigar impactos no deseados e informar decisiones políticas sobre el uso de algoritmos en áreas políticas clave, incluida la salud y educaciónLa rendición de cuentas dentro del sistema de educación pública es clave para mejorar los resultados y logros, y la rendición de cuentas es casi imposible sin políticas transparentes y oportunidades de participación.... 

Las agencias gubernamentales de Canadá, Finlandia, los Países Bajos, Escocia y el Reino Unido implementan los compromisos de OGP sobre algoritmos abiertos que se cumplieron durante Open Gov Week para discutir cómo los principios y marcos de derechos humanos pueden incorporarse a las herramientas de rendición de cuentas para el uso de algoritmos en el sector público. Estos son los tres aspectos más destacados de la discusión: 

Evaluaciones Algorítmicas de Impacto y Derechos Humanos

Varios países han desarrollado evaluaciones de impacto algorítmicas en los últimos años para abordar las preocupaciones sobre las posibles consecuencias no deseadas de la introducción de algoritmos en la toma de decisiones. Algunos se enmarcan explícitamente en términos de derechos humanos que proporcionan un marco sustantivo para evaluar los efectos de los algoritmos en las personas, frente a las protecciones legales y constitucionales existentes. Por ejemplo, los Países Bajos Evaluación de impacto de algoritmos y derechos fundamentales (FRAIA) es una herramienta para instituciones públicas que están considerando desarrollar o comprar un sistema algorítmico. Requiere que analicen el por qué (propósito), el qué (datos y procesamiento de datos) y el cómo (implementación y uso) del algoritmo. Es importante destacar que garantiza que los responsables de la toma de decisiones realicen una evaluación del posible impacto del uso de algoritmos en derechos humanos específicos. Utiliza un enfoque cualitativo y orientado al diálogo, que requiere consultas con las partes interesadas y la consideración de diferentes compensaciones para llegar a una decisión final sobre si proceder y cómo hacerlo.

Otro ejemplo es Canadá Herramienta de evaluación de impacto algorítmico (AIA). La AIA apoya la Directiva de la Junta del Tesoro sobre la toma de decisiones automatizada determinando el nivel de impacto de un proyecto de automatización, que va de I (poco o ningún impacto) a IV (muy alto impacto). Identifica y evalúa los impactos potenciales sobre las personas y las comunidades en una variedad de áreas, incluidos los derechos y libertades, la salud y el bienestar, los intereses económicos y la sostenibilidad del ecosistema. Si bien la versión actual de la AIA no se refiere a instrumentos específicos de derechos humanos, la intención es dar cuenta de los impactos potenciales sobre los derechos consagrados en el derecho nacional e internacional de derechos humanos.

Otros países están desarrollando un enfoque sectorial, como el Reino Unido marco de evaluación de impacto para la Plataforma Nacional de Imagen Médica del Servicio Nacional de Salud.

Involucrar al público en las evaluaciones de impacto algorítmico 

Existe la necesidad de fortalecer tanto el conocimiento público de los algoritmos como la participación pública en la deliberación y toma de decisiones relacionadas con su uso. En medio de varias controversias públicas (por ejemplo en el Países Bajos y del Reino Unido), el escepticismo está muy extendido. El compromiso significativo es un requisito previo para generar confianza pública en el potencial positivo de la toma de decisiones algorítmica mientras se mitigan los daños potenciales. 

El Centro Europeo para la Ley sin Fines de Lucro (ECNL) presentó una revisión de la participación de las partes interesadas en las Evaluaciones de Impacto en los Derechos Humanos e identificó oportunidades para el aprendizaje entre países. La naturaleza técnica indudable de los algoritmos a menudo se ha percibido como una barrera importante para la participación pública. Pero la revisión demostró que los ciudadanos no necesitan conocer los detalles técnicos de un algoritmo para comprender y deliberar sus impactos finales en la vida cotidiana, o cómo puede interrumpir (para bien o para mal) los procesos tradicionales de toma de decisiones. 

Por ejemplo, el Reino Unido lideró un ejercicio deliberativo de participación pública que dio como resultado el desarrollo de la Estándar de transparencia algorítmica para su uso en todo el sector público. Otros países han integrado estas preguntas en foros que analizan temas más amplios relacionados con la tecnología digital, incluido el de Escocia. Panel de Personas de Ética Digital y 'Digitalización para la vida cotidiana' de Finlandia Junta Asesora. 

Capacitación de funcionarios gubernamentales sobre el uso de evaluaciones de impacto algorítmicas 

La capacitación del servicio civil ya se está dando en muchos países en relación con los procesos participativos y la participación ciudadana, algunos están comenzando a enfocarse más en los algoritmos, pero esta aún es un área emergente. Por ejemplo, los Países Bajos han desarrollado pautas y capacitación para funcionarios públicos. En Finlandia, la atención se centra en crear una comprensión de los algoritmos entre las agencias gubernamentales dado que los roles se distribuyen entre diferentes organizaciones. En Canadá, el gobierno federal ha desarrollado módulos de formación para servidores públicos que exploran los riesgos, desafíos y ética de las tecnologías de IA. Los formuladores de políticas que supervisan la directiva y la herramienta AIA también ayudan regularmente a las instituciones federales a completar y publicar Evaluaciones de impacto algorítmico en el Portal de gobierno abierto. 

A medida que aumenta el uso de algoritmos e inteligencia artificial en los gobiernos en los procesos de toma de decisiones, las evaluaciones de impacto en los derechos humanos y el compromiso público que las acompaña son vitales para garantizar que esta tecnología no refuerce ni exacerbe las desigualdades existentes en nuestras sociedades. Esperamos que los ejemplos y lecciones anteriores puedan respaldar los esfuerzos de los gobiernos y la sociedad civil para promover la rendición de cuentas algorítmica, incluso como parte de sus planes de acción de OGP.