Saltar navegación

Toma de decisiones automatizada, algoritmos e inteligencia artificial

Los gobiernos utilizan cada vez más la toma de decisiones automatizada (ADM) para evaluar la elegibilidad para recibir beneficios gubernamentales, detectar fraudes y asignar recursos. La ADM puede potencialmente hacer que los gobiernos sean más justos, más eficientes y más eficaces. Sin embargo, para hacerlo necesita supervisión y salvaguardias adecuadas. Sin salvaguardias, la ADM puede reproducir o amplificar los sesgos existentes en negando prestaciones sociales, identificando erróneamente gente inocente, o mal diagnosticando enfermedad. En el contexto de la actividad del sector privado, el uso de sistemas y algoritmos ADM también se beneficia de salvaguardias que equilibran la innovación con la protección de los derechos. Mejorar la transparencia, la participación y la rendición de cuentas puede ayudar a maximizar los beneficios y minimizar los daños.

Desafío de gobierno abierto: gobernanza digital

Con OGP Estrategia 2023-2028, los miembros de OGP están listos para trabajar hacia una serie de reformas temáticas a las que aspiran a través del Desafío de gobierno abierto. Esta sección de la Guía de Gobierno Abierto aborda la Gobernanza Digital.

Mensaje de desafío: Fortalecer la transparencia y la supervisión pública de la IA, la toma de decisiones automatizada y los marcos de protección de datos.

Las acciones y reformas que encajan dentro del alcance de esta área de desafío son:

  • Hacer que los datos subyacentes estén disponibles públicamente (por ejemplo, a través de registros de transparencia para algoritmos).
  • Incorporar evaluaciones de impacto sobre los derechos humanos.
  • Crear mecanismos públicos de reclamación.
  • Crear o fortalecer organismos de supervisión independientes.
  • Crear oportunidades específicas de participación pública.
  • Crear mecanismos específicos para promover la inclusión digital en IA, toma de decisiones automatizada y marcos de protección de datos y prevenir la discriminación y desinformación en línea basada en su uso.
  • Reformas que protejan los datos personales y los marcos de privacidad mediante el establecimiento de mecanismos y requisitos de transparencia, rendición de cuentas y consentimiento.

Términos clave

Definiciones de términos clave como transparencia algorítmica y toma de decisiones automatizada (ADM).

  • Transparencia algorítmica: La transparencia algorítmica es la capacidad o permiso (ability de actores internos o externos para obtener información, monitorear, probar, criticar o evaluar la lógica, los procedimientos y el desempeño de un sistema algorítmico.
  • Toma de decisiones automatizada (ADM): ADM es el procesamiento de datos personales utilizando medios digitales, ya sea sin participación humana o en sistemas híbridos donde una parte de la toma de decisiones se lleva a cabo mediante algoritmos.
    • ADM incluye la toma de decisiones algorítmica, que utiliza algoritmos de inteligencia artificial (IA) para procesar datos y realizar análisis estadísticos para automatizar o respaldar un proceso de toma de decisiones.
  • Autoridad de Protección de Datos (DPA): En muchas jurisdicciones, la DPA supervisa y regula la toma de decisiones algorítmicas y el procesamiento de datos personales. Los poderes pueden incluir emitir regulaciones y directrices, escuchar quejas e investigar cuestiones de interés.

La evidencia

Debido a que es un área de trabajo relativamente nueva, se necesita más investigación para comprender los enfoques de gobierno abierto más efectivos para gobernar la ADM. Investigación tempranaSin embargo, muestra que aumentar la transparencia, la participación cívica y la rendición de cuentas pública tienen un efecto positivo.

  • Escrutinio público Se ha demostrado que el uso de algoritmos ayuda a identificar sesgos según el estatus social, el género y otras características.
  • Explicación de cómo funcionan los sistemas ADM puede generar confianza con el público y crear vías de participación, con recientes iniciativas participativas demostrando que el público puede investigar temas altamente técnicos.
  • ADM se ha utilizado eficazmente para respaldar prácticas de gobierno abierto, como la detección de fraude o corrupción. Por ejemplo, Valencia, España sistema SALER permite a funcionarios y miembros del público señalar conflictos de intereses en el proceso de contratación pública.

Orientación para la reforma

Las recomendaciones a continuación representan reformas que los gobiernos nacionales y locales, los representantes de las organizaciones de la sociedad civil y otros pueden considerar para sus planes de acción y la Desafío de gobierno abierto. Las reformas se clasifican según los principales valores de OGP: transparencia, participación cívica y responsabilidad pública. Las reformas deben adaptarse al contexto interno e involucrar y coordinar con otros niveles y ramas del gobierno.

Las reformas en todas las áreas de políticas también están marcadas por el grado estimado de dificultad de implementación. Aunque el progreso a menudo no es lineal, las recomendaciones se han categorizado utilizando estas etiquetas para darle al lector una idea de cómo diferentes reformas pueden trabajar juntas para aumentar la ambición de los enfoques de gobierno abierto.

Clave de reformas recomendadas

  • Transparencia: La transparencia empodera a los ciudadanos para ejercer sus derechos, exigir responsabilidades al gobierno y participar en los procesos de toma de decisiones. Ejemplos de actividades relevantes incluyen la publicación proactiva o reactiva de información en poder del gobierno, marcos legales o institucionales para fortalecer el derecho de acceso a la información y la divulgación de información utilizando estándares de datos abiertos.

  • Participación cívica: Cuando las personas participan, los gobiernos y las instituciones públicas son más receptivos, innovadores y eficaces. Ejemplos de iniciativas relevantes incluyen procesos y mecanismos nuevos o mejorados para que el público contribuya a las decisiones, mecanismos participativos para involucrar a grupos subrepresentados en la formulación de políticas y un entorno legal que garantice los derechos civiles y políticos.

  • Responsabilidad pública: La rendición de cuentas pública ocurre cuando las instituciones públicas deben justificar sus acciones, actuar según los requisitos y críticas y asumir la responsabilidad por el incumplimiento de las leyes o compromisos. Es importante destacar que la rendición de cuentas pública significa que los miembros del público también pueden acceder y activar mecanismos de rendición de cuentas. Ejemplos de actividades relevantes incluyen auditorías ciudadanas del desempeño, mecanismos o instituciones nuevos o mejorados que responden a procesos de apelaciones iniciados por los ciudadanos y un mejor acceso a la justicia.

  • Inclusión: La inclusión es fundamental para lograr políticas más equitativas, representativas y responsables que realmente sirvan a todas las personas. Esto incluye aumentar la voz, la agencia y la influencia de grupos históricamente discriminados o subrepresentados. Dependiendo del contexto, los grupos tradicionalmente subrepresentados pueden experimentar discriminación por motivos de género, identidad sexual, raza, etnia, edad, geografía, diferentes capacidades, estatus legal o socioeconómico.

  • Fundacional: Esta etiqueta se utiliza para reformas que son los pilares esenciales de un área de políticas. “Fundacional” no significa baja ambición o bajo impacto. Estas recomendaciones a menudo establecen marcos legales y estructuras institucionales básicas.

  • Intermedio: Esta etiqueta se utiliza para reformas que son complejas y que a menudo implican coordinación y extensión entre poderes, instituciones y niveles de gobierno, con el público o entre países.

  • Avanzado: Esta etiqueta se utiliza para reformas que cierran lagunas importantes para hacer que el trabajo existente sea más efectivo e impactante. Específicamente, las reformas “avanzadas” son particularmente ambiciosas, innovadoras o cierran lagunas importantes para hacer que el trabajo existente sea más efectivo, impactante o sostenible. A menudo se aplican en entornos maduros donde buscan institucionalizar una buena práctica que ya ha mostrado resultados.

  • Ejecutivo: El poder ejecutivo del gobierno es responsable de diseñar, implementar y hacer cumplir leyes, políticas e iniciativas. Por lo general, está dirigido por el jefe de Estado o de gobierno, como el presidente o el primer ministro, junto con los miembros de su gabinete designados. Las funciones del poder ejecutivo también incluyen supervisar las operaciones diarias del gobierno, gestionar los asuntos exteriores y dirigir las fuerzas armadas del país. En los sistemas democráticos, el poder ejecutivo es responsable ante el legislativo y el electorado, con sus poderes y limitaciones descritos en la constitución o el marco legal del país respectivo.

  • Legislativo: El poder legislativo del gobierno es responsable de elaborar leyes y reglamentos y de supervisar el funcionamiento del gobierno. Por lo general, consta de un cuerpo de representantes electos, como un parlamento, congreso o asamblea, que tiene la tarea de proponer, debatir, modificar y, en última instancia, aprobar leyes. El poder legislativo desempeña un papel crucial en la representación de los intereses del pueblo, ya que sus miembros son elegidos para sus cargos por el público. Además de elaborar leyes, esta rama a menudo tiene el poder de recaudar impuestos, asignar fondos y realizar ciertas investigaciones sobre asuntos de interés público. La estructura y los poderes del poder legislativo generalmente se describen en la constitución o el marco legal de un país, y sirve como control de los poderes ejecutivo y judicial para garantizar un sistema de controles y equilibrios dentro de un estado.

Ejemplos de reformas de OGP y más allá

Los siguientes ejemplos son compromisos asumidos previamente dentro o fuera de OGP que demuestran elementos de las recomendaciones hechas anteriormente. Esta es un área de enfoque emergente para los miembros de OGP, con compromisos recientes asumidos sobre ADM.

Reformas de la OGP
  • CANADÁ Evaluaciones de impacto algorítmicas en ADM: Requiere agencias que utilizan ADM para realizar y publicar evaluaciones de impacto antes del despliegue de cualquier sistema ADM y para actualizar el sistema cuando haya un cambio en su funcionalidad o alcance.
  • PAÍSES BAJOS Guía para hacer accesibles los algoritmos: Compromiso hasta establecer una guía y un árbol de decisiones para las agencias, incluyendo guías y herramientas para hacer que los algoritmos estén disponibles abiertamente.
  • NUEVA ZELANDA Planes para implementar la Carta de Algoritmos: Compromiso para implementar su Carta de algoritmos, como consultar con las agencias que firmaron la carta para priorizar las recomendaciones relacionadas con la comprensión y el abordaje del riesgo de utilizar algoritmos en su trabajo.
  • ESCOCIA, REINO UNIDO Medidas de Transparencia para la Toma de Decisiones Gubernamentales: Compromiso para aumentar la accesibilidad de los datos gubernamentales, como la apertura de datos relacionados con la toma de decisiones gubernamentales y el desarrollo de un registro público de algoritmos de IA.
  • URUGUAY Órgano de supervisión de múltiples partes interesadas para el uso de IA: Compromiso a la creación de un organismo de supervisión de múltiples partes interesadas sobre el uso de la IA por parte del gobierno.
Más allá de los planes de acción de OGP
  • UNIÓN EUROPEA Requerir intervención humana en sistemas de IA: Requiere explícitamente intervención humana en sistemas de inteligencia artificial de alto riesgo, como software de reconocimiento facial y sistemas para evaluar la elegibilidad de las personas físicas para recibir beneficios públicos y su solvencia.
  • NIGERIA Proceso DPA para aumentar la eficacia de la auditoría: Establecidas un proceso para otorgar licencias y registrar auditores autorizados, realizar capacitación y brindar consultoría sobre el cumplimiento de la protección de datos.
  • SUDÁFRICA Aplicación de la DPA para proteger los datos personales: Bajo mandato tomar medidas para limitar o detener el procesamiento de datos personales, con base en un período de tiempo específico donde el controlador de datos debe cumplir con la decisión de la DPA.

El papel de los gobiernos locales

Los gobiernos locales suelen ser los compradores o desarrolladores de sistemas ADM. Desempeñan un papel especial a la hora de garantizar que dichos sistemas cumplan sus propios objetivos, incluidos la eficacia, la eficiencia, la equidad y la explicabilidad. Estos objetivos deben hacerse transparentes para el público y explicarse a los intermediarios, como los periodistas.

Es verdad que la varias ciudades (como Ámsterdam, Nueva York y Nantes) han sido mucho más rápidos que sus homólogos nacionales a la hora de publicitar su uso de ADM, por ejemplo a través de registros algorítmicos. A falta de legislación nacional, los gobiernos provinciales y estatales a menudo han liderado reformas legales e innovaciones en el área de la transparencia.

Por supuesto, es posible que muchos gobiernos o agencias locales no tengan la capacidad de evaluar ciertos sistemas ADM. En este caso, pueden tener un papel especial al actuar juntos para evaluar los méritos de diferentes sistemas y proveedores.


¿Quién está trabajando en este tema?

A
Australia Australia
B
Bulgaria Bulgaria
C
Canadá Canadá
E
Estonia Estonia
F
Finlandia Finlandia
Francia Francia
G
Alemania Alemania
I
Italia Italia
K
Kenia Kenia
N
Países Bajos Países Bajos
Nueva Zelanda Nueva Zelanda
Noruega
O
Ontario, Canadá
Q
Quebec, Canadá
S
Escocia, Reino Unido
España España
U
Ucrania Ucrania
Reino Unido Reino Unido
Uruguay Uruguay

Esta lista refleja los miembros con compromisos en el área de políticas de “Toma de decisiones automatizada” del Panel de datos.


Socios activos de OGP

Las siguientes organizaciones han trabajado recientemente en este tema en el contexto de OGP a nivel nacional o internacional. Es posible que tengan ideas adicionales sobre el tema. Tenga en cuenta que esta lista no es exhaustiva. Si está interesado en iniciativas a nivel nacional, comuníquese con research@opengovpartnership.org.


Datos de evaluación comparativa

El Estrategia OGP 2023-2028 establece el Desafío de gobierno abierto y tiene como objetivo proporcionar puntos de referencia claros para el desempeño a través de datos confiables.

Si bien los puntos de referencia para países individuales y Guía de Gobierno Abierto Las recomendaciones aún no están integradas; para este capítulo, las personas interesadas pueden confiar en los siguientes conjuntos de datos:

  • Datos para el desarrollo (D4D) liberará el Índice global sobre IA responsable sobre la calidad de la supervisión de la IA, incluida la adhesión a los valores de transparencia, participación cívica y responsabilidad pública de OGP.
  • Protección de datos África, gestionado por ALT Advisory, mapea las leyes de protección de datos en 55 países del continente.
  • Los compromisos de OGP sobre este tema se pueden encontrar en el Panel de datos.

Orientación y estándares

Si bien la lista siguiente no es exhaustiva, su objetivo es proporcionar una variedad de recomendaciones, estándares y análisis para guiar la reforma en esta área de políticas.

  • Instituto Ada Lovelace, Instituto AI Now, y el Unidad de Apoyo OGP colaboró ​​en un publicación que extrae lecciones de ejemplos de implementación de políticas del sector público relacionados con la responsabilidad algorítmica. El recurso incluye un análisis de los límites de los mecanismos legales y políticos para garantizar sistemas algorítmicos seguros y responsables.
  • ALT Advisory (Sudáfrica) y el Unidad de Apoyo OGP publicado Protección de datos en África: una encuesta sobre el progreso de los miembros, que tiene como objetivo analizar el contexto y las principales barreras para una protección de datos efectiva entre los miembros de OGP en África. También hace recomendaciones que fortalecen la protección de datos en la región.
  • El Universidad Adolfo Ibáñez y el Unidad de Apoyo OGP condujo un revisión del estado de la evidencia de estándares y recomendaciones de transparencia algorítmica y rendición de cuentas, que informaron al “Transparencia Algorítmica”capítulo de la edición 2022 del Guía del escéptico para el gobierno abierto.
  • El Asamblea General de las Naciones Unidas publicado una nueva resolución en marzo de 2024 sobre aprovechar oportunidades para sistemas de IA seguros y confiables para el desarrollo sostenible.
  • Conectado por datos producido una reporte sobre cómo asegurar compromisos significativos sobre la gobernanza de datos y la IA, luego de un taller de diseño en la Cumbre de OGP 2023 en Estonia con representantes de la sociedad civil, funcionarios gubernamentales y académicos. Produjo un informe sobre cómo asegurar compromisos significativos sobre la gobernanza de los datos y la IA, siguiendo un taller de diseño en la Cumbre de OGP 2023 en Estonia con representantes de la sociedad civil, funcionarios gubernamentales y académicos.
  • El Unidad de Apoyo OGPAlgoritmos abiertos serie de blogs reúne recomendaciones y ejemplos de buenas prácticas de reformadores gubernamentales y miembros de la sociedad civil que trabajan en la rendición de cuentas algorítmica.
  • Datos para el desarrollo (D4D) liberará el Índice global sobre IA responsable sobre la calidad de la supervisión de la IA, incluida la adhesión a los valores de transparencia, participación cívica y responsabilidad pública de OGP.
  • Muchos países han comenzado a considerar directrices para abordar las preocupaciones sobre la IA y la protección de datos, con la Reino Unidoes Marco de ética de datos proporcionando un ejemplo especialmente útil de orientación más formalizada.
  • Existen varios acuerdos y declaraciones internacionales y regionales relacionados con este tema, entre ellos:
    • La Asamblea General de las Naciones Unidas resolución sobre aprovechar oportunidades para sistemas de IA seguros y confiables para el desarrollo sostenible (marzo de 2024)
    • El Consejo de Europa Convención sobre inteligencia artificial, derechos humanos, democracia y estado de derecho (marzo de 2024)
    • El Unión Africana proyecto de política por su Estrategia Continental de Inteligencia Artificial para África (febrero de 2024)
    • El proyecto de principios rectores para Órgano asesor de IA de la ONU (Diciembre 2023)
    • El Declaración de Bletchley realizadas por los países asistentes a la Reino Unido Cumbre de seguridad de la IA (noviembre de 2023)
    • A declaración conjunta by Mozilla y la sociedad civil sobre la seguridad y la apertura de la IA (octubre de 2023)
    • El Declaración de Santiago, un acuerdo entre países de América Latina y el Caribe para promover la inteligencia artificial ética en la región (octubre 2023)
    • El Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) orientaciones para la gobernanza de las plataformas digitales (2023) y recomendaciones relacionado con la ética de la IA (noviembre 2021)
    • El G7 Proceso de Hiroshima
    • El Organización para la cooperación económica y el desarrollo (OCDE) Principios de IA (2019)
    • El G20 principios por una gestión responsable de una IA confiable (mayo de 2019)
Open Government Partnership