Rendición de cuentas algorítmica para el sector público: aprendizaje de la primera ola de implementación de políticas

Los gobiernos recurren cada vez más a algoritmos para automatizar la toma de decisiones para los servicios públicos. ALos algoritmos podrían, por ejemplo, usarse para predecir futuros criminales, tomar decisiones sobre los derechos de asistencia social, detectar fraude por desempleo, decidir a dónde enviar la policíao ayudar a la planificación urbana*. Sin embargo, la creciente evidencia sugiere que estos sistemas pueden causar daños y con frecuencia carecen de transparencia en su implementación, incluida la opacidad en torno a las decisiones sobre si y por qué para usarlos. Muchos sistemas algorítmicos carecen de responsabilidad política, ya que replican, amplifican y naturalizan la discriminación contra las personas que han sufrido la peor parte de la opresión y la discriminación histórica. También facilitan nuevas formas de intrusión en la privacidad, produciendo determinaciones sobre las personas que tienen ecos duraderos a lo largo de la vida de las personas. Estas determinaciones pueden ser difíciles de impugnar y, a menudo, son ilegibles para aquellos cuyas vidas moldean. Esto ha estimulado oposición acalorada a través de continentes de investigadores, grupos de la sociedad civil, trabajadores tecnológicos organizados y comunidades directamente afectadas por estos sistemas.

En reconocimiento de esta crisis, los responsables de la formulación de políticas han recurrido a herramientas normativas y políticas, con la esperanza de garantizar 'responsabilidad algorítmica'en todos los países y contextos. Con muchos desafíos y preguntas abiertas que surgen de sus primeras etapas de implementación, el Instituto AI Now, Instituto Ada Lovelace, y la Open Government Partnership (OGP) se están asociando para lanzar el primer estudio global que evalúa esta ola inicial de política de responsabilidad algorítmica.

Si bien ha habido algunos esfuerzos para evaluar la responsabilidad algorítmica dentro de instituciones o contextos particulares (por ejemplo, Informe paralelo al grupo de trabajo del sistema de decisión automatizado de la ciudad de Nueva Yorky Red informal de 'algoritmos abiertos' de OGP), ha habido pocos estudios sistemáticos y transjurisdiccionales sobre la implementación de estas políticas. Este proyecto tiene como objetivo comprender los desafíos y éxitos de las políticas de rendición de cuentas algorítmicas centrándose en las experiencias de los actores e instituciones directamente responsables de su implementación en el terreno.

Combinando el trabajo de nuestras respectivas organizaciones en el campo, este proyecto proporcionará una guía práctica a los legisladores y burócratas de primera línea al frente de la última ola de políticas de responsabilidad de algoritmos.

A través de este proyecto, nuestro objetivo es:

1. Revise las políticas existentes para la responsabilidad algorítmica en el sector público para comprender sus desafíos, éxitos y cómo se implementaron. Éstos incluyen Evaluaciones de impacto algorítmico, Auditorías algorítmicas, Registros de algoritmo / IA, y otras medidas destinadas a aumentar transparenciaDe acuerdo con los Artículos de Gobernanza de OGP, la transparencia ocurre cuando "la información en poder del gobierno (incluidas las actividades y decisiones) es abierta, completa, oportuna y está disponible gratuitamente para el público... Más, explicabilidad y supervisión pública.
2. Brindar orientación práctica para que los encargados de formular políticas y los burócratas diseñen e implementen políticas efectivas para la responsabilidad algorítmica.
3. Identificar preguntas críticas y direcciones para futuras investigaciones sobre responsabilidad algorítmica que puedan informar y abordar los desafíos que surgen de contextos donde las políticas ya se están probando.

Como resultado final, a fines del verano de 2021, publicaremos un informe completo que revisa los marcos de políticas de responsabilidad algorítmica existentes y brinda orientación práctica a los encargados de formular políticas, los burócratas y las agencias responsables de implementarlos. Sobre la base de estos conocimientos, también publicaremos una investigación separada que describe las direcciones futuras para la animada comunidad de investigación en este campo.

Tiene preguntas o está trabajando en el diseño de responsabilidad algorítmica, legislaciónCrear y aprobar legislación es una de las formas más efectivas de garantizar que las reformas de gobierno abierto tengan efectos duraderos en las prácticas gubernamentales. Especificaciones técnicas: Acto de crear o r..., o la investigación? Nos encantaría saber de usted: Póngase en contacto con Divij Joshi, investigador principal de este proyecto, en divij [dot] joshi [at] gmail [dot] com.

Equipo:

Líderes del proyecto: jenny brennan es investigadora principal del Ada Lovelace Institute, tonu basu es el Director Adjunto de Áreas de Política Temática en el Open Government Partnership, amba kak es el Director de Programas y Políticas Globales del AI Now Institute de la Universidad de Nueva York.

El investigador principal: divij joshi es un abogado e investigador interesado en las implicaciones sociales, políticas y regulatorias de las tecnologías emergentes y sus intersecciones con los valores humanos.

Sobre los socios:

Para el Instituto AI Now, la ley y los mecanismos de políticas son un camino clave para garantizar que los sistemas algorítmicos rindan cuentas a las comunidades y contextos a los que están destinados. Esta investigación se basa en un trabajo más amplio que incluye nuestro marco para Evaluaciones de impacto algorítmico (AIA) y del Kit de herramientas de responsabilidad algorítmica. En el espíritu de compromiso proactivo con el proceso de políticas, junto con una amplia coalición de la sociedad civil, también publicamos el Informe paralelo al grupo de trabajo de sistemas automatizados de decisión (ADS) de la ciudad de Nueva York detallar los mecanismos de rendición de cuentas para varios sectores del gobierno de la ciudad.

Para el Instituto Ada Lovelace, esta investigación forma parte de su trabajo más amplio sobre la responsabilidad de los algoritmos. Se basa en el trabajo existente en herramientas para evaluar sistemas algorítmicos, mecanismos para una transparencia significativa sobre el uso de algoritmos en el sector públicoe investigación activa con las autoridades locales y los organismos gubernamentales del Reino Unido que utilizan el aprendizaje automático.

Para el Open Government Partnership, una asociación de 78 países y 76 jurisdicciones locales, promover la transparencia y la rendición de cuentas en las herramientas de políticas digitales es una parte fundamental de la agenda de gobierno abierto de un país. Los miembros de OGP trabajan con la sociedad civil y otros actores clave en sus países para co-crear e implementar planes de acción de OGP con compromisos políticos concretos, que luego son monitoreados de forma independiente para su ambición y cumplimiento a través del Mecanismo de Informes Independientes de OGP. Si bien varios países de OGP están implementando su agenda de transformación digital a través de su participación en OGP, un número creciente de miembros de OGP también están utilizando sus planes de acción de OGP para implementar políticas que gobiernan el uso del sector público de tecnologías digitales. Entre estos, la responsabilidad de los sistemas y algoritmos de toma de decisiones automatizados ha suscitado un interés creciente. OGP convoca un red informal de los gobiernos implementadores, movilizando una coalición entre países de quienes trabajan en la rendición de cuentas algorítmica. Dada la rápida evolución del problema, los miembros de OGP se beneficiarían de un esfuerzo más completo que documente lo que funciona (y lo que no) en el tema, en diferentes contextos de países.

* Usamos 'algoritmos' para describir un conjunto de tecnologías correlacionadas empleadas para generar conocimientos o decisiones computacionalmente, que operan en conjuntos de datos particulares y están delimitados por lógicas y procedimientos específicos. (cf. Tarleton Gillespie, “Algoritmo. " En Palabras clave digitales: un vocabulario de la sociedad y la cultura de la información, Ben Peters ed.)