Comunidad Valenciana, España
Crear un registro algorítmico público
Noticias
Nivel de Gobierno: Local
Institución principal: Generalitat Valenciana
Área(s) de desafío: Gobernanza digital
Descripción
Descripción de la reforma La Dirección General de Transparencia y Participación de la Generalitat Valenciana impulsa la creación de GVA Confia-Registro de Algoritmos de la Generalitat. "GVA Confia" es una aplicación informática para la implementación de una política de transparencia algorítmica. Esta herramienta, que adopta la forma de catálogo, busca informar a la ciudadanía sobre el uso en la Administración valenciana de sistemas algorítmicos que tienen impacto en la toma de decisiones públicas o en la esfera jurídica de la ciudadanía. En otras palabras, el registro no afecta a los sistemas algorítmicos en función de su estructura sino de su finalidad. "GVA Confia" busca ofrecer información sobre los sistemas algorítmicos que incluyen inteligencia artificial, pero también sobre aquellos otros sistemas algorítmicos sin IA, pero que afectan a las decisiones públicas. De este modo, el Registro de Algoritmos de la Generalitat no sólo es una potente herramienta de transparencia algorítmica, sino también una herramienta de rendición de cuentas sobre el uso de estas tecnologías en los procedimientos administrativos o en los procesos de toma de decisiones públicas. Además, esta aplicación informática está diseñada para cumplir con el principio general de compresibilidad y claridad, es decir, proporcionar la información lo más claramente posible, procurando que sea fácilmente comprensible utilizando un lenguaje claro. Además, el registro del algoritmo está diseñado para proporcionar información en los dos idiomas oficiales de la región. Otro de los principios observados es el de máxima transparencia, ya que busca mantener la restricción de acceso a la información mínima y basada en criterios estrictos de protección o seguridad de datos personales. También se ha tenido en cuenta el principio de publicidad, en virtud del cual la administración debe proporcionar información veraz sobre sus actuaciones. Por otra parte, los principios de orientación ciudadana y de continuidad en el tiempo son transversales a la planificación de esta herramienta. En la misma línea, se ha tratado de cumplir con los principios de planificación y evaluación, ya que “GVA Confia” nace como un proyecto piloto que busca estudiar el impacto en la sociedad de la transparencia algorítmica y evolucionar en el tiempo, adaptándose a las necesidades de la ciudadanía y de la administración pública. Problema(s) que aborda la reforma Las Administraciones Públicas están actualmente inmersas en un proceso de digitalización sin precedentes. En el siglo XXI, la sociedad demanda una Administración más ágil, eficaz y eficiente en la gestión y distribución de los recursos públicos. Las nuevas capacidades computacionales, el avance de las aplicaciones de la inteligencia artificial y la creciente incorporación de perfiles profesionales con competencias digitales en las Administraciones están generando sinergias que permiten aprovechar el potencial innovador para transformar las administraciones burocráticas en administraciones digitales. Sin embargo, la aplicación de nuevas tecnologías, en aras de la eficiencia, la economía y la simplificación administrativa, también debe implicar la rendición de cuentas sobre cómo se hace. Estudios de casos anteriores han demostrado que los sistemas informáticos no están exentos de riesgos. Algunos ejemplos, como el caso del sistema Horizon en Reino Unido, el sistema SyRI en Países Bajos o BOSCO en España, han demostrado que el uso de sistemas algorítmicos puede tener un impacto negativo en los derechos fundamentales, las libertades civiles o la toma de decisiones públicas. Es por ello que la transparencia algorítmica se erige como uno de los pilares fundamentales de la transparencia en estos momentos. Por otro lado, la falta de información sobre el uso de las nuevas tecnologías, así como la opacidad de algunos de los sistemas algorítmicos, generan desconfianza en el uso de estas aplicaciones para la toma de decisiones públicas ya que algunos sectores de la ciudadanía se muestran preocupados por la falta de control o el procesamiento masivo de datos personales. Además, existe un vacío regulatorio, tanto nacional como internacional, sobre los estándares éticos que deben cumplir los sistemas algorítmicos y de inteligencia artificial, especialmente en el ámbito público. Además, el uso de algunos de estos sistemas entra en conflicto con la normativa sobre protección de datos personales y derechos digitales o sobre transparencia. Con el desarrollo del “GVA ConfIA-Registro de Algoritmos de la Generalitat” se pone en marcha un sistema de transparencia y rendición de cuentas en el uso de los sistemas algorítmicos y de inteligencia artificial. "Confía" significa "confianza" en español. Al ofrecer información detallada en “GVA ConfIA” sobre el tipo de sistemas algorítmicos que se utilizan, se refuerza la confianza de los ciudadanos en el uso de este tipo de tecnologías, lo que redunda en una gestión más eficiente de los recursos públicos. La información incluida en el Registro de Algoritmos de la Generalitat abarca áreas relacionadas con la arquitectura del sistema, el código del algoritmo, el tipo de datos que procesa, el nivel de riesgo potencial, las medidas de remediación, información sobre licencias y patentes, etc. De esta forma conseguimos una administración pública más transparente y responsable con la implementación y desarrollo de estas tecnologías. Además, se fortalece la confianza de los ciudadanos en la institución y en el uso de sistemas algorítmicos en los procedimientos administrativos y la toma de decisiones públicas. Una administración más transparente, más clara, más accesible, más inclusiva, es una administración más cercana y más confiable. Esto facilita la rendición de cuentas y promueve los valores democráticos. Relevancia para los Valores OGP La creación del Registro de Algoritmos es relevante para la transparencia porque permite a la ciudadanía conocer qué tipo de sistemas algorítmicos y de inteligencia artificial utiliza la administración pública para la toma de decisiones públicas y cuáles de estos tienen impacto en la esfera jurídica individual o colectiva. Además, se ofrece información sobre cuál es el problema a resolver y cómo el algoritmo contribuye a la solución. También se incluye información sobre riesgos potenciales y sistemas de contingencia. En definitiva, no se trata sólo de ofrecer un listado de sistemas, sino de ofrecer toda la información para que los ciudadanos sepan cómo influyen en sus vidas. Por otra parte, GVA Confia tiene una incidencia directa en la rendición de cuentas de la Administración de la Generalitat Valenciana. Al proporcionar información sobre sistemas algorítmicos, se permite una auditoría ciudadana abierta. Tanto los ciudadanos como los organismos de control pueden comprobar si los algoritmos funcionan correctamente y si lo hacen de forma justa, equitativa e inclusiva. De este modo, la Administración de la Generalitat también puede desarrollar estrategias para la implementación responsable de estas tecnologías, especialmente aquellos sistemas de inteligencia artificial que generan dificultades en la trazabilidad de la información. Finalmente, en relación a la participación ciudadana, el Registro de Algoritmos de la Generalitat es una herramienta de transparencia pública, de acceso libre y abierto que facilitará las solicitudes de acceso a la información pública sobre sistemas algorítmicos. Ofrecer un listado de sistemas y explicar cómo funcionan permite a los ciudadanos ser conscientes de cómo estos sistemas impactan en la vida pública, por lo que es más fácil definir qué información extra se requiere en caso de querer conocer en profundidad cómo funciona el sistema. En el caso de que se contemplen solicitudes de acceso sistemáticas sobre un mismo tema, se valora la inclusión de un campo en el registro que ofrezca esta información sobre todos los algoritmos. Resultados previstos Al finalizar el periodo de implantación de GVA Confia-Registro de Algoritmos de la Generalitat, se espera introducir todos los sistemas algorítmicos en el ámbito de la salud que influyen en la toma de decisiones médicas. Además, esperamos que en el registro de Algoritmos se inscriban sistemas de distintos ámbitos relacionados con áreas críticas de atención, como el sector laboral. También esperamos que el registro del algoritmo se amplíe con más información relacionada con la evaluación de riesgos relacionados con la protección de datos personales o la identificación de los órganos competentes para su impugnación. Hitos El cronograma propuesto para este reto está estructurado en X fases. La Fase I es el diseño de una aplicación en fase beta con los campos mínimos exigidos por la normativa de transparencia (Ley 1/2022, de 13 de abril, de la Generalitat, de Transparencia y Buen Gobierno de la Comunitat Valenciana). Este prototipo debería estar listo en marzo de 2025. Un grupo de profesionales de la “Oficina Territorial de Aplicación de la Inteligencia Artificial en Salud de la Comunitat Valenciana” probará esta aplicación y sus aportaciones se tendrán en cuenta para un primer diseño de la aplicación en una versión estable. En la Fase II se realizará la primera carga de los sistemas algorítmicos del proyecto piloto en la aplicación en su versión estable. Esta aplicación en un proyecto piloto será presentada a la sociedad para que la ciudadanía conozca el Registro de Algoritmos y comience a utilizarlo (mayo 2025). Se elaborará un primer informe de evaluación de la implementación después de los primeros seis meses (diciembre de 2025). La Fase III incluirá más sistemas algorítmicos que impactan en las decisiones públicas (2026). En la Fase IV se estudiará la posibilidad de ampliar las funcionalidades del registro del Algoritmo en función de las necesidades sociales y de la Administración (2027-2028). ¿Está involucrada la sociedad civil? Sí. La sociedad civil está involucrada en la configuración de la acción a través de la participación de la Fundación CIVIO en el diseño del proyecto piloto. Esta entidad de la sociedad civil está formada por un equipo multidisciplinar que se encarga de analizar la transparencia de las Administraciones Públicas en España y ha realizado diferentes investigaciones sobre transparencia algorítmica pública. CIVIO es la organización que ha llevado a los tribunales a la Administración General del Estado de España para poder acceder al código fuente de BOSCO, un sistema algorítmico desarrollado por el Ministerio de Transición Ecológica para la concesión de ayudas a colectivos vulnerables en materia energética y que ha demostrado tener fallos de implementación. Consideramos que la participación de este grupo de expertos es clave para desarrollar una herramienta que no sólo sea funcional para la administración, sino también para la ciudadanía y para los grupos de expertos en materia de transparencia algorítmica en la sociedad civil. Además, esta colaboración tiene vocación de continuidad en el tiempo ya que se espera que CIVIO continúe participando en etapas posteriores del desarrollo de la aplicación.