Prise de décision automatisée, algorithmes et intelligence artificielle
Les gouvernements utilisent de plus en plus la prise de décision automatisée (ADM) pour évaluer l’éligibilité aux prestations gouvernementales, détecter la fraude et allouer les ressources. La GDA peut potentiellement rendre les gouvernements plus justes, plus efficients et plus efficaces. Toutefois, pour ce faire, il lui faut une surveillance et des garanties appropriées. Sans garde-fous, ADM peut reproduire ou amplifier les préjugés existants dans nier prestations d'aide sociale, mal identifier des innocents, ou mal diagnostiquer maladie. Dans le contexte des activités du secteur privé, l’utilisation des systèmes et algorithmes ADM bénéficie également de garanties qui équilibrent l’innovation et la protection des droits. Améliorer la transparence, la participation et la responsabilité peut contribuer à maximiser les avantages et à minimiser les préjudices.
Défi du gouvernement ouvert : gouvernance numérique
Avec les OGP Stratégie 2023-2028, les membres de l'OGP sont prêts à travailler à un certain nombre de réformes thématiques ambitieuses à travers le Défi du gouvernement ouvert. Cette partie du Open Gov Guide aborde la gouvernance numérique.
Invite de défi : Renforcer la transparence et la surveillance publique de l’IA, de la prise de décision automatisée et des cadres de protection des données.
Les actions et réformes qui s’inscrivent dans le cadre de ce domaine de défi sont :
Rendre les données sous-jacentes accessibles au public (par exemple via des registres de transparence pour les algorithmes).
Intégrer des évaluations d’impact sur les droits de l’homme.
Créer des mécanismes de réclamation du public.
Créer ou renforcer des agences de surveillance indépendantes.
Créer des opportunités spécifiques de participation du public.
Créer des mécanismes spécifiques pour promouvoir l'inclusion numérique sur l'IA, la prise de décision automatisée et les cadres de protection des données et prévenir la discrimination et la désinformation en ligne basées sur leur utilisation.
Des réformes qui protègent les données personnelles et les cadres de confidentialité en établissant des mécanismes et des exigences en matière de transparence, de responsabilité et de consentement.
Mots clés
Définitions de termes clés tels que transparence algorithmique et mes prise de décision automatisée (ADM).
Transparence algorithmique : La transparence algorithmique est la capacité d'acteurs internes ou externes pour obtenir des informations, surveiller, tester, critiquer ou évaluer la logique, les procédures et les performances d'un système algorithmique.
Prise de décision automatisée (ADM) : L'ADM est le traitement de données personnelles à l'aide de moyens numériques, soit sans intervention humaine, soit dans des systèmes hybrides dans lesquels une partie de la prise de décision est effectuée par des algorithmes.
ADM inclut la prise de décision algorithmique, qui utilise des algorithmes d'intelligence artificielle (IA) pour traiter les données et effectuer des analyses statistiques afin d'automatiser ou de soutenir un processus de prise de décision.
Autorité de protection des données (APD) : Dans de nombreuses juridictions, la DPA supervise et réglemente la prise de décision algorithmique et le traitement des données personnelles. Les pouvoirs peuvent inclure l'émission de règlements et de lignes directrices, l'audition des plaintes et l'enquête sur les questions préoccupantes.
Puisqu’il s’agit d’un domaine de travail relativement nouveau, des recherches supplémentaires sont nécessaires pour comprendre les approches de gouvernement ouvert les plus efficaces pour gouverner ADM. Premières recherches, montre cependant qu’une transparence accrue, une participation civique et une responsabilité publique ont un effet positif.
Examen public Il a été démontré que plusieurs algorithmes aident à identifier les préjugés en fonction du statut social, du sexe et d’autres caractéristiques.
Explications Le fonctionnement des systèmes ADM peut instaurer la confiance avec le public et créer des voies de participation, avec les récentes initiatives participatives montrant que les membres du public peuvent enquêter sur des sujets hautement techniques.
ADM a été utilisé efficacement pour soutenir les pratiques de gouvernement ouvert, telles que la détection de la fraude ou de la corruption. Par exemple, Valence, la capitale espagnole Système SALER permet aux fonctionnaires et aux membres du public de signaler les conflits d'intérêts dans le processus de passation des marchés publics.
Orientation de la réforme
Les recommandations ci-dessous représentent des réformes que les gouvernements nationaux et locaux, les représentants des organisations de la société civile et d'autres peuvent envisager pour leurs plans d'action et le Défi du gouvernement ouvert. Les réformes sont classées selon les principales valeurs de l'OGP : transparence, participation civique et responsabilité publique. Les réformes doivent être adaptées au contexte national, et impliquer et coordonner avec d’autres niveaux et branches du gouvernement.
Les réformes dans tous les domaines politiques sont également marquées par le degré estimé de difficulté de mise en œuvre. Même si les progrès ne sont souvent pas linéaires, les recommandations ont été catégorisées à l’aide de ces étiquettes pour donner au lecteur une idée de la manière dont différentes réformes peuvent fonctionner ensemble pour accroître l’ambition des approches de gouvernement ouvert.
Transparence: La transparence permet aux citoyens d'exercer leurs droits, de demander des comptes au gouvernement et de participer aux processus décisionnels. Des exemples d'activités pertinentes incluent la publication proactive ou réactive d'informations détenues par le gouvernement, les cadres juridiques ou institutionnels visant à renforcer le droit d'accès à l'information et la divulgation d'informations à l'aide de normes de données ouvertes.
Participation civique: Lorsque les gens sont impliqués, les gouvernements et les institutions publiques sont plus réactifs, innovants et efficaces. Des exemples d'initiatives pertinentes comprennent des processus et des mécanismes nouveaux ou améliorés permettant au public de contribuer aux décisions, des mécanismes participatifs pour impliquer les groupes sous-représentés dans l'élaboration des politiques et un environnement juridique garantissant les droits civils et politiques.
Responsabilité publique: La responsabilité publique se produit lorsque les institutions publiques doivent justifier leurs actions, agir en fonction des exigences et des critiques et assumer la responsabilité de leur non-respect des lois ou des engagements. Il est important de noter que la responsabilité publique signifie que les membres du public peuvent également accéder aux mécanismes de responsabilisation et les déclencher. Parmi les exemples d’activités pertinentes figurent les audits citoyens des performances, les mécanismes ou institutions nouveaux ou améliorés qui répondent aux processus d’appel lancés par les citoyens et l’amélioration de l’accès à la justice.
Inclusion: L’inclusion est fondamentale pour parvenir à des politiques plus équitables, représentatives et responsables qui servent véritablement tous les peuples. Cela implique d’accroître la voix, l’action et l’influence des groupes historiquement discriminés ou sous-représentés. Selon le contexte, les groupes traditionnellement sous-représentés peuvent être victimes de discrimination fondée sur le sexe, l'identité sexuelle, la race, l'origine ethnique, l'âge, la géographie, les capacités différentes, le statut juridique ou socio-économique.
Fondamentale: Cette balise est utilisée pour les réformes qui constituent les éléments essentiels d’un domaine politique. « Fondamental » ne signifie pas une faible ambition ou un faible impact. Ces recommandations établissent souvent des cadres juridiques et des structures institutionnelles de base.
Intermédiaire: Cette balise est utilisée pour les réformes complexes et qui impliquent souvent une coordination et une sensibilisation entre les branches, les institutions et les niveaux de gouvernement, avec le public ou entre les pays.
Avancée: Cette balise est utilisée pour les réformes qui comblent des lacunes importantes afin de rendre le travail existant plus efficace et plus percutant. Plus précisément, les réformes « avancées » sont particulièrement ambitieuses, innovantes ou comblent des lacunes importantes pour rendre le travail existant plus efficace, plus percutant ou plus durable. Ils sont souvent appliqués dans des environnements matures où ils cherchent à institutionnaliser une bonne pratique qui a déjà donné des résultats.
Exécutif: Le pouvoir exécutif du gouvernement est responsable de la conception, de la mise en œuvre et de l'application des lois, des politiques et des initiatives. Il est généralement dirigé par le chef de l'État ou du gouvernement, tel qu'un président ou un premier ministre, ainsi que par les membres nommés de son cabinet. Les fonctions du pouvoir exécutif comprennent également la supervision des opérations quotidiennes du gouvernement, la gestion des affaires étrangères et la direction des forces armées du pays. Dans les systèmes démocratiques, le pouvoir exécutif est responsable devant le pouvoir législatif et l'électorat, ses pouvoirs et limites étant définis dans la constitution ou le cadre juridique du pays concerné.
Législatif: Le pouvoir législatif du gouvernement est chargé d'élaborer des lois et des règlements et de superviser le fonctionnement du gouvernement. Il se compose généralement d'un corps de représentants élus, tel qu'un parlement, un congrès ou une assemblée, chargé de proposer, débattre, amender et finalement adopter une législation. Le pouvoir législatif joue un rôle crucial dans la représentation des intérêts du peuple, car ses membres sont élus par le public. En plus de légiférer, cette branche détient souvent le pouvoir de lever des impôts, d'allouer des fonds et de mener certaines enquêtes sur des questions d'intérêt public. La structure et les pouvoirs du pouvoir législatif sont généralement définis dans la constitution ou le cadre juridique d'un pays, et ils servent de contrôle sur les pouvoirs exécutif et judiciaire pour garantir un système de freins et contrepoids au sein d'un État.
Établir des orientations de base et une terminologie commune sur la conception et l'adoption de technologies que les agences doivent suivre en termes d'approvisionnement afin de garantir que les besoins de la communauté sont satisfaits, notamment en matière d'équité, de transparence, de confidentialité et de droits de l'homme. Ces normes devraient être accessibles au public, faire l’objet de rapports et être élaborées en consultation avec la contribution de la communauté.
Veiller à ce que la DPA et tout autre régulateur concerné soient capables de recevoir, d’enquêter et de poursuivre (ou de renvoyer) les cas de préjudice. Cela peut également inclure l’élargissement des pouvoirs d’assignation à comparaître et d’inspection de la DPA.
Autoriser la DPA à identifier les principales activités à haut risque au sein et à l’extérieur du gouvernement et à orienter vers d’autres agences pour des mesures réglementaires ou autres.
Cela comprend la soumission régulière de rapports au pouvoir législatif sur la protection des données et d'autres sujets relevant du mandat de la DPA.
Autoriser la DPA à imposer le recours aux évaluations d’impact aux agences relevant de sa compétence. Cela peut identifier les préjugés ou la discrimination potentiels dans un système ADM avant qu'il ne soit mis en service, et peut inclure des mécanismes permettant au public de donner son avis et d'accéder à ces évaluations. du Canada La directive sur la prise de décision automatisée fournit un exemple de ce à quoi cela ressemble dans la pratique.
Établir et publier des lignes directrices de base pour les marchés publics de systèmes d’IA, telles que l’évaluation des risques et la création de mécanismes de responsabilisation avant l’achat.
Ces lignes directrices peuvent inclure des exigences relatives au formation d’un groupe de surveillance multipartite chargé de conseiller et de rendre compte des achats d’IA.
Fournir une formation aux agents publics sur le fonctionnement des systèmes ADM, y compris le renforcement général des capacités nécessaire pour comprendre les bases de la technologie ADM ainsi que la connaissance des systèmes spécifiques utilisés dans une agence donnée.
Exiger des notifications à ceux qui sont concernés par les décisions prises par un système ADM. Cela devrait inclure des mécanismes permettant au public de contester les décisions automatisées ou de demander l'exclusion des systèmes ADM, comme dans le cas du Republic of Korea.
Exiger la divulgation et le consentement aux activités de traitement des données lors de l’utilisation d’outils en ligne, y compris la collecte, le stockage, l’utilisation et la modification des données.
Établir ou enrichir un registre informatique. Ces registres peuvent se concentrer sur le traitement par le gouvernement (et les sous-traitants) ou couvrir des activités non gouvernementales. Un registre peut soutenir la publication proactive d’évaluations d’impact algorithmiques.
La transparence algorithmique peut inclure des données sur de nombreux éléments d'un système ADM au-delà du code source, y compris l'existence du système, son objectif, ses règles et sa structure, les impacts réels, les données de formation, les entrées et les sorties.
Exiger que tous les systèmes ADM divulguent des informations qui établissent et renouvellent régulièrement une base juridique et éthique claire sur la manière dont ils collectent, stockent, partagent, utilisent et modifient les données. Cela peut inclure l’établissement du consentement individuel ou l’établissement d’une acceptation sociale par le biais de processus participatifs.
Adopter ou améliorer les procédures pour normaliser les évaluations d’impact sur la vie privée et les droits de l’homme. Veiller à ce que le public puisse examiner et contribuer à ces rapports et signaler les irrégularités.
Mener des consultations où les membres concernés du public peuvent éclairer les étapes de conception et de pilotage de la technologie qui les concerne (comme les algorithmes utilisés dans les systèmes ADM). Des exemples de ceci incluent modèles délibératifs de participation aux niveaux national et local.
Veiller à ce que ces consultations incluent une sensibilisation ciblée auprès des communautés vulnérables, qui ont tendance à subir les impacts négatifs de la collecte de données et de l’utilisation de la technologie.
Créer des mécanismes de plainte du public (y compris des structures judiciaires, quasi-judiciaires et de médiation) pour signaler les violations de la loi. Cela est nécessaire pour garantir que le public dispose d'un moyen de communiquer si et comment l'acceptation sociale des pratiques d'une entreprise ou d'un secteur a changé, ce qui peut être utilisé pour identifier les lacunes des cadres juridiques actuels.
Effectuer des audits réguliers des systèmes ADM par l'intermédiaire d'organismes de surveillance indépendants et d'observateurs civiques (tels qu'un audit sociale).
Rendre l’historique de l’application et de la conformité disponible en ligne, qui peut être utilisé pour soutenir les futures mesures d’application.
Domaine politiqueResponsabilité publique
Valeur OGP
Responsabilité publique
Transparence
Degré de difficulté
Avancé
Direction générale du gouvernement
Cadre Exécutif
Responsabilité publique
Transparence
Avancé
Cadre Exécutif
Exemples de réformes de l'OGP et au-delà
Les exemples suivants sont des engagements précédemment pris au sein ou au-delà de l'OGP qui démontrent des éléments des recommandations formulées ci-dessus. Il s’agit d’un domaine d’intérêt émergent pour les membres de l’OGP, avec des engagements récents pris concernant l’ADM.
Réformes de l'OGP
FIÈREMENTÉvaluations d’impact algorithmique dans ADM :Nécessite agences utilisant ADM pour réaliser et publier évaluations d'impact avant le déploiement de tout système ADM et pour mettre à jour le système en cas de changement dans sa fonctionnalité ou sa portée.
KENYATransformation numérique éthique et inclusive :engagé
L’objectif est de combler la fracture numérique afin de garantir que chacun, en particulier les groupes vulnérables, puisse accéder aux services gouvernementaux et aux possibilités de participation publique à mesure que ces activités se déroulent en ligne. L’objectif est également de créer un cadre pour une gouvernance inclusive, sûre et responsable des technologies émergentes, en particulier de l’intelligence artificielle.
PAYS-BASConseils pour rendre les algorithmes accessibles :engagé
à établir des orientations et un arbre de décision pour les agences, y compris des orientations et des outils pour rendre les algorithmes librement disponibles.
NOUVELLE-ZÉLANDEProjets de mise en œuvre de la Charte des algorithmes :engagé
à mettre en œuvre son Charte d'algorithme, comme consulter les agences qui ont signé la charte pour prioriser les recommandations liées à la compréhension et à la gestion des risques liés à l'utilisation d'algorithmes dans leur travail.
ECOSSE, ROYAUME-UNIMesures de transparence pour la prise de décision gouvernementale :engagé
à accroître l’accessibilité des données gouvernementales, comme l’ouverture des données liées à la prise de décision gouvernementale et le développement d’un registre public des algorithmes d’IA.
URUGUAYOrganisme de surveillance multipartite pour l’utilisation de l’IA :Établi un organe de surveillance multipartite sur l'utilisation de l'IA par le gouvernement ainsi qu'un nouveau mandat de six ans Stratégie d'IA (2024-2030), que le gouvernement a co-créé avec le public.
Au-delà des plans d'action OGP
UNION EUROPÉENNENécessitant une intervention humaine dans les systèmes d’IA :Nécessite explicitement l’intervention humaine dans les systèmes d’IA à haut risque, tels que les logiciels de reconnaissance faciale et les systèmes permettant d’évaluer l’éligibilité des personnes physiques aux prestations publiques et leur solvabilité.
NIGERIAProcessus DPA pour accroître l’efficacité de l’audit :Établi un processus pour autoriser et enregistrer les auditeurs autorisés, organiser des formations et fournir des conseils sur la conformité en matière de protection des données.
AFRIQUE DU SUDApplication du DPA pour protéger les données personnelles :Mandaté prendre des mesures pour limiter ou arrêter le traitement des données personnelles, sur la base d'un délai spécifié pendant lequel le responsable du traitement des données doit se conformer à la décision de la DPA.
Le rôle des gouvernements locaux
Les gouvernements locaux sont souvent les acheteurs ou les développeurs de systèmes ADM. Ils jouent un rôle particulier en garantissant que ces systèmes atteignent leurs propres objectifs, notamment l’efficacité, l’efficience, l’équité et l’explicabilité. Ces objectifs doivent être rendus transparents au public et expliqués aux intermédiaires, tels que les journalistes.
En effet, plusieurs villes (comme Amsterdam, New York et Nantes) ont été beaucoup plus rapides que leurs homologues nationaux à faire connaître leur utilisation de l'ADM, notamment par le biais de registres d'algorithmes. En l’absence de législation nationale, les gouvernements provinciaux et étatiques ont souvent mené des réformes juridiques et des innovations dans le domaine de la transparence.
Bien entendu, de nombreuses administrations ou agences locales n’ont peut-être pas la capacité d’évaluer certains systèmes ADM. Dans ce cas, ils peuvent avoir un rôle particulier à jouer pour agir ensemble afin d’évaluer les mérites des différents systèmes et fournisseurs.
Qui travaille sur ce sujet ?
A
Austin, États-Unis
Australie
B
Bulgarie
C
Canada
D
République Dominicaine
E
Estonie
F
Finlande
France
G
Allemagne
Goias, Brésil
I
Italie
K
Kenya
N
Netherlands
Nouvelle-Zélande
Norvege
O
Ontario
Q
Québec, Canada
S
Ecosse, Royaume-Uni
Espagne
U
Ukraine
Royaume-Uni
Uruguay
Cette liste reflète les membres ayant des engagements dans le domaine politique « Prise de décision automatisée » du Tableau de bord des données.
Partenaires OGP actifs
Les organisations suivantes ont récemment travaillé sur cette question dans le contexte de l'OGP au niveau national ou international. Ils peuvent avoir des idées supplémentaires sur le sujet. Veuillez noter que cette liste n'est pas exhaustive. Si vous êtes intéressé par des initiatives au niveau national, veuillez contacter [email protected].
Même si les critères de référence pour chaque pays et Open Gov Guide les recommandations ne sont pas encore intégrées, pour ce chapitre, les personnes intéressées peuvent s’appuyer sur les ensembles de données suivants :
Données pour le développement (D4D) libérera le Indice mondial sur l'IA responsable sur la qualité de la surveillance de l'IA, y compris le respect des valeurs de l'OGP en matière de transparence, de participation civique et de responsabilité publique.
Protection des données Afrique, dirigé par ALT Advisory, cartographie les lois sur la protection des données dans 55 pays du continent.
Bien que la liste ci-dessous ne soit pas exhaustive, elle vise à fournir une série de recommandations, de normes et d’analyses pour guider la réforme dans ce domaine politique.
Pour Unité de soutien OGP mettre en place un ressource sur la manière de maximiser les avantages de l’IA dans les systèmes judiciaires tout en minimisant les risques.
Institut Ada Lovelace, Institut AI Nowainsi que, Unité de soutien OGP collaboré à une publication qui tire les leçons des exemples de mise en œuvre de politiques du secteur public liées à la responsabilité algorithmique. La ressource comprend une analyse des limites des mécanismes juridiques et politiques pour garantir des systèmes algorithmiques sûrs et responsables.
ALT Advisory (Afrique du Sud) et le Unité de soutien OGP publié Protection des données en Afrique : une enquête sur les progrès des membres, qui vise à analyser le contexte et les principaux obstacles à une protection efficace des données parmi les membres de l'OGP en Afrique. Il formule également des recommandations visant à renforcer la protection des données dans la région.
Pour Assemblée générale des Nations Uniespublié une nouvelle résolution en mars 2024 sur la saisie des opportunités pour des systèmes d’IA sûrs, sécurisés et dignes de confiance pour le développement durable.
Connecté par les données produit un Ecojustice sur la manière d'obtenir des engagements significatifs sur la gouvernance des données et de l'IA, à la suite d'un atelier de conception lors du sommet OGP 2023 en Estonie avec des représentants de la société civile, des responsables gouvernementaux et des universitaires. a produit un rapport sur la manière d'obtenir des engagements significatifs sur la gouvernance des données et de l'IA, à la suite un atelier de conception lors du sommet OGP 2023 en Estonie avec des représentants de la société civile, des responsables gouvernementaux et des universitaires.
Pour Unité de soutien OGPLes algorithmes ouverts de série de blogs rassemble des recommandations et des exemples de bonnes pratiques de réformateurs gouvernementaux et de membres de la société civile travaillant sur la responsabilité algorithmique.
Données pour le développement (D4D) libérera le Indice mondial sur l'IA responsable sur la qualité de la surveillance de l'IA, y compris le respect des valeurs de l'OGP en matière de transparence, de participation civique et de responsabilité publique.
De nombreux pays ont commencé à réfléchir à des lignes directrices pour répondre aux problèmes d'IA et de protection des données, avec le Royaume-Uni's Cadre d'éthique des données fournissant un exemple particulièrement utile d’orientations plus formalisées.
Il existe plusieurs accords et déclarations internationaux et régionaux liés à ce sujet, notamment :
L'Assemblée générale des Nations Unies résolution sur la saisie des opportunités pour des systèmes d’IA sûrs, sécurisés et dignes de confiance pour le développement durable (mars 2024)
Pour Conseil de l'Europe Convention sur l'intelligence artificielle, les droits de l'homme, la démocratie et l'État de droit (mars 2024)
Pour Union Africaine projet de politique pour sa Stratégie continentale d’intelligence artificielle pour l’Afrique (février 2024)
Pour Déclaration de Bletchley faites par les pays participant à la Royaume-Uni Sommet sur la sécurité de l'IA (novembre 2023)
A déclaration commune by Mozilla et la société civile sur la sécurité et l'ouverture de l'IA (octobre 2023)
Pour Déclaration de Santiago, un accord entre les pays d'Amérique latine et des Caraïbes pour promouvoir l'intelligence artificielle éthique dans la région (octobre 2023)
Pour Organisation des Nations Unies pour l'éducation, la science et la culture (Unesco) lignes directrices pour la gouvernance des plateformes numériques (2023) et recommandations liés à l’éthique de l’IA (novembre 2021)
Comment les données ouvertes peuvent-elles aider à faire la lumière sur la corruption politique et rendre les systèmes politiques plus justes et plus inclusifs ? Comment pouvons-nous lier davantage les personnes et les données pour créer une chaîne de responsabilité ? Découvrez notre nouveau rapport.
La promesse de la démocratie est souvent définie par les urnes, où les citoyens déterminent qui représentera leurs intérêts au gouvernement. Cependant, cette promesse échoue trop souvent dans la réalité quotidienne des gens…
Les preuves continuent de montrer que le gouvernement ouvert affecte la vie des gens. Mais il y a encore des sceptiques qui ne sont pas conscients de tous les avantages associés à cette approche. Utilisez ce guide pour les convaincre d'adopter une approche de gouvernement ouvert lors de la mise en œuvre des réformes.
La série OGP Justice Policy est une série en trois parties sur l'accès à la justice, la justice ouverte et la responsabilité pour le renouveau démocratique. Il vise à mettre en évidence les synergies importantes entre la justice et le gouvernement ouvert et les façons dont les pays peuvent utiliser l'OGP pour apporter des améliorations responsables et crédibles à leurs systèmes judiciaires.
Ce guide est un guichet unique pour les meilleures ressources actuelles sur la façon dont les projets et les approches de gouvernement ouvert peuvent aider à lutter contre la pandémie.
Nos encontramos en un momento de gran incertidumbre para los gobiernos, la sociedad civil y la ciudadanía. En el contexto del reto sin precedentes que representa la pandemia de coronavirus, los gobiernos están probando políticas y metodologías en tiempo real...
En ce moment, l'incertitude est à son maximum pour les gouvernements, la société civile et les citoyens. Face au défi unique que représente le Coronavirus, de nouvelles politiques et approches sont testées en temps réel...
Ce site utilise des cookies.
Cliquez ici pour plus d'informations sur le Open Government PartnershipConditions d'utilisation de.