Ignorer la navigation

Prise de décision automatisée, algorithmes et intelligence artificielle

Les gouvernements utilisent de plus en plus la prise de décision automatisée (ADM) pour évaluer l’éligibilité aux prestations gouvernementales, détecter la fraude et allouer les ressources. La GDA peut potentiellement rendre les gouvernements plus justes, plus efficients et plus efficaces. Toutefois, pour ce faire, il lui faut une surveillance et des garanties appropriées. Sans garde-fous, ADM peut reproduire ou amplifier les préjugés existants dans nier prestations d'aide sociale, mal identifier des innocents, ou mal diagnostiquer maladie. Dans le contexte des activités du secteur privé, l’utilisation des systèmes et algorithmes ADM bénéficie également de garanties qui équilibrent l’innovation et la protection des droits. Améliorer la transparence, la participation et la responsabilité peut contribuer à maximiser les avantages et à minimiser les préjudices.

Défi du gouvernement ouvert : gouvernance numérique

Avec les OGP Stratégie 2023-2028, les membres de l'OGP sont prêts à travailler à un certain nombre de réformes thématiques ambitieuses à travers le Défi du gouvernement ouvert. Cette partie du Open Gov Guide aborde la gouvernance numérique.

Invite de défi : Renforcer la transparence et la surveillance publique des cadres d’IA et de protection des données.

Pour les politiques nouvelles ou existantes en matière d’IA, de traitement des données et de prise de décision automatisée, en particulier celles régissant le secteur public, les actions et réformes pourraient inclure :

  • Rendre les données sous-jacentes accessibles au public (par exemple via des registres de transparence pour les algorithmes).
  • Intégrer des évaluations d’impact sur les droits de l’homme.
  • Créer des mécanismes de réclamation du public.
  • Créer ou renforcer des agences de surveillance indépendantes.
  • Créer des opportunités spécifiques de consultation publique.
  • Créer des mécanismes spécifiques pour promouvoir l’inclusion numérique ou prévenir la discrimination en ligne.

Mots clés

Définitions de termes clés tels que transparence algorithmique, prise de décision automatisée (ADM)et Autorité de protection des données (DPA).

  • Transparence algorithmique : La transparence algorithmique est la capacité d'acteurs internes ou externes pour obtenir des informations, surveiller, tester, critiquer ou évaluer la logique, les procédures et les performances d'un système algorithmique.
  • Prise de décision automatisée (ADM) : L'ADM est le traitement de données personnelles à l'aide de moyens numériques, soit sans intervention humaine, soit dans des systèmes hybrides dans lesquels une partie de la prise de décision est effectuée par des algorithmes.
    • ADM inclut la prise de décision algorithmique, qui utilise des algorithmes d'intelligence artificielle (IA) pour traiter les données et effectuer des analyses statistiques afin d'automatiser ou de soutenir un processus de prise de décision.
  • Autorité de protection des données (APD) : Dans de nombreuses juridictions, la DPA supervise et réglemente la prise de décision algorithmique et le traitement des données personnelles. Les pouvoirs peuvent inclure l'émission de règlements et de lignes directrices, l'audition des plaintes et l'enquête sur les questions préoccupantes.

La preuve

Puisqu’il s’agit d’un domaine de travail relativement nouveau, des recherches supplémentaires sont nécessaires pour comprendre les approches de gouvernement ouvert les plus efficaces pour gouverner ADM. Premières recherches, montre cependant qu’une transparence accrue, une participation civique et une responsabilité publique ont un effet positif.

  • Examen public Il a été démontré que plusieurs algorithmes aident à identifier les préjugés en fonction du statut social, du sexe et d’autres caractéristiques.
  • Explications Le fonctionnement des systèmes ADM peut instaurer la confiance avec le public et créer des voies de participation, avec les récentes initiatives participatives montrant que les membres du public peuvent enquêter sur des sujets hautement techniques.
  • ADM a été utilisé efficacement pour soutenir les pratiques de gouvernement ouvert, telles que la détection de la fraude ou de la corruption. Par exemple, Valence, la capitale espagnole Système SALER permet aux fonctionnaires et aux membres du public de signaler les conflits d'intérêts dans le processus de passation des marchés publics.

Orientation de la réforme

clés / KEY :

Direction générale du gouvernement
Niveau de difficulté
Valeur OGP
Inclusion

Réformes recommandées

Les recommandations ci-dessous représentent des réformes que les gouvernements nationaux et locaux, les représentants des organisations de la société civile et d'autres peuvent envisager pour leurs plans d'action et le Défi du gouvernement ouvert. Les réformes sont classées selon les principales valeurs de l'OGP : transparence, participation civique et responsabilité publique. Les réformes doivent être adaptées au contexte national, et impliquer et coordonner avec d’autres niveaux et branches du gouvernement.

Les réformes dans tous les domaines politiques sont également marquées par le degré estimé de difficulté de mise en œuvre. Même si les progrès ne sont souvent pas linéaires, les recommandations ont été catégorisées à l’aide de ces étiquettes pour donner au lecteur une idée de la manière dont différentes réformes peuvent fonctionner ensemble pour accroître l’ambition des approches de gouvernement ouvert.

  • Fondatrice: Cette balise est utilisée pour les réformes qui sont les éléments essentiels d’un domaine politique. « Fondamental » ne signifie pas une faible ambition ou un faible impact. Ces recommandations établissent souvent des structures juridiques et institutionnelles de base.
  • Intermédiaire: Cette balise est utilisée pour les réformes plus complexes et qui impliquent souvent davantage de coordination et de sensibilisation, par exemple auprès du public, entre les branches, les agences et les niveaux de gouvernement, ou entre les pays.
  • Avancé: Cette balise est utilisée pour les réformes qui comblent des lacunes importantes afin de rendre le travail existant plus efficace et plus percutant. Il s’agit souvent de relier plusieurs bases de données ou de garantir que les autorités de contrôle puissent recevoir les plaintes des membres du public.
Fondations
  • Créer un cadre juridique pour la protection des données : Établir des lois-cadres de base sur la protection des données, y compris la création ou le renforcement d'un DPA. Transparence Responsabilité publique Corps législatif Fondatrice
  • Établir des orientations au niveau de l’agence : Établir des orientations de base et une terminologie commune sur la conception et l'adoption de technologies que les agences doivent suivre en termes d'approvisionnement afin de garantir que les besoins de la communauté sont satisfaits, notamment en matière d'équité, de transparence, de confidentialité et de droits de l'homme. Ces normes devraient être accessibles au public, faire l’objet de rapports et être élaborées en consultation avec la contribution de la communauté.
    Transparence Participation civique Responsabilité publique Directrice Fondatrice
  • Créez une interface publique pour les DPA et autres régulateurs : Veiller à ce que la DPA et tout autre régulateur concerné soient capables de recevoir, d’enquêter et de poursuivre (ou de renvoyer) les cas de préjudice. Cela peut également inclure l’élargissement des pouvoirs d’assignation à comparaître et d’inspection de la DPA.
    Transparence Participation civique Responsabilité publique Corps législatif Fondatrice
  • Signalez régulièrement les activités à haut risque : Autoriser la DPA à identifier les principales activités à haut risque au sein et à l’extérieur du gouvernement et à orienter vers d’autres agences pour des mesures réglementaires ou autres.
    Transparence Corps législatif Fondatrice

    • Cela comprend la soumission régulière de rapports au pouvoir législatif sur la protection des données et d'autres sujets relevant du mandat de la DPA.
  • Rendre obligatoire le recours aux analyses d’impact : Autoriser la DPA à imposer le recours aux évaluations d’impact aux agences relevant de sa compétence. Cela peut identifier les préjugés ou la discrimination potentiels dans un système ADM avant qu'il ne soit mis en service, et peut inclure des mécanismes permettant au public de donner son avis et d'accéder à ces évaluations. CanadaLa directive sur la prise de décision automatisée fournit un exemple de ce à quoi cela ressemble dans la pratique.
    Transparence Participation civique Corps législatif Intermédiaire
  • Établir des lignes directrices pour l’achat de systèmes d’IA : Établir et publier des lignes directrices de base pour les marchés publics de systèmes d’IA, telles que l’évaluation des risques et la création de mécanismes de responsabilisation avant l’achat.
    Transparence Directrice Intermédiaire

    • Ces lignes directrices peuvent inclure des exigences relatives au formationd’un groupe de surveillance multipartite chargé de conseiller et de rendre compte des achats d’IA.
  • Former les agents publics sur l’ADM : Fournir une formation aux agents publics sur le fonctionnement des systèmes ADM, y compris le renforcement général des capacités nécessaire pour comprendre les bases de la technologie ADM ainsi que la connaissance des systèmes spécifiques utilisés dans une agence donnée. Participation civique Directrice Intermédiaire
Transparence
  • Exiger des notifications en cas de violation de données. Transparence Directrice Fondatrice
  • Exiger des notifications pour l’utilisation d’ADM : Exiger des notifications à ceux qui sont concernés par les décisions prises par un système ADM. Cela devrait inclure des mécanismes permettant au public de contester les décisions automatisées ou de demander l'exclusion des systèmes ADM, comme dans le cas du République de Corée.
    Transparence Directrice Fondatrice
  • Exiger un avis et un consentement pour le traitement : Exiger la divulgation et le consentement aux activités de traitement des données lors de l’utilisation d’outils en ligne, y compris la collecte, le stockage, l’utilisation et la modification des données.
    Transparence Directrice Fondatrice
  • Créez un registre d'algorithme : Établir ou enrichir un registre informatique. Ces registres peuvent se concentrer sur le traitement par le gouvernement (et les sous-traitants) ou couvrir des activités non gouvernementales. Un registre peut soutenir la publication proactive d’évaluations d’impact algorithmiques.
    Transparence Corps législatif Intermédiaire

    • La transparence algorithmique peut inclure des données sur de nombreux éléments d'un système ADM au-delà du code source, y compris l'existence du système, son objectif, ses règles et sa structure, les impacts réels, les données de formation, les entrées et les sorties.
  • Exiger des rapports de traitement des données : Exiger que tous les systèmes ADM divulguent des informations qui établissent et renouvellent régulièrement une base juridique et éthique claire sur la manière dont ils collectent, stockent, partagent, utilisent et modifient les données. Cela peut inclure l’établissement du consentement individuel ou l’établissement d’une acceptation sociale par le biais de processus participatifs. Transparence Directrice Intermédiaire
  • Standardiser les rapports d’impact : Adopter ou améliorer les procédures pour normaliser les évaluations d’impact sur la vie privée et les droits de l’homme. Veiller à ce que le public puisse examiner et contribuer à ces rapports et signaler les irrégularités. Transparence Participation civique Corps législatif Avancé
Participation civique
  • Mener des consultations auprès du public : Mener des consultations où les membres concernés du public peuvent éclairer les étapes de conception et de pilotage de la technologie qui les concerne (comme les algorithmes utilisés dans les systèmes ADM). Des exemples de ceci incluent modèles délibératifs de participation aux niveaux national et local. Participation civique Directrice Corps législatif Inclusion Intermédiaire
    • Veiller à ce que ces consultations incluent une sensibilisation ciblée auprès des communautés vulnérables, qui ont tendance à subir les impacts négatifs de la collecte de données et de l’utilisation de la technologie.
Responsabilité publique
  • Créer des mécanismes de plainte du public : Créer des mécanismes de plainte du public (y compris des structures judiciaires, quasi-judiciaires et de médiation) pour signaler les violations de la loi. Cela est nécessaire pour garantir que le public dispose d'un moyen de communiquer si et comment l'acceptation sociale des pratiques d'une entreprise ou d'un secteur a changé, ce qui peut être utilisé pour identifier les lacunes des cadres juridiques actuels.
    Responsabilité publique Corps législatif Intermédiaire
  • Réaliser des audits réguliers : Effectuer des audits réguliers des systèmes ADM par l'intermédiaire d'organismes de surveillance indépendants et d'observateurs civiques (tels qu'un audit sociale).
    Responsabilité publique Directrice Corps législatif Intermédiaire
  • Publier l’historique d’application et de conformité : Rendre l’historique de l’application et de la conformité disponible en ligne, qui peut être utilisé pour soutenir les futures mesures d’application. Transparence Responsabilité publique Directrice Avancé

Exemples de réformes de l'OGP et au-delà

Les exemples suivants sont des engagements précédemment pris au sein ou au-delà de l'OGP qui démontrent des éléments des recommandations formulées ci-dessus. Il s’agit d’un domaine d’intérêt émergent pour les membres de l’OGP, avec des engagements récents pris concernant l’ADM.

  • Canada Évaluations d’impact algorithmique dans ADM : Nécessite agences utilisant ADM pour réaliser et publier évaluations d'impact avant le déploiement de tout système ADM et pour mettre à jour le système en cas de changement dans sa fonctionnalité ou sa portée.
  • Netherlands Conseils pour rendre les algorithmes accessibles : s’engagé à établir des orientations et un arbre de décision pour les agences, y compris des orientations et des outils pour rendre les algorithmes librement disponibles.
  • New Zealand Projets de mise en œuvre de la Charte des algorithmes : s’engagé à mettre en œuvre son Charte d'algorithme, comme consulter les agences qui ont signé la charte pour prioriser les recommandations liées à la compréhension et à la gestion des risques liés à l'utilisation d'algorithmes dans leur travail.
  • Ecosse, Royaume-Uni Mesures de transparence pour la prise de décision gouvernementale : s’engagé à accroître l’accessibilité des données gouvernementales, comme l’ouverture des données liées à la prise de décision gouvernementale et le développement d’un registre public des algorithmes d’IA.
  • Uruguay Organisme de surveillance multipartite pour l’utilisation de l’IA : s’engagé à la création d’un organisme de surveillance multipartite sur l’utilisation de l’IA par le gouvernement.
Au-delà des plans d'action OGP
  • Union européenne Nécessitant une intervention humaine dans les systèmes d’IA : Nécessite explicitement l’intervention humaine dans les systèmes d’IA à haut risque, tels que les logiciels de reconnaissance faciale et les systèmes permettant d’évaluer l’éligibilité des personnes physiques aux prestations publiques et leur solvabilité.
  • Nigéria Processus DPA pour accroître l’efficacité de l’audit : Établi un processus pour autoriser et enregistrer les auditeurs autorisés, organiser des formations et fournir des conseils sur la conformité en matière de protection des données.
  • Afrique du Sud Application du DPA pour protéger les données personnelles : Mandaté prendre des mesures pour limiter ou arrêter le traitement des données personnelles, sur la base d'un délai spécifié pendant lequel le responsable du traitement des données doit se conformer à la décision de la DPA.

Le rôle des gouvernements locaux

Les gouvernements locaux sont souvent les acheteurs ou les développeurs de systèmes ADM. Ils jouent un rôle particulier en garantissant que ces systèmes atteignent leurs propres objectifs, notamment l’efficacité, l’efficience, l’équité et l’explicabilité. Ces objectifs doivent être rendus transparents au public et expliqués aux intermédiaires, tels que les journalistes.

En effet, plusieurs villes (comme Amsterdam, New York et Nantes) ont été beaucoup plus rapides que leurs homologues nationaux à faire connaître leur utilisation de l'ADM, notamment par le biais de registres d'algorithmes. En l’absence de législation nationale, les gouvernements provinciaux et étatiques ont souvent mené des réformes juridiques et des innovations dans le domaine de la transparence.

Bien entendu, de nombreuses administrations ou agences locales n’ont peut-être pas la capacité d’évaluer certains systèmes ADM. Dans ce cas, ils peuvent avoir un rôle particulier à jouer pour agir ensemble afin d’évaluer les mérites des différents systèmes et fournisseurs.


Qui travaille sur ce sujet ?

A
Australie Australie
B
Bulgarie Bulgarie
C
Canada Canada
E
Estonie Estonie
F
Finlande Finlande
France France
G
Allemagne Allemagne
K
Kenya Kenya
N
Netherlands Netherlands
New Zealand New Zealand
Norvège
O
Ontario
Q
Québec, Canada
S
Ecosse, Royaume-Uni
Espagne Espagne
U
Ukraine Ukraine
Royaume Uni Royaume Uni
Uruguay Uruguay

Partenaires OGP actifs

Les organisations suivantes ont récemment travaillé sur cette question dans le contexte de l'OGP au niveau national ou international. Ils peuvent avoir des idées supplémentaires sur le sujet. Veuillez noter que cette liste n'est pas exhaustive. Si vous êtes intéressé par des initiatives au niveau national, veuillez contacter research@opengovpartnership.org.


Données d'analyse comparative

La Stratégie OGP 2023-2028 énonce le Défi du gouvernement ouvert et vise à fournir des références claires en matière de performance grâce à des données fiables.

Même si les critères de référence pour chaque pays et Open Gov Guide les recommandations ne sont pas encore intégrées, pour ce chapitre, les personnes intéressées peuvent s’appuyer sur les ensembles de données suivants :

  • Données pour le développement (D4D) libérera le Indice mondial sur l'IA responsable sur la qualité de la surveillance de l'IA, y compris le respect des valeurs de l'OGP en matière de transparence, de participation civique et de responsabilité publique.
  • Protection des données Afrique, dirigé par ALT Advisory, cartographie les lois sur la protection des données dans 55 pays du continent.
  • Les engagements de l'OGP sur ce sujet peuvent être trouvés sur le Tableau de bord des données.

Orientations et normes

Bien que la liste ci-dessous ne soit pas exhaustive, elle vise à fournir une série de recommandations, de normes et d’analyses pour guider la réforme dans ce domaine politique.

  • Institut Ada Lovelace, Institut AI Now, et le Unité de soutien OGP collaboré à une publication qui tire les leçons des exemples de mise en œuvre de politiques du secteur public liées à la responsabilité algorithmique. La ressource comprend une analyse des limites des mécanismes juridiques et politiques pour garantir des systèmes algorithmiques sûrs et responsables.
  • ALT Advisory (Afrique du Sud) et le Unité de soutien OGP publié Protection des données en Afrique : une enquête sur les progrès des membres, qui vise à analyser le contexte et les principaux obstacles à une protection efficace des données parmi les membres de l'OGP en Afrique. Il formule également des recommandations visant à renforcer la protection des données dans la région.
  • La Université Adolfo Ibáñez et par Unité de soutien OGP mené une examen de l'état des preuves des normes et recommandations en matière de transparence algorithmique et de responsabilité, qui ont informé le « Transparence algorithmique» chapitre de l’édition 2022 du Guide de Skeptic sur le gouvernement ouvert.
  • Connecté par les données produit un rapport sur la manière d'obtenir des engagements significatifs sur la gouvernance des données et de l'IA, à la suite d'un atelier de conception lors du sommet OGP 2023 en Estonie avec des représentants de la société civile, des responsables gouvernementaux et des universitaires. a produit un rapport sur la manière d'obtenir des engagements significatifs sur la gouvernance des données et de l'IA, à la suite un atelier de conception lors du sommet OGP 2023 en Estonie avec des représentants de la société civile, des responsables gouvernementaux et des universitaires.
  • La Unité de soutien OGPLes algorithmes ouverts de série de blogs rassemble des recommandations et des exemples de bonnes pratiques de réformateurs gouvernementaux et de membres de la société civile travaillant sur la responsabilité algorithmique.
  • Données pour le développement (D4D) libérera le Indice mondial sur l'IA responsable sur la qualité de la surveillance de l'IA, y compris le respect des valeurs de l'OGP en matière de transparence, de participation civique et de responsabilité publique.
  • De nombreux pays ont commencé à réfléchir à des lignes directrices pour répondre aux problèmes d'IA et de protection des données, avec le Royaume Uni's Cadre d'éthique des données fournissant un exemple particulièrement utile d’orientations plus formalisées.
Open Government Partnership