Ignorer la navigation

Trois recommandations pour une IA plus inclusive et équitable dans le secteur public

Tres recomendaciones para el uso más incluyente y equitativo de la inteligencia artificial en el sector público

Allison Merchant|

Partout dans le monde, les entités du secteur public explorent de plus en plus l'utilisation d'algorithmes dans le but d'améliorer les politiques et la prise de décision fondées sur les données. Ces systèmes ont un grand potentiel pour aider à corriger les préjugés sexistes ou cibler les interventions politiques pour combler les écarts d'équité en matière d'accès financier, d'embauche et de recrutement, de politique de santé ou d'éducation, ou conception et prise de décision en matière d'approvisionnement ouvert.

Mais ces mêmes données peuvent être utilisées pour concevoir ou former activement ou par inadvertance des algorithmes visant à discriminer les femmes, les filles et les personnes non binaires qui pourraient autrement être éligibles à un service, une prestation ou un prêt. Les gouvernements et les partenaires de la société civile cherchent à mieux comprendre et à traiter les impacts différenciés selon le sexe des algorithmes dans le gouvernement ouvert et à réduire les préjugés humains autour le sexe, race et origine ethnique, classe, âge et autres données démographiques.

À la fin Réseau d'algorithmes ouverts réunion, les membres se sont réunis pour discuter de cette intersection de l'inclusion, du gouvernement ouvert et de l'intelligence artificielle (IA). Cette réunion était coprésidée par le gouvernement du Canada, avec la participation des gouvernements de l'Estonie, de la Norvège, du Royaume-Uni et de l'Écosse ainsi que des répondants de la société civile. Beaucoup autour de la table virtuelle ont commencé à considérer les questions d'égalité, de préjugés et de discrimination dans leurs engagements algorithmiques dans les plans d'action OGP et dans les stratégies gouvernementales d'IA. Bon nombre de ces engagements sont fondés sur l'idée que l'ouverture des données et la conception d'algorithmes sont un moyen de réduire les préjugés et la discrimination, et que le processus de collecte de données ou de conception est aussi important que le résultat. Comme Le plan d'action de l'Ecosse note, « la façon dont les services publics prennent des décisions à partir des données est aussi importante que les données qu'ils publient. Cela inclut l'utilisation d'une intelligence artificielle fiable, éthique et inclusive, comme indiqué dans la stratégie d'intelligence artificielle de l'Écosse. » Finlande, par exemple, préparera un ensemble général de lignes directrices éthiques pour le gouvernement afin de garantir que les systèmes d'IA ne sont pas intégrés à des modèles directement ou indirectement discriminatoires.

Algorithmique transparence est un émergent engagement domaine pour les membres de l'OGP, la plupart des engagements provenant des pays du Nord. Rares sont ceux qui font explicitement référence à des expériences sexospécifiques plutôt qu'à une discrimination ou à des préjugés plus larges. À mesure que la technologie de l'IA devient plus disponible et intégrée dans les politiques et procédures gouvernementales, les acteurs du gouvernement ouvert doivent être conscients des problèmes discriminatoires potentiels dès le départ et mettre en place des approches ouvertes, transparentes et équitables pour aider à les atténuer.

Les membres de l'Open Algorithm Network recommandent aux acteurs du gouvernement ouvert :

1. Ouvrir les stratégies et projets d'automatisation au public pour améliorer la transparence algorithmique et la responsabilité pour davantage de communautés

Dans la mesure du possible, les membres peuvent rechercher des occasions d'établir des mesures par le biais de politiques, de lois, réglementation, ou d'autres réformes pour faire progresser la transparence algorithmique. Cela peut prendre la forme de rendre les politiques ou stratégies algorithmiques ouvertes et accessibles au public, de publier des informations sur les projets à venir pour examen et commentaires, ou d'engager de manière proactive les parties prenantes concernées autour de la conception et de l'utilisation des algorithmes.

Au Canada, le Directive sur la prise de décision automatisée comprend plusieurs exigences de transparence, y compris remplir et publier un Évaluation d'impact algorithmique (AIA); fournir des avis et des explications aux clients ou au public avant et après les décisions ; assurer l'accès aux composants d'un système (par exemple, pour audits ou enquêtes); publier le code source le cas échéant ; et documenter les décisions automatisées. Bien que la directive oblige les ministères à tester les données utilisées par les systèmes automatisés pour détecter tout biais involontaire, la publication des résultats des tests de biais peut être difficile en raison des risques pour la confidentialité, la sécurité ou la propriété intellectuelle. La protection de la vie privée d'un petit groupe démographique, par exemple, peut entrer en conflit avec les efforts visant à tester ouvertement les algorithmes pour détecter les biais, un processus qui pourrait nécessiter des informations personnelles sensibles sur les personnes touchées par l'automatisation. Bien qu'il existe des stratégies pour anonymiser des données comme celle-ci, cette tension peut poser un défi pour développer une compréhension commune de la transparence algorithmique équitable et inclusive dans le secteur public.

Une autre opportunité consiste à relier les stratégies ou politiques algorithmiques nationales aux engagements du PGO afin d'améliorer leur engagement et leur consultation publics, comme nous l'avons vu chez des membres comme l'Écosse et le Canada. Le gouvernement écossais a continué d'ouvrir des programmes algorithmiques par le biais de défis publics, tels qu'un défi actuel sur l'IA et le handicap et l'accès inclusif aux services publics.

2. Utiliser les évaluations au début du processus de conception pour comprendre le genre ou inclusion différences ou test de biais non intentionnel

Les évaluations et les lignes directrices peuvent être utilisées pour aider les acteurs du secteur public à identifier et à atténuer les risques de discrimination et d'autres formes d'inégalité lors de la phase de conception d'un projet. Ces outils peuvent inclure évaluations de genre comme L'ACS Plus du Canadaanalyse d'économie politiqueou évaluations d'impact sur les droits de l'homme Juste pour en nommer quelques-uns. Les membres ont convenu qu'il est préférable de les déployer au début du processus et de les utiliser de manière itérative tout au long de la vie d'une politique ou d'un programme.

Le gouvernement du Canada cherche à renforcer les garanties de la Directive sur la prise de décision automatisée contre les résultats discriminatoires pour les personnes ou les groupes historiquement marginalisés. La troisième révision en cours de la directive propose une nouvelle exigence imposant au achèvement d'une analyse comparative entre les sexes plus lors de l'élaboration ou de la modification d'un système automatisé. Cela favoriserait une approche intersectionnelle de la conception des projets d'automatisation, permettant aux départements de prendre en compte de multiples facteurs d'identité tels que le sexe, le genre, la géographie et la langue lors de l'évaluation des impacts potentiels d'un système sur les individus. Le gouvernement s'emploie également à élargir l'AIA pour évaluer les impacts potentiels des projets d'automatisation sur personnes handicapées.

De même, au Royaume-Uni, les politiques doivent faire l'objet d'une évaluation de l'impact sur l'égalité, qui peut aider à identifier les possibilités de mieux promouvoir l'égalité ou à repérer les discriminations potentielles ou les effets négatifs d'une politique ou d'un service. Cela couvre une variété de données démographiques protégées telles que l'âge, le handicap, le changement de sexe, le mariage et le partenariat civil, la grossesse et la maternité, la race, la religion ou les convictions, le sexe et l'orientation sexuelle.

En Finlande, bien que la loi existante protège l'égalité et la non-discrimination, la première évaluation du programme d'IA du gouvernement a appelé à l'adoption de lignes directrices éthiques pour le développement d'algorithmes et d'architectures afin d'éviter les préjugés et les effets néfastes sur la dignité humaine et l'égalité. Leur engagement propose l'adoption de nouvelles méthodes de collecte et d'utilisation des données, la fourniture de données gouvernementales ouvertes de meilleure qualité, la révision de la réglementation, le financement de recherches interdisciplinaires à long terme sur les risques de l'IA, une meilleure sensibilisation à l'IA parmi les employés du gouvernement et des discussions publiques autour de IA.

Bien que les directives et les évaluations éthiques puissent fournir des informations essentielles sur les opportunités d'inclusion potentielles ou les angles morts de l'IA, elles ne sont pas une fin en soi. Les systèmes d'IA - et les données qui les sous-tendent - doivent également être surveillés régulièrement pour garantir la qualité et que les résultats ne soient pas biaisés par inadvertance par rapport à des données démographiques telles que les femmes et les personnes de divers genres.

3. Utiliser données ouvertes pour obtenir une conception représentative et responsable tout en tenant compte de la confidentialité et de la gestion des données 

De meilleures données ouvertes et tenant compte du genre peuvent améliorer la prise de décision, la transparence et la responsabilité concernant l'élaboration des politiques, les budgets et les services publics. Cela inclut des données représentatives qui peuvent alimenter des algorithmes et améliorer les résultats des décisions automatisées, ainsi que de meilleures données générées par les citoyens. Par example, Finlande améliore l'accès du public à l'information en améliorant la qualité et la convivialité des données ouvertes.

Quand et comment utiliser, analyser et stocker des données sensibles, notamment le sexe, le genre et l'orientation sexuelle, sont des considérations permanentes en matière de confidentialité. Une solution potentielle proposée par le Royaume-Uni est l'utilisation de intermédiaires de données, des partenaires de confiance qui peuvent faciliter l'accès et le partage des données et aider les gouvernements à gérer une partie de ces risques et à atténuer les biais potentiels. Ils peuvent également permettre aux individus et aux entités de mieux comprendre quelles données sont collectées et quand et comment elles sont utilisées.

Regard vers l'avenir sur l'IA inclusive 

OGP continuera d'explorer cette intersection de l'égalité des sexes, de la conception et de l'utilisation algorithmiques équitables, et gouvernance numérique avec l'Open Algorithms Network et les partenaires du gouvernement ouvert. Ensemble, nous viserons à identifier les interventions qui peuvent être adaptées et partagées à travers le Partenariat et au-delà pour le développement d'engagements tenant compte du genre sur la politique algorithmique et apprendre comment les processus de gouvernement ouvert peuvent mieux soutenir la co-conception de l'utilisation et de la réglementation des algorithmes qui conduire à des politiques et des pratiques plus équitables.

Commentaires (1)

Professeur Thuli Madonsela Répondre

C'est une évolution encourageante. Au Centre pour la justice sociale de l'Université de Stellenbosch (SU), nous avons préconisé l'utilisation de données suffisamment désagrégées pour une évaluation prospective de l'impact sur la justice sociale ou l'égalité des lois, politiques et programmes sociaux prévus au moment de la conception, en plus des données normales. évaluations d'impact réalisées pendant et après la mise en œuvre. Les mesures disparates de confinement de Covid-19 telles que le confinement et les programmes de soutien socio-économique compensatoire ont été un cadeau pour souligner l'importance des évaluations d'impact prévisionnelles. Cet objectif et toutes les mesures d'exploitation des processus et de l'IA nécessitent des données suffisamment désagrégées et un apprentissage automatique adapté à l'équité. Nous aimerions collaborer.

Soyez sympa! Laissez un commentaire

Votre adresse email n'apparaitra pas. Les champs obligatoires sont marqués *

Contenu similaire

Vignette pour Algorithmes et droits de l'homme : comprendre leurs impacts Défis et solutions

Algorithmes et droits de l'homme : comprendre leurs impacts

Les évaluations d'impact algorithmiques sur les droits de l'homme sont apparues comme un outil de responsabilisation pour identifier les dommages potentiels, atténuer les impacts involontaires et éclairer les décisions politiques sur l'utilisation des algorithmes dans les politiques clés…

Vignette pour la gouvernance numérique dans OGP

Gouvernance numérique dans OGP

Les pays OGP tirent parti des opportunités de l'évolution de la technologie, telles que l'intelligence artificielle, les algorithmes basés sur les données et les réseaux sociaux de masse, tout en développant des politiques pour faire face aux menaces, y compris la désinformation,…

Vignette pour le genre dans l'OGP

Genre en OGP

Les réformateurs du gouvernement ouvert unissent leurs forces aux défenseurs de l'égalité des sexes et de l'inclusion dans l'ensemble du Partenariat pour mieux reconnaître et répondre aux réalités vécues par les femmes, les filles et les…

Open Government Partnership