Partout dans le monde, les entités du secteur public explorent de plus en plus l'utilisation d'algorithmes dans le but d'améliorer les politiques et la prise de décision fondées sur les données. Ces systèmes ont un grand potentiel pour aider à corriger les préjugés sexistes ou cibler les interventions politiques pour combler les écarts d'équité en matière d'accès financier, d'embauche et de recrutement, de politique de santé ou d'éducation, ou conception et prise de décision en matière d'approvisionnement ouvert.

Mais ces mêmes données peuvent être utilisées pour concevoir ou former activement ou par inadvertance des algorithmes visant à discriminer les femmes, les filles et les personnes non binaires qui pourraient autrement être éligibles à un service, une prestation ou un prêt. Les gouvernements et les partenaires de la société civile cherchent à mieux comprendre et à traiter les impacts différenciés selon le sexe des algorithmes dans le gouvernement ouvert et à réduire les préjugés humains autour le sexeLes gouvernements participants à l'OGP apportent des perspectives de genre dans les domaines politiques populaires, assurent la diversité dans les processus participatifs et ciblent spécifiquement les écarts entre les sexes dans les politiques pour aborder le gouvernement ..., race et origine ethnique, classe, âge et autres données démographiques.

À la fin Réseau d'algorithmes ouverts réunion, les membres se sont réunis pour discuter de cette intersection de l'inclusion, du gouvernement ouvert et de l'intelligence artificielle (IA). Cette réunion était coprésidée par le gouvernement du Canada, avec la participation des gouvernements de l'Estonie, de la Norvège, du Royaume-Uni et de l'Écosse ainsi que des répondants de la société civile. Beaucoup autour de la table virtuelle ont commencé à considérer les questions d'égalité, de préjugés et de discrimination dans leurs engagements algorithmiques dans les plans d'action OGP et dans les stratégies gouvernementales d'IA. Bon nombre de ces engagements sont fondés sur l'idée que l'ouverture des données et la conception d'algorithmes sont un moyen de réduire les préjugés et la discrimination, et que le processus de collecte de données ou de conception est aussi important que le résultat. Comme Le plan d'action de l'Ecosse note, « la façon dont les services publics prennent des décisions à partir des données est aussi importante que les données qu'ils publient. Cela inclut l'utilisation d'une intelligence artificielle fiable, éthique et inclusive, comme indiqué dans la stratégie d'intelligence artificielle de l'Écosse. » Finlande, par exemple, préparera un ensemble général de lignes directrices éthiques pour le gouvernement afin de garantir que les systèmes d'IA ne sont pas intégrés à des modèles directement ou indirectement discriminatoires.

Algorithmique transparenceSelon les articles de gouvernance de l'OGP, la transparence se produit lorsque "les informations détenues par le gouvernement (y compris sur les activités et les décisions) sont ouvertes, complètes, opportunes, librement accessibles au public... Plus est un émergent engagementLes engagements du PGO sont des promesses de réforme co-créées par les gouvernements et la société civile et soumises dans le cadre d'un plan d'action. Les engagements comprennent généralement une description du problème, des actions concrètes... domaine pour les membres de l'OGP, la plupart des engagements provenant des pays du Nord. Rares sont ceux qui font explicitement référence à des expériences sexospécifiques plutôt qu'à une discrimination ou à des préjugés plus larges. À mesure que la technologie de l'IA devient plus disponible et intégrée dans les politiques et procédures gouvernementales, les acteurs du gouvernement ouvert doivent être conscients des problèmes discriminatoires potentiels dès le départ et mettre en place des approches ouvertes, transparentes et équitables pour aider à les atténuer.

Les membres de l'Open Algorithm Network recommandent aux acteurs du gouvernement ouvert :

1. Ouvrir les stratégies et projets d'automatisation au public pour améliorer la transparence algorithmique et la responsabilité pour davantage de communautés

Dans la mesure du possible, les membres peuvent rechercher des occasions d'établir des mesures par le biais de politiques, de lois, réglementationLes réformateurs du gouvernement élaborent des réglementations qui consacrent les valeurs de transparence, de participation et de responsabilité dans les pratiques gouvernementales. Spécifications techniques : Acte de création ou de réforme..., ou d'autres réformes pour faire progresser la transparence algorithmique. Cela peut prendre la forme de rendre les politiques ou stratégies algorithmiques ouvertes et accessibles au public, de publier des informations sur les projets à venir pour examen et commentaires, ou d'engager de manière proactive les parties prenantes concernées autour de la conception et de l'utilisation des algorithmes.

Au Canada, le Directive sur la prise de décision automatisée comprend plusieurs exigences de transparence, y compris remplir et publier un Évaluation d'impact algorithmique (AIA); fournir des avis et des explications aux clients ou au public avant et après les décisions ; assurer l'accès aux composants d'un système (par exemple, pour auditsDes cadres institutionnels et juridiques sont nécessaires pour garantir l'intégrité des informations financières et le respect des règles et procédures budgétaires. Spécifications techniques : Ces... ou enquêtes); publier le code source le cas échéant ; et documenter les décisions automatisées. Bien que la directive oblige les ministères à tester les données utilisées par les systèmes automatisés pour détecter tout biais involontaire, la publication des résultats des tests de biais peut être difficile en raison des risques pour la confidentialité, la sécurité ou la propriété intellectuelle. La protection de la vie privée d'un petit groupe démographique, par exemple, peut entrer en conflit avec les efforts visant à tester ouvertement les algorithmes pour détecter les biais, un processus qui pourrait nécessiter des informations personnelles sensibles sur les personnes touchées par l'automatisation. Bien qu'il existe des stratégies pour anonymiser des données comme celle-ci, cette tension peut poser un défi pour développer une compréhension commune de la transparence algorithmique équitable et inclusive dans le secteur public.

Une autre opportunité consiste à relier les stratégies ou politiques algorithmiques nationales aux engagements du PGO afin d'améliorer leur engagement et leur consultation publics, comme nous l'avons vu chez des membres comme l'Écosse et le Canada. Le gouvernement écossais a continué d'ouvrir des programmes algorithmiques par le biais de défis publics, tels qu'un défi actuel sur l'IA et le handicap et l'accès inclusif aux services publics.

2. Utiliser les évaluations au début du processus de conception pour comprendre le genre ou l'inclusionLes gouvernements participants à l'OGP s'efforcent de créer des gouvernements qui servent véritablement tous les peuples. Les engagements dans ce domaine peuvent concerner les personnes handicapées, les femmes et les filles, les lesbiennes, les gays, les bisexuels, les tr... différences ou test de biais non intentionnel

Les évaluations et les lignes directrices peuvent être utilisées pour aider les acteurs du secteur public à identifier et à atténuer les risques de discrimination et d'autres formes d'inégalité lors de la phase de conception d'un projet. Ces outils peuvent inclure évaluations de genre comme L'ACS Plus du Canada, analyse d'économie politique, ou évaluations d'impact sur les droits de l'homme Juste pour en nommer quelques-uns. Les membres ont convenu qu'il est préférable de les déployer au début du processus et de les utiliser de manière itérative tout au long de la vie d'une politique ou d'un programme.

Le gouvernement du Canada cherche à renforcer les garanties de la Directive sur la prise de décision automatisée contre les résultats discriminatoires pour les personnes ou les groupes historiquement marginalisés. La troisième révision en cours de la directive propose une nouvelle exigence imposant au achèvementLes responsables de la mise en œuvre doivent respecter leurs engagements pour qu'ils aient un impact. Pour chaque engagement, le mécanisme de rapport indépendant (IRM) d'OGP évalue dans quelle mesure les activités décrivent ... d'une analyse comparative entre les sexes plus lors de l'élaboration ou de la modification d'un système automatisé. Cela favoriserait une approche intersectionnelle de la conception des projets d'automatisation, permettant aux départements de prendre en compte de multiples facteurs d'identité tels que le sexe, le genre, la géographie et la langue lors de l'évaluation des impacts potentiels d'un système sur les individus. Le gouvernement s'emploie également à élargir l'AIA pour évaluer les impacts potentiels des projets d'automatisation sur personnes handicapéesUn gouvernement n'est ouvert que s'il est accessible à tous, et les gouvernements s'efforcent de garantir que les personnes handicapées bénéficient de services et d'opportunités équitables de participation. Spécification technique....

De même, au Royaume-Uni, les politiques doivent faire l'objet d'une évaluation de l'impact sur l'égalité, qui peut aider à identifier les possibilités de mieux promouvoir l'égalité ou à repérer les discriminations potentielles ou les effets négatifs d'une politique ou d'un service. Cela couvre une variété de données démographiques protégées telles que l'âge, le handicap, le changement de sexe, le mariage et le partenariat civil, la grossesse et la maternité, la race, la religion ou les convictions, le sexe et l'orientation sexuelle.

En Finlande, bien que la loi existante protège l'égalité et la non-discrimination, la première évaluation du programme d'IA du gouvernement a appelé à l'adoption de lignes directrices éthiques pour le développement d'algorithmes et d'architectures afin d'éviter les préjugés et les effets néfastes sur la dignité humaine et l'égalité. Leur engagement propose l'adoption de nouvelles méthodes de collecte et d'utilisation des données, la fourniture de données gouvernementales ouvertes de meilleure qualité, la révision de la réglementation, le financement de recherches interdisciplinaires à long terme sur les risques de l'IA, une meilleure sensibilisation à l'IA parmi les employés du gouvernement et des discussions publiques autour de IA.

Bien que les directives et les évaluations éthiques puissent fournir des informations essentielles sur les opportunités d'inclusion potentielles ou les angles morts de l'IA, elles ne sont pas une fin en soi. Les systèmes d'IA - et les données qui les sous-tendent - doivent également être surveillés régulièrement pour garantir la qualité et que les résultats ne soient pas biaisés par inadvertance par rapport à des données démographiques telles que les femmes et les personnes de divers genres.

3. Utiliser données ouvertesEn ouvrant les données et en les rendant partageables et réutilisables, les gouvernements peuvent permettre un débat éclairé, une meilleure prise de décision et le développement de nouveaux services innovants. Spécifications techniques : Police... pour obtenir une conception représentative et responsable tout en tenant compte de la confidentialité et de la gestion des données 

De meilleures données ouvertes et tenant compte du genre peuvent améliorer la prise de décision, la transparence et la responsabilité concernant l'élaboration des politiques, les budgets et les services publics. Cela inclut des données représentatives qui peuvent alimenter des algorithmes et améliorer les résultats des décisions automatisées, ainsi que de meilleures données générées par les citoyens. Par example, Finlande améliore l'accès du public à l'information en améliorant la qualité et la convivialité des données ouvertes.

Quand et comment utiliser, analyser et stocker des données sensibles, notamment le sexe, le genre et l'orientation sexuelle, sont des considérations permanentes en matière de confidentialité. Une solution potentielle proposée par le Royaume-Uni est l'utilisation de intermédiaires de données, des partenaires de confiance qui peuvent faciliter l'accès et le partage des données et aider les gouvernements à gérer une partie de ces risques et à atténuer les biais potentiels. Ils peuvent également permettre aux individus et aux entités de mieux comprendre quelles données sont collectées et quand et comment elles sont utilisées.

Regard vers l'avenir sur l'IA inclusive 

OGP continuera d'explorer cette intersection de l'égalité des sexes, de la conception et de l'utilisation algorithmiques équitables, et gouvernance numériqueAlors que les technologies en évolution offrent de nouvelles opportunités aux gouvernements et aux citoyens pour faire progresser l'ouverture et la responsabilité, les gouvernements participants à l'OGP s'efforcent de créer des politiques qui traitent de la ... avec l'Open Algorithms Network et les partenaires du gouvernement ouvert. Ensemble, nous viserons à identifier les interventions qui peuvent être adaptées et partagées à travers le Partenariat et au-delà pour le développement d'engagements tenant compte du genre sur la politique algorithmique et apprendre comment les processus de gouvernement ouvert peuvent mieux soutenir la co-conception de l'utilisation et de la réglementation des algorithmes qui conduire à des politiques et des pratiques plus équitables.