Politiques publiques / Numérique et intelligence artificielle
Décisions algorithmiques et droits des usagers
Un calcul, un classement ou un score peut contribuer à l’attribution d’un droit, à une orientation ou à un contrôle. Comprendre son rôle demande de retrouver les critères, les données et les opérations appliqués à la personne. L’organisme doit pouvoir expliquer la décision ; l’usager doit pouvoir identifier ce qu’il conteste et la démarche utile.
Le domaineVos questionsLes défis futurs et comment les anticiperNotre travailMissions possiblesPublications et formationsPremier échange
Les algorithmes dans la décision publique
Un traitement algorithmique applique des opérations à des données pour produire un résultat. Il peut reposer sur des règles explicites ou sur des techniques d'intelligence artificielle. Tous les algorithmes ne sont pas des systèmes d'IA ; tous leurs résultats ne sont pas des décisions. L'analyse part de l'usage réel : calcul d'un montant, classement de demandes, sélection d'un dossier à examiner ou recommandation reprise par un agent.
Les administrations, collectivités, organismes sociaux et établissements doivent rapprocher ce fonctionnement de leurs compétences et des règles de la matière. Les critères d'attribution d'une aide, d'accès à un service ou d'organisation d'un contrôle ne peuvent être remplacés par la seule logique du logiciel. La décision reste imputable à une autorité identifiée.
L'information sur le recours à un traitement
L’article L. 311-3-1 du code des relations entre le public et l’administration prévoit, sous la réserve du 2° de l’article L. 311-5, une mention explicite lorsqu’une décision individuelle est prise sur le fondement d’un traitement algorithmique. Les règles du traitement et les principales caractéristiques de sa mise en œuvre sont communiquées à l’intéressé sur demande.
La mention adressée à la personne indique la finalité, le droit à communication, ses modalités d’exercice et la possibilité de saisir la Commission d’accès aux documents administratifs. La réponse à une demande d’explication doit être intelligible et respecter les secrets protégés. Elle porte sur le degré et le mode de contribution du traitement, les données et leurs sources, les paramètres et leur éventuelle pondération appliqués à la personne, ainsi que les opérations effectuées.
La décision entièrement automatisée et la décision assistée
L’article 22 du règlement général sur la protection des données encadre les décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou affectant significativement une personne de façon similaire. Le principe, les exceptions et les garanties doivent être examinés selon le traitement. Une décision assistée par un outil appelle également un contrôle, même lorsqu’elle ne relève pas de ce régime.
Pour les décisions administratives entièrement automatisées, l’article 47 de la loi Informatique et Libertés prévoit des conditions propres. La maîtrise du traitement et de ses évolutions doit notamment permettre d’expliquer en détail son application à la personne. Le Conseil d’État l’a rappelé dans sa décision du 4 mars 2022. Cette décision distingue aussi l’acte autorisant la création d’un traitement des règles et décisions d’affectation prises avec son concours : le choix de l’acte contesté détermine les moyens utiles.
Les problèmes des organismes et des usagers
Vérifier les critères et les données appliqués
Un résultat défavorable peut provenir d'une donnée erronée, d'une règle mal traduite, d'un paramétrage ou de la qualification juridique de la situation. Le dossier doit permettre de retrouver les informations utilisées, leur date et leur source. Le cabinet rapproche le résultat des textes, des actes de l'organisme et des pièces de la personne concernée.
Pour un classement, il faut examiner les critères, leurs poids, les seuils et la manière dont les égalités ou situations particulières sont traitées. Une règle techniquement uniforme peut produire des effets différents sur certains publics. La comparaison doit porter sur des situations pertinentes et sur les obligations de la matière, sans présumer une discrimination à partir du seul désaccord avec le résultat.
Rendre l'intervention de l'agent effective
L'agent doit pouvoir comprendre les éléments déterminants, vérifier les données et s'écarter du résultat lorsque l'analyse du dossier le demande. Une validation systématique ne démontre pas un examen réel. Les compétences, le temps, les habilitations et les modalités de signalement doivent être rapprochés du fonctionnement quotidien du service.
Répondre à une demande d'explication
La réponse doit expliquer l'application du traitement à la situation concernée, plutôt que remettre uniquement une présentation générale du logiciel. Il faut déterminer les documents et informations accessibles, les secrets à protéger et les éléments à obtenir du prestataire. La communication d'un code source, lorsqu'elle est ouverte, ne remplace pas l'explication des critères et opérations appliqués.
Les droits d'accès aux documents, aux données personnelles et les voies de contestation de la décision ont des objets distincts. Une demande de communication ne doit pas être présumée préserver tous les délais de recours. Les échéances sont examinées dès le premier échange.
Corriger une erreur qui touche plusieurs dossiers
Une anomalie peut exiger de revoir une série de décisions. Il faut définir les personnes et périodes concernées, les pièces à conserver et les modalités de réexamen. La correction du logiciel ne modifie pas automatiquement les actes déjà pris : leurs suites doivent être appréciées selon leur nature et les règles applicables.
Les défis futurs et comment les anticiper
Des décisions produites par plusieurs systèmes
Le résultat peut dépendre de données reçues d'un autre organisme, d'un score externe et d'un outil interne. Le suivi doit permettre de retrouver cette chaîne et les responsabilités, y compris lorsque les versions changent. L'accès aux informations utiles et leur conservation doivent être prévus avant qu'une contestation ne survienne.
Une donnée rectifiée dans un fichier peut continuer à produire des effets dans un autre. Il faut organiser la propagation des corrections selon les obligations applicables, identifier les destinataires et vérifier si les décisions déjà prises demandent un réexamen. Le contrat d’échange ou de prestation doit permettre de retrouver les informations utilisées à la date de la décision, avec des durées de conservation proportionnées.
Des explications à maintenir après une modification
La mise à jour des critères ou d'un modèle peut changer le résultat sans modifier immédiatement la présentation adressée aux usagers. Les versions, dates d'application et règles de validation doivent être documentées. Une ancienne décision s'examine avec le fonctionnement qui a effectivement contribué à sa préparation.
Les effets collectifs et la qualité du service
Les réclamations et réexamens peuvent révéler des erreurs récurrentes ou des situations mal prises en compte. Leur analyse sert à corriger les règles, les données ou l'organisation. Elle doit distinguer un défaut technique d'une difficulté du dispositif juridique lui-même. Les propositions d'évolution de ce dispositif relèvent d'un travail distinct de l'application du droit en vigueur.
Avant d’étendre un classement à d’autres publics, comparer les cas d’échec et les possibilités de correction permet de décider des tests, des contrôles et des limites d’usage. Les équipes doivent pouvoir faire remonter une situation atypique sans être contraintes de la faire entrer artificiellement dans les catégories de l’outil.
Le travail du cabinet
Le directeur de mission reconstitue le parcours de la décision avec les personnes qui connaissent le dossier et le fonctionnement du service. Il identifie les éléments à obtenir et propose les démarches utiles : communication, vérification technique, rectification, réexamen ou recours. Les compétences techniques sont associées lorsqu'elles sont nécessaires pour interpréter le fonctionnement et ses traces.
Il prend l’initiative d’alerter lorsqu’une réponse du fournisseur ne permet pas de comprendre le résultat, qu’un délai menace le recours ou qu’une anomalie paraît dépasser le dossier examiné. Les échanges directs et la restitution servent à décider des vérifications et des mesures à prendre, avec leurs responsables.
Le travail relie les règles de la politique publique, la procédure administrative, la protection des données et, lorsque le système y relève, l'encadrement de l'IA. L'étude d'un outil et la défense d'une décision individuelle restent deux niveaux d'analyse. Les conclusions sont restituées avec les corrections et décisions à préparer.
Intelligence artificielle dans l'action publique · Données publiques, partage et réutilisation
Des missions possibles
Ces descriptions présentent des travaux envisageables et des livrables à convenir. Elles ne constituent pas des références de missions réalisées ni des garanties de résultat.
Revoir un dispositif de calcul ou de classement
Le cabinet examine les textes, les critères, les données et le rôle des agents. La mission peut produire une cartographie du processus, une analyse des écarts et des corrections des règles ou actes, puis les modalités de contrôle et de suivi avec les équipes.
Préparer l'information et les réponses aux usagers
Le travail identifie les mentions nécessaires, les informations accessibles et les interlocuteurs capables de les fournir. Il prépare les notices, les modèles de réponse et le circuit de traitement des demandes, avec une explication adaptée à la situation individuelle et les protections requises.
Contester ou défendre une décision
Une attribution, un refus ou un classement est discuté. Le cabinet examine l'acte, les données et la contribution du système, vérifie les échéances et prépare les demandes, observations ou écritures adaptées. Il examine les mesures d'urgence lorsqu'une protection immédiate est nécessaire et que leurs conditions sont réunies.
Organiser un réexamen après une anomalie
La mission délimite les dossiers affectés, examine les actes et prépare les suites juridiquement possibles. Les livrables peuvent comprendre un plan de réinstruction, les informations aux personnes et les projets de décisions, avec le suivi des corrections techniques et des conséquences financières.
Préparer les garanties contractuelles et documentaires
Le cabinet examine les obligations du fournisseur, l'accès aux critères, les traces utiles et les changements de version. Il prépare les clauses et modalités de conservation permettant d'expliquer et de contrôler les décisions sans divulguer des informations protégées au-delà de ce qui est permis.
Publications et formations
La présentation de XXI Institut situe sa démarche de recherche et de débat public, notamment pour distinguer la réflexion sur le contrôle des algorithmes des obligations applicables à un dossier. Ce renvoi général ne désigne pas une publication particulière.
Le programme Intelligence artificielle et décision publique propose de travailler sur les usages, les responsabilités et les garanties de contrôle. Il s’agit d’un programme proposé, sans session programmée ; ses modalités restent à confirmer.
XXI Formations : construire un programme sur mesure — information des usagers, traitement des demandes, critères de décision et contrôle des outils peuvent être travaillés avec les équipes selon leurs responsabilités.
Préparer un premier échange
Précisez la décision, sa date et sa notification, le traitement connu et les démarches déjà engagées. Signalez les échéances et l'effet recherché. Les pièces et données personnelles sont transmises selon les modalités convenues avec le cabinet.
Revenir au domaine Numérique et intelligence artificielle · Sous-page suivante : Données publiques, partage et réutilisation