Analyse

IA générative responsable : de quels risques parle-t-on réellement ?

COVEC

L'IA générative s'est installée rapidement dans les organisations.

Rédiger un document, résumer une réunion, analyser de l'information, générer du code, préparer une présentation ou interroger une base documentaire : les possibilités sont nombreuses et les gains potentiels sont réels.

Mais utiliser une solution d'IA générative ne consiste pas simplement à choisir un outil performant.

Entre le moment où une personne formule une requête et celui où elle utilise le résultat produit, plusieurs questions apparaissent :

Quelles données ont été transmises ? Peut-on faire confiance au résultat ? Qui en assume la responsabilité ? Quels autres impacts cet usage entraîne-t-il ?

Une utilisation responsable de l'IA générative commence par la capacité à poser ces questions.

1. Données et confidentialité

L'un des premiers risques se trouve dans le prompt lui-même.

Un employé peut, sans mauvaise intention, transmettre à un assistant d'IA :

  • des renseignements personnels;
  • des informations confidentielles;
  • un contrat;
  • des données financières;
  • des documents internes;
  • du code source;
  • des informations concernant un client.

La question ne se limite donc pas à savoir si un outil est « sécuritaire ».

L'organisation doit comprendre quelles données peuvent être utilisées, dans quel environnement, selon quelles conditions et avec quelles protections.

Cela implique notamment de connaître les pratiques du fournisseur concernant le traitement, la conservation et l'utilisation des données.

2. Fiabilité et hallucinations

Une réponse produite avec assurance n'est pas nécessairement exacte.

Les systèmes d'IA générative peuvent produire des informations incorrectes, inventer des références, omettre des éléments importants ou présenter comme certains des éléments qui ne le sont pas.

Le risque augmente lorsque le résultat est utilisé pour :

  • conseiller un client;
  • interpréter une exigence;
  • produire une analyse;
  • préparer une décision;
  • générer du contenu technique;
  • communiquer de l'information au public.

La question essentielle devient alors :

Qui valide le résultat avant qu'il soit utilisé ?

La supervision humaine ne consiste pas simplement à regarder la réponse. Elle suppose que la personne chargée de la validation possède suffisamment de connaissances pour détecter un résultat problématique.

3. Biais et équité

Les modèles génératifs sont entraînés à partir de très grandes quantités de données.

Ces données peuvent contenir des biais, des représentations incomplètes ou des déséquilibres qui peuvent se retrouver dans les résultats produits.

Le risque devient particulièrement important lorsque l'IA intervient dans des processus concernant des personnes : recrutement, évaluation, recommandation, accès à un service ou soutien à une décision.

Une utilisation responsable exige donc de considérer non seulement ce que produit le système, mais également qui pourrait être affecté par son résultat.

4. Propriété intellectuelle

L'IA générative soulève des questions dans les deux directions.

D'abord, concernant ce que l'organisation transmet au système.

Un employé peut introduire dans un outil externe des documents, images, stratégies, logiciels ou autres contenus appartenant à l'organisation ou à ses clients.

Ensuite, concernant ce que le système génère.

La provenance des contenus ayant contribué à certains résultats peut être difficile à déterminer, et les conditions d'utilisation varient selon les fournisseurs.

Pour les organisations qui produisent du contenu, du code ou des actifs créatifs, ces questions doivent faire partie de l'évaluation des usages.

5. Cybersécurité

L'IA générative peut également introduire de nouveaux vecteurs de risque.

Extensions de navigateur, assistants connectés aux applications internes, agents ayant accès à plusieurs systèmes ou outils capables d'exécuter des actions augmentent progressivement la surface d'exposition.

Plus une IA possède d'accès et d'autonomie, plus la question de ses permissions devient importante.

De quelles informations dispose-t-elle ? À quels systèmes peut-elle accéder ? Quelles actions peut-elle exécuter ?

L'arrivée des agents IA rend ces questions encore plus importantes.

6. Shadow AI

Lorsqu'une organisation ne fournit pas de cadre clair, les employés peuvent se tourner vers leurs propres outils.

Ils créent des comptes personnels, testent de nouveaux services et trouvent des façons d'intégrer l'IA dans leur travail.

Le problème n'est pas nécessairement l'expérimentation.

Le problème est que l'organisation peut progressivement perdre la visibilité sur les outils utilisés, les données transmises et les décisions influencées par ces systèmes.

La gouvernance de l'IA générative doit donc chercher un équilibre entre contrôle et capacité d'expérimentation.

7. Dépendance technologique

La facilité d'adoption peut masquer une autre question : la dépendance.

Une équipe commence par utiliser un assistant pour quelques tâches. Puis elle crée des processus autour de cet outil, connecte des données, développe des automatisations et forme ses employés.

Quelques mois plus tard, changer de fournisseur peut devenir beaucoup plus complexe.

Avant d'intégrer profondément une solution, il est utile de considérer :

  • la portabilité des données;
  • les possibilités d'intégration;
  • les coûts à long terme;
  • les conditions contractuelles;
  • les possibilités de migration;
  • la dépendance envers les modèles et plateformes du fournisseur.

La performance immédiate n'est donc pas le seul critère de décision.

8. Impacts environnementaux

L'IA générative repose sur des infrastructures physiques : centres de données, processeurs spécialisés, réseaux, systèmes de refroidissement et ressources énergétiques.

Son utilisation a donc une empreinte matérielle et environnementale.

Tous les usages ne nécessitent pas nécessairement le modèle le plus puissant disponible.

Une approche responsable consiste également à se demander :

Avons-nous réellement besoin d'IA pour cette tâche ? Et si oui, quel niveau de technologie est proportionné au besoin ?

La responsabilité numérique commence aussi par cette notion de proportionnalité.

9. Travail et compétences

L'IA générative transforme la façon dont certaines tâches sont réalisées.

Elle peut réduire le temps consacré à des activités répétitives, faciliter l'accès à l'information et augmenter certaines capacités.

Mais elle peut également modifier les rôles, déplacer des responsabilités et créer une dépendance excessive aux résultats produits par les outils.

L'enjeu ne consiste donc pas uniquement à former les employés à utiliser un prompt.

Il faut également préserver et développer leur capacité à :

analyser, vérifier, décider et exercer leur jugement professionnel.

10. Responsabilité et supervision humaine

Une IA peut produire une recommandation.

Elle ne porte pas la responsabilité organisationnelle de la décision qui en découle.

Lorsqu'un système intervient dans un processus important, il doit être possible de déterminer :

  • qui utilise le système;
  • qui valide son résultat;
  • qui peut contester ce résultat;
  • qui autorise son utilisation;
  • qui assume la décision finale.

Plus les conséquences potentielles sont importantes, plus ces responsabilités doivent être explicites.


L'IA générative responsable n'est pas un produit

Il serait tentant de penser qu'il suffit de choisir une plateforme d'entreprise, d'activer quelques paramètres de sécurité et de former les employés pour pouvoir parler d'IA générative responsable.

Ce n'est qu'une partie de la réponse.

Une approche responsable concerne simultanément :

les usages → les données → les risques → les outils → les personnes → les décisions → les impacts

Elle doit donc évoluer avec les usages de l'organisation.


À retenir

Utiliser l'IA générative de manière responsable ne signifie pas renoncer à l'innovation.

Cela signifie être capable de comprendre :

Pourquoi utilisons-nous l'IA ? Quelles données lui confions-nous ? Pouvons-nous vérifier ce qu'elle produit ? Qui reste responsable ? Et quels impacts sommes-nous prêts à accepter ?

La question n'est pas seulement de savoir ce que l'IA générative peut faire.

Il faut également décider ce que nous voulons lui permettre de faire, dans quelles conditions et pour quelles raisons.

COVEC --- Technologie avec intention.

← Retour aux ressources