Sara, une acheteuse chez Northline Apparel, ne voit pas quels outils d'IA le personnel d'une usine utilise au quotidien. Elle voit les résultats : une réponse qui répond à une question qu'elle n'a pas posée, une spécification légèrement différente de celle qu'elle a approuvée, une date de livraison qui change sans raison claire. Quand une usine ou un bureau d'achat n'a aucune règle sur l'usage des outils d'IA, ces résultats commencent à apparaître plus souvent, et Sara n'a aucun moyen de savoir lesquels proviennent d'un résultat rédigé par l'IA que personne n'a vérifié avec soin.
Cette leçon enseigne surtout le flux de décision dont les acheteurs et les usines ont besoin ensemble : ce qui va réellement mal quand l'usage de l'IA n'est pas gouverné, afin que la politique de la Leçon 5.1 ne soit pas une simple formalité mais une réponse à des risques réels et précis. Sans voir clairement ces risques, une entreprise tend à traiter une politique d'usage de l'IA comme de la paperasse plutôt que comme ce qui se trouve entre l'erreur d'un outil d'IA et un client.
Vous avez besoin de : le raisonnement de la Leçon 5.1 sur l'existence d'une politique d'usage de l'IA. Cette leçon va plus loin en nommant les risques précis qu'une politique manquante permet.
À la fin de cette leçon, vous pourrez :
Non couvert ici : comment évaluer un outil d'IA spécifique avant son adoption (Leçon 5.3) et comment attribuer la responsabilité une fois qu'un problème est déjà survenu (Leçon 5.4).
| Terme | Signification |
|---|---|
| Usage non gouverné de l'IA | Un usage de l'IA sans politique écrite, sans règle d'information et sans étape de révision humaine en place. |
| Erreur silencieuse | Une erreur dans un résultat rédigé par l'IA qui paraît confiante et correcte, si bien que personne ne la remarque avant qu'elle ne soit envoyée ou utilisée. |
| Erreur à grande échelle | La même erreur répétée automatiquement dans de nombreux documents, commandes ou messages parce qu'un outil d'IA l'a produite une fois et qu'elle a été copiée ou réutilisée. |
| Spécification divulguée | Un détail technique ou commercial d'une commande confirmée partagé en dehors des personnes censées le voir. |
| Engagement non tenu | Une promesse faite à un acheteur ou à une usine, par écrit, qui se révèle ne pas correspondre aux faits réels. |
Chacun de ces trois risques découle directement de ce qu'un outil d'IA fait réellement. Il peut retenir et réutiliser ce qui lui est donné, c'est ainsi qu'une spécification se divulgue. Il produit un texte confiant et fluide, que le fait sous-jacent soit correct ou non, c'est ainsi qu'une erreur silencieuse échappe à un lecteur qui ne vérifie pas avec soin. Et parce qu'il peut produire le même type de résultat instantanément et à répétition, une seule erreur non détectée dans sa méthode peut apparaître dans de nombreux documents avant que quiconque remarque le schéma.
Aucun de ces trois risques n'exige que l'outil d'IA soit particulièrement médiocre ; ils découlent d'un comportement ordinaire de l'IA rencontrant un processus d'entreprise sans politique, sans règle d'information et sans étape de révision pour les intercepter.
| Ce qui peut différer | Les formes que vous rencontrerez | Pourquoi cela vous concerne |
|---|---|---|
| Commande export sous Make to Order, côté acheteur | Un acheteur reçoit une réponse rédigée par l'IA d'une usine qui répond avec assurance mais ne correspond pas au plan de production confirmé. | L'acheteur n'a aucun moyen de savoir si la réponse a été rédigée par l'IA ou non révisée ; le coût de lui faire confiance retombe sur sa propre planification. |
| Réassort domestique sous Make to Stock | L'équipe de planification d'une marque domestique laisse un outil d'IA rédiger une recommandation de réassort à partir de l'historique des ventes sans révision. | Une quantité de réassort erronée immobilise de la trésorerie réelle dans un stock qui ne se vendra pas, découvert seulement quand le stock ne bouge pas. |
| Commande hybride via une filature | Une filature rédige une spécification de matière avec un outil d'IA et réutilise la même version sans révision sur deux commandes hybrides d'acheteurs différents sans vérifier l'une ou l'autre par rapport à sa propre approbation. | Une seule erreur silencieuse dans la version partagée devient une erreur à grande échelle, répétée à l'identique sur plus d'une commande à la fois. |
| Bureau d'achat détenant l'information de plus d'un acheteur | Le personnel colle le prix confirmé d'un acheteur dans un outil d'IA en posant une question générale, sans intention de l'exposer. | Une spécification ou un prix divulgué est une violation de confidentialité même sans intention de partage ; l'intention ne change pas l'exposition. |
| Différentes familles de produits | Les commandes de chaussettes, de knit-to-garment, d'éponge et de textiles de maison portent toutes les trois mêmes risques ; seul le document spécifique en jeu (une ligne de spécification, un journal de défauts, un détail de bordure) change. | Les trois risques sont généraux à tout usage de l'IA sur l'information de commande confirmée, pas spécifiques à un type de produit. |
Northline Apparel a confirmé la commande A avec Delta Garments : 15 000 T-shirts, single jersey 180 GSM, Ne 30/1, FOB convenu USD 3,20 par pièce, valeur totale de la commande USD 48 000. Sara demande à Delta Garments de confirmer que l'expédition est toujours dans les délais pour la semaine convenue. Elle reçoit une réponse fluide et confiante confirmant la semaine originale, signée par un membre de l'équipe de merchandising de Delta Garments.
Ce que Sara ne sait pas, c'est que la réponse a été rédigée par un outil d'IA à partir d'une ancienne version du calendrier de production, car le membre du personnel n'avait pas mis à jour l'information donnée à l'outil après qu'un retard de deux jours ait été enregistré ce matin-là même. Personne chez Delta Garments n'a révisé la réponse par rapport au calendrier actuel avant de l'envoyer, parce qu'aucune politique ne l'exigeait.
Sara planifie son propre calendrier de réception d'entrepôt autour de la semaine confirmée. Quand l'expédition arrive avec deux jours de retard, elle n'a aucune raison de l'avoir anticipé, car la réponse qu'elle a reçue ne lui donnait aucun signal que quelque chose avait changé. Le coût de l'usage non gouverné de l'IA retombe du côté de Sara dans la commande, pas du côté de Delta Garments où l'erreur a été commise.
Le chiffre calculéUne erreur silencieuse de 2 jours est petite comparée à une fenêtre de planification de 2 semaines, donc elle ne coûte peut-être pas la valeur totale de la commande dans ce cas précis ; mais le même processus non gouverné pourrait tout aussi facilement cacher un retard plus long, une quantité erronée, ou un détail de spécification erroné, chacun capable de mettre en jeu la valeur totale de la commande de USD 48 000 s'il atteint Sara sans révision. La taille du risque est fixée par ce qui est en jeu dans la commande, pas par la petitesse de cette erreur précise.
Un outil d'IA qui rédige des réponses fluides et confiantes paraît fiable, ce qui explique exactement pourquoi une erreur silencieuse en son sein est dangereuse : la fluidité du résultat n'a aucun rapport avec la justesse du fait sous-jacent. Juger de cette manière fait manquer la vraie question, qui est de savoir quelle information confirmée l'outil touche et qui lit son résultat sans le vérifier.
La meilleure règle est simple : jugez le risque d'un outil d'IA d'après l'information d'entreprise confirmée qu'il touche et qui reçoit son résultat sans le vérifier, pas d'après la confiance qu'inspirent ses réponses.
Un outil d'IA sans aucune règle autour de lui est comme un messager rapide et confiant qui répétera ce dont il se souvient à moitié, d'une voix calme et convaincante, sans savoir s'il a raison. Si ce messager porte votre prix confirmé, votre date confirmée ou votre spécification confirmée sans que personne ne vérifie d'abord ce qu'il dit, une petite erreur peut atteindre un acheteur ou une usine comme s'il s'agissait d'un fait, et elle peut atteindre plusieurs acheteurs ou plusieurs commandes dans le temps qu'il faut pour réutiliser la même version.
La solution n'est pas d'arrêter d'utiliser l'outil ; c'est de savoir exactement où son résultat atteint quelqu'un qui agira selon lui, et d'y placer une personne avant que cela n'arrive.
Un membre de l'équipe de Delta Garments utilise un outil d'IA pour résumer un long rapport d'inspection interne en une brève mise à jour pour Sara, avant un appel programmé. Le résumé généré par l'IA rapporte que l'expédition a réussi sans problème. Le rapport d'inspection original, que le membre de l'équipe n'a pas relu après avoir généré le résumé, enregistre en fait un type de défaut au-dessus de la limite de qualité acceptable convenue sur un petit échantillon de cartons.
Sara doit-elle autoriser la libération du paiement sur la base du résumé tel qu'envoyé ? Décidez avant d'ouvrir la réponse.
Non. La libération du paiement est suspendue jusqu'à ce que le rapport d'inspection original soit vérifié directement par rapport à la limite de défauts.
1. Le résumé généré par l'IA a omis un défaut que le rapport original a clairement enregistré, ce qui montre que le résumé ne peut pas être considéré comme un substitut fiable au rapport lui-même pour une décision de paiement. 2. Personne n'a comparé le résumé au rapport original avant son envoi, ce qui est le contrôle manquant, et non une raison de faire confiance au résumé cette fois. 3. Une libération de paiement décidée sur un résumé erroné devrait être annulée ou contestée une fois le défaut découvert, ce qui coûte bien plus de temps et de confiance que de vérifier le rapport original maintenant.
Le coût de libérer le paiement sur le résumé erroné n'est pas seulement le défaut lui-même ; c'est que Sara aurait libéré un paiement sur un document qui ne reflétait pas le véritable résultat d'inspection, ce qui affaiblit chaque futur résumé que Delta Garments lui enverra.
La valeur totale fixe de la commande A montre ce qui est déjà en jeu avant l'ajout de tout risque lié à l'IA :
Un outil d'IA non gouverné détruit rarement cette valeur en un événement visible unique. Son coût réel est une spécification divulguée qui sape un accord de confidentialité, une erreur silencieuse qui atteint un acheteur comme s'il s'agissait d'un fait, ou une erreur répétée sur plusieurs documents avant que quiconque ne remarque le schéma. Chacune est plus difficile à détecter qu'une erreur évidente, et chacune érode la confiance qu'un acheteur place dans chaque future réponse, devis ou rapport que l'entreprise envoie, bien au-delà de la valeur de la seule commande où elle s'est produite.
Le point le moins coûteux pour prévenir ce coût est exactement là où la politique de la Leçon 5.1 le place : avant que le résultat rédigé par l'IA ne quitte l'entreprise sans révision.
Utilisez le classeur de liste de contrôle de gouvernance et de risque de l'IA du Cours T18-C05. Dans la feuille Points de risque IA, listez chaque endroit où un résultat rédigé par l'IA atteint quelqu'un hors de l'équipe qui l'a produit, l'information en jeu, et si un réviseur désigné le vérifie. Commencez par les points de risque de Delta Garments sur la commande A, puis répétez l'exercice pour votre entreprise.
[Télécharger le classeur de liste de contrôle de gouvernance et de risque de l'IA](../../templates/T18-C05-ai-governance-and-risk-checklist.xlsx)
Télécharger Liste de contrôle de gouvernance et de risque de l'IA (Excel)
1. Pourquoi une erreur silencieuse et confiante dans une réponse rédigée par l'IA est-elle plus dangereuse qu'une erreur clairement fausse ?
2. La commande B (3 000 jeans, FOB cible convenu USD 9,80 par pièce) a une spécification rédigée par l'IA réutilisée, sans révision, sur deux commandes hybrides qui l'utilisent toutes deux. Une erreur dans la version est répétée dans les deux commandes. De quel type de risque s'agit-il ?
| FR | EN | AR | TR | Signification |
|---|---|---|---|---|
| Usage non gouverné de l'IA | Ungoverned AI use | استخدام غير محكوم للذكاء الاصطناعي | Yönetişimsiz yapay zekâ kullanımı | Un usage de l'IA sans politique écrite, sans règle d'information et sans étape de révision humaine en place. |
| Erreur silencieuse | Silent error | خطأ صامت | Sessiz hata | Une erreur dans un résultat rédigé par l'IA qui paraît confiante et correcte, si bien que personne ne la remarque avant qu'elle ne soit envoyée ou utilisée. |
| Erreur à grande échelle | Error at scale | خطأ على نطاق واسع | Ölçekte hata | La même erreur répétée automatiquement dans de nombreux documents, commandes ou messages parce qu'un outil d'IA l'a produite une fois et qu'elle a été copiée ou réutilisée. |
| Spécification divulguée | Leaked specification | مواصفة مسربة | Sızdırılmış spesifikasyon | Un détail technique ou commercial d'une commande confirmée partagé en dehors des personnes censées le voir. |
| Engagement non tenu | Broken commitment | التزام غير محقق | Yerine getirilmeyen taahhüt | Une promesse faite à un acheteur ou à une usine, par écrit, qui se révèle ne pas correspondre aux faits réels. |
Dans la prochaine leçon, vous apprendrez ce qu'il faut vérifier avant d'adopter un outil d'IA, afin qu'il ne crée pas les risques que cette leçon vient de montrer. Retour à la carte du cours