Contenu du cours
Avancé · Cours 5 : Gouvernance de l'IA, risque et achat d'outils d'IA · Leçon 3 sur 5

Que vérifier avant d'acheter ou d'adopter un nouvel outil d'IA

Niveau: AdvancedDurée: 45 minutesCommande utilisée: A (le T-shirt)Outil: Liste de contrôle de gouvernance et de risque de l'IA
Pour toute personne sur le point d'acheter ou d'adopter un nouvel outil d'IA pour son entreprise et qui a besoin d'une méthode pour le vérifier d'abord. Les leçons 5.1 et 5.2 sont une bonne préparation mais ne sont pas requises. Le cas utilise une entreprise domestique en Make to Stock aux côtés des chiffres approuvés du référentiel de la commande A.
Marque domestiqueCedar & Co. (12 boutiques)
FournisseurDelta Garments (compte ouvert)
Modèle d'affairesMake to Stock, prévision propre
Commande de référenceA — 15 000 T-shirts
FOB de référenceUSD 3,20 par pièce
Valeur de commande de référenceUSD 48 000
02Ouverture

Cette page enseigne ce qu'il faut vérifier avant qu'une entreprise n'achète ou n'adopte un nouvel outil d'IA, et à qui elle s'adresse

Omar, le propriétaire de Cedar & Co., se voit proposer un outil d'IA qui promet de recommander une quantité de réassort mensuel à partir de son propre historique de ventes. L'offre semble utile, et le risque n'est pas évident depuis un simple argumentaire de vente. Avant qu'une entreprise n'adopte un nouvel outil d'IA, qu'il recommande des quantités de stock, rédige des réponses ou lise des spécifications, quelqu'un doit vérifier une liste courte et précise de choses : qui possède les données qu'on lui donne, ce qui se passe si sa recommandation est fausse, et si une personne révise son résultat avant qu'il ne change un stock réel, une commande réelle ou un engagement réel.

Cette leçon enseigne surtout le flux de décision pour évaluer un nouvel outil d'IA avant de lui confier tout cela. Sans une telle vérification, une entreprise adopte un outil sur la force d'une démonstration, et ne découvre ce qu'il fait réellement qu'après qu'il a déjà été utilisé sur de vraies décisions.

03Avant de commencer

Ce dont vous avez besoin, et ce que cette leçon ne couvre pas

Vous avez besoin de : le raisonnement de la Leçon 5.1 et la vision de la Leçon 5.2 des risques créés par un outil non gouverné. Cette leçon transforme les deux en une liste de contrôle avant achat.

À la fin de cette leçon, vous pourrez :

  • lister les trois questions à se poser avant d'adopter tout nouvel outil d'IA ;
  • expliquer pourquoi la propriété des données compte autant que ce que l'outil promet ;
  • décrire ce qui devrait se passer si la recommandation de l'outil se révèle fausse ;
  • décider si un outil proposé a besoin d'une révision humaine avant son adoption ;
  • reconnaître une affirmation de fournisseur nécessitant une vérification indépendante.

Non couvert ici : la rédaction de la politique elle-même (Leçon 5.1) et l'attribution de la responsabilité après coup (Leçon 5.4).

04Termes clés

Mots que vous rencontrerez dans cette leçon

TermeSignification
Vérification de la propriété des donnéesConfirmer qui possède et contrôle l'information donnée à un outil d'IA, et ce que le fournisseur peut en faire.
Plan en cas de défaillanceLa réponse convenue à ce qui se passe, et qui en est informé, si la recommandation ou le résultat d'un outil d'IA se révèle faux.
Affirmation du fournisseurUne déclaration qu'un fournisseur fait sur ce que son outil d'IA peut faire, qui nécessite une vérification plutôt qu'une acceptation automatique.
Période piloteUn essai limité d'un nouvel outil d'IA sur une décision petite et réversible avant de l'utiliser sur une décision plus grande ou plus difficile à annuler.
RéversibilitéLe fait qu'une décision prise avec l'aide d'un outil d'IA puisse être annulée ou corrigée sans coût durable si l'outil se révèle faux.
05Enseignement
La règle

Avant d'adopter un nouvel outil d'IA, une entreprise doit vérifier qui possède les données qui lui sont données, quel est le plan en cas de défaillance s'il se trompe, et si une personne révise son résultat avant qu'il n'agisse sur une véritable décision

Ces trois vérifications s'appliquent que l'outil d'IA rédige du texte, recommande une quantité de stock, ou lise un document technique. La propriété des données compte car les conditions propres d'un fournisseur peuvent lui permettre de conserver ou de réutiliser une information que l'entreprise considère comme la sienne. Un plan en cas de défaillance compte car tout outil d'IA finira par se tromper sur quelque chose, et une entreprise qui n'a pas décidé ce qui se passe ensuite le découvrira au milieu d'une perte réelle. Une étape de révision humaine compte car c'est le point où une recommandation erronée est attrapée avant qu'elle ne change un stock réel, une commande réelle ou un engagement réel.

Un outil qui échoue à l'une de ces trois vérifications n'est pas automatiquement inutilisable, mais il a besoin d'une étape de révision plus forte, d'une période pilote plus courte, ou des deux, avant qu'on lui confie une décision difficile à annuler.

Propriété des donnéesQui possède et contrôlel'information donnéePlan en cas de défaillanceCe qui se passe, et quiest informé, si erreurRévision humaineAvant que le résultatchange une vraie décision
Un outil qui échoue à une vérification n'est pas automatiquement inutilisable. Il a besoin d'une révision plus forte ou d'un pilote plus court avant de toucher une décision difficile à annuler.
Ce que vous rencontrerez dans la réalité

Ce que révèlent les trois vérifications diffère selon le modèle d'affaires, le marché et la réversibilité de la décision

Ce qui peut différerLes formes que vous rencontrerezPourquoi cela vous concerne
Commande export sous Make to OrderUn outil d'IA proposé pour rédiger des réponses aux acheteurs est alimenté avec de vraies informations de commande confirmées.La vérification de propriété des données compte le plus ici, car l'information confirmée de l'acheteur est exactement ce qui ne doit pas quitter l'entreprise selon les propres conditions du fournisseur.
Réassort domestique sous Make to StockUn outil d'IA proposé pour des recommandations de réassort de stock est alimenté avec l'historique de ventes propre de l'entreprise et agit sur une décision (combien réassortir) qui n'est que partiellement réversible une fois le stock engagé.La réversibilité compte le plus ici : une recommandation de réassort erronée immobilise de la trésorerie réelle lente à récupérer, donc une période pilote sur une petite gamme vaut la peine d'être exigée.
Commande hybride via une filatureUn outil d'IA proposé pour la rédaction de spécifications de matière est partagé sur plus d'une commande hybride d'acheteur.Le plan en cas de défaillance doit préciser jusqu'où une spécification erronée est vérifiée une fois trouvée, car elle peut déjà être partagée sur plus d'une commande.
Rôle de bureau d'achat ou d'agentUn outil d'IA proposé pour résumer des messages de plusieurs acheteurs à la fois est alimenté par l'information de tous ensemble.La vérification de propriété des données doit confirmer que l'outil ne laisse pas l'information d'un acheteur influencer ce qui est montré sur un autre.
Différentes familles de produitsLes entreprises de chaussettes, de knit-to-garment, d'éponge et de textiles de maison proposant un outil d'IA pour la prévision ou la rédaction de spécifications font toutes face aux trois mêmes vérifications ; seule la donnée spécifique en jeu change.Les trois vérifications s'appliquent de la même manière quelle que soit la famille de produits ; seul le détail derrière chacune change.
Le cas que nous suivons

Omar vérifie un outil d'IA de réassort de stock avant de l'adopter pour Cedar & Co.

Cedar & Co. gère 12 boutiques sur sa propre prévision Make to Stock, achetant à Delta Garments sur un compte ouvert de 60 jours. On propose à Omar un outil d'IA qui promet de recommander une quantité de réassort mensuel pour chaque gamme de produits à partir de l'historique de ventes propre de Cedar & Co. Avant d'accepter, il vérifie les trois choses que cette leçon enseigne.

Sur la propriété des données, Omar lit les conditions du fournisseur et découvre que les propres données de ventes de Cedar & Co. restent sa propriété et ne sont pas partagées avec d'autres clients du fournisseur, ce qui passe la première vérification. Sur le plan en cas de défaillance, il demande directement au fournisseur ce qui se passe si une recommandation est fausse, et on lui répond seulement que l'outil « s'améliore avec le temps », ce qui n'est pas une réponse à ce qui se passe sur la commande qui était déjà fausse ; il note cela comme une lacune que Cedar & Co. doit couvrir elle-même. Sur la révision humaine, il décide qu'aucune recommandation de réassort ne sera placée comme commande réelle tant qu'un membre de son équipe de planification ne l'a pas comparée à la tendance de ventes actuelle au niveau boutique, au moins pendant les trois premiers mois d'usage de l'outil.

Comme la lacune du plan en cas de défaillance est réelle, Omar commence par un pilote sur la plus petite gamme de produits de la boutique plutôt que sur la plus volumineuse, afin qu'une recommandation erronée pendant la période pilote coûte peu à corriger.

Le chiffre calculé

Une recommandation de réassort erronée pendant le pilote montre pourquoi la réversibilité et une période pilote comptent, en utilisant les chiffres fixes de la commande A comme point de référence

Supposons que la première recommandation pilote de l'outil d'IA pour la gamme de produits d'essai surestime la demande et que Cedar & Co. réassorte plus de stock qu'elle ne peut vendre, immobilisant de la trésorerie que l'entreprise aurait préféré utiliser ailleurs. Comme référence de l'ampleur de l'exposition qu'un déploiement sur toute la gamme représenterait, la valeur fixe de la commande A montre ce qu'une seule commande export porte déjà :

Valeur de la commande A (chiffre de référence, pas la propre commande de Cedar & Co.) : USD 48 000
Valeur de réassort de la gamme pilote immobilisée par la recommandation erronée : une petite fraction d'une seule gamme, pas l'exposition totale de USD 48 000 que représenterait une recommandation erronée sur toute la gamme de produits

Faire tourner le pilote d'abord sur la plus petite gamme est exactement ce qui limite le coût de ce type d'erreur : la recommandation erronée est détectée et corrigée sur une petite gamme, à faible coût, avant que le même outil d'IA ne soit chargé d'une décision de réassort sur toute la gamme de Cedar & Co., où une erreur similaire immobiliserait bien plus de trésorerie.

BON : pilote sur la plus petite gammeUne recommandation erronée immobilise peu de trésorerieCorrigée à faible coût avant déploiement plus largeMAUVAIS : toute la gamme dès le premier jourUne recommandation erronée immobilise de la trésoreriesur chaque gamme de produits à la fois
Une période pilote transforme une erreur précoce inévitable en une erreur petite et bon marché. L'outil est encore nouveau ; seule la taille de la première erreur reste sous le contrôle de Cedar & Co.
La méthode

Vérifier un nouvel outil d'IA avant de l'adopter en quatre étapes

  1. Lisez les propres conditions du fournisseur sur ce qui arrive aux données de l'entreprise une fois qu'elles sont données à l'outil, et confirmez qu'elles restent la propriété de l'entreprise.
  2. Demandez directement au fournisseur ce qui se passe si la recommandation de l'outil est fausse, et consignez la réponse par écrit, même incomplète.
  3. Décidez où une personne doit réviser le résultat de l'outil avant qu'il ne change une véritable décision, et pour combien de temps, avant de retirer cette étape.
  4. Commencez par un pilote sur la décision la plus petite et la plus réversible que l'outil toucherait, avant de l'adopter pour une décision plus grande ou plus difficile à annuler.
Le piège

Une erreur fréquente est d'adopter un outil d'IA à l'échelle de toute l'entreprise immédiatement parce qu'une démonstration semblait convaincante

Une démonstration est conçue pour montrer l'outil bien fonctionner, pas pour montrer ce qui se passe quand sa recommandation est fausse sur les propres données réelles de l'entreprise. Adopter à l'échelle de l'entreprise sur la force d'une démonstration saute exactement les trois vérifications qui auraient détecté une lacune de propriété des données, un plan en cas de défaillance flou, ou une étape de révision manquante, et le fait à pleine échelle dès le premier jour.

La meilleure règle est simple : exécutez les trois vérifications et un petit pilote avant que tout outil d'IA ne touche une décision que l'entreprise trouverait difficile ou coûteuse à annuler.

06En mots simples

Avant de laisser un nouvel outil d'IA prendre ou façonner une véritable décision, posez-lui trois questions simples : qui garde mon information une fois que je vous la donne, que se passe-t-il si vous avez tort, et qui vérifie votre réponse avant qu'elle ne change quoi que ce soit de réel. Essayez ensuite l'outil d'abord sur votre décision la plus petite et la plus facile à corriger, pas votre plus grande.

Si l'outil ne peut pas répondre clairement aux deux premières questions, ce n'est pas une raison de le refuser d'emblée ; c'est une raison de garder une personne pour vérifier son travail plus longtemps avant de lui faire confiance seul.

07Vérification rapide
  • Vérifiez la propriété des données, le plan en cas de défaillance, et l'étape de révision humaine avant d'adopter tout nouvel outil d'IA.
  • Une démonstration de fournisseur montre l'outil bien fonctionner ; elle ne montre pas ce qui se passe quand il a tort sur vos propres données.
  • Un plan en cas de défaillance flou ou manquant est une lacune que l'entreprise doit elle-même couvrir, pas un détail à ignorer.
  • Commencez par un pilote sur la décision la plus petite et la plus réversible avant un déploiement plus large.
  • Les trois mêmes vérifications s'appliquent que l'outil rédige du texte, recommande une quantité, ou lise un document.
  • Un outil qui échoue à une vérification n'est pas automatiquement inutilisable ; il a besoin d'une révision plus forte ou d'un pilote plus court.
08Scénario professionnel

Un fournisseur demande à Omar de signer un contrat donnant à l'outil d'IA accès à l'historique de ventes complet de Cedar & Co. avant qu'aucun pilote n'ait été exécuté

Le fournisseur proposant l'outil d'IA de réassort de stock demande à Omar de signer immédiatement un contrat de service complet, couvrant les 12 boutiques et l'historique de ventes complet de l'entreprise dès le départ, en échange d'un prix de première année plus bas qu'un accord pilote plus petit ne coûterait.

  • La clause de données du contrat permet au fournisseur d'utiliser des données agrégées et anonymisées de tous ses clients, y compris Cedar & Co., pour améliorer l'outil au fil du temps.
  • Aucune période pilote n'est offerte dans le cadre du contrat de service complet réduit ; la réduction s'applique uniquement au déploiement complet immédiat.
  • L'équipe de planification de Cedar & Co. n'a encore utilisé l'outil sur aucune véritable décision de réassort.

Omar doit-il signer le contrat de service complet réduit tel qu'offert ? Décidez avant d'ouvrir la réponse.

Voir la décision

Non. Omar demande d'abord un accord pilote plus petit sur une gamme de produits, même à un coût unitaire plus élevé, avant d'envisager le contrat de service complet.

1. Aucune période pilote signifie que Cedar & Co. adopterait un outil non éprouvé sur les 12 boutiques dès le premier jour, exactement l'exposition que la méthode de la Leçon 5.3 est censée éviter. 2. La clause de données permet un usage agrégé des propres données de ventes de Cedar & Co., ce qui est un vrai terme à négocier ou à accepter en connaissance de cause, pas à signer sans le lire. 3. Un prix de première année plus bas ne compense pas le coût d'une recommandation erronée atteignant chaque boutique à la fois, car ce coût pourrait facilement dépasser la différence de prix entre les deux options de contrat.

Le coût de signer le contrat de service complet réduit sans pilote n'est pas la différence de prix elle-même ; c'est l'exposition de découvrir comment l'outil se comporte sur de vraies décisions seulement après qu'il fonctionne déjà dans toute l'entreprise.

09Ce que ça coûte

Vérifier un outil d'IA avant adoption coûte peu contre le coût de découvrir son plan en cas de défaillance seulement après qu'un problème soit survenu

La valeur totale fixe de la commande A reste un point de référence utile pour l'ampleur de l'exposition que toute décision assistée par l'IA dans ce métier peut porter :

15 000 pièces × USD 3,20 par pièce = USD 48 000 valeur FOB totale

Les trois vérifications préalables à l'adoption dans cette leçon coûtent quelques heures de lecture de contrat, de questions directes, et de mise en place d'un petit pilote. Ce qu'elles protègent contre, c'est de découvrir, seulement après coup, que les conditions de données d'un fournisseur étaient défavorables, que personne chez le fournisseur ne pouvait dire ce qui se passe quand l'outil a tort, ou qu'une recommandation erronée a déjà été appliquée à l'échelle de l'entreprise avant que quiconque ne la révise. Chacun de ces cas, découvert tard, coûte bien plus que les vérifications elles-mêmes ne coûteraient jamais.

Le point le moins coûteux pour attraper un mauvais outil d'IA est avant la signature du contrat, pas après que la première recommandation erronée a été suivie.

10Modèle de travail

Liste de contrôle de gouvernance et de risque de l'IA : consigner les trois vérifications préalables à l'adoption pour chaque outil d'IA envisagé

Utilisez le classeur de liste de contrôle de gouvernance et de risque de l'IA du Cours T18-C05. Dans la feuille Évaluation d'un outil d'IA, listez chaque outil envisagé, la réponse de propriété des données, la réponse du plan en cas de défaillance, et si une révision humaine et un pilote sont prévus avant un usage plus large. Commencez par l'outil de réassort de Cedar & Co., puis répétez pour un outil envisagé par votre entreprise.

[Télécharger le classeur de liste de contrôle de gouvernance et de risque de l'IA](../../templates/T18-C05-ai-governance-and-risk-checklist.xlsx)

Télécharger Liste de contrôle de gouvernance et de risque de l'IA (Excel)

11Vérifiez-vous

1. Pourquoi Omar commence-t-il l'outil de réassort par IA de Cedar & Co. sur sa plus petite gamme de produits plutôt que sur toute sa gamme, étant donné que le fournisseur n'a pas pu décrire un plan en cas de défaillance clair ?

2. Une filature en commande hybride adopte un outil de rédaction par IA à l'échelle de l'entreprise immédiatement, sur la base d'une démonstration du fournisseur, et découvre plus tard que le contrat du fournisseur lui permet de réutiliser les brouillons de spécification de la filature comme exemples pour ses propres produits. Quelle vérification préalable à l'adoption aurait détecté cela avant la signature ?

12Glossaire
FRENARTRSignification
Vérification de la propriété des donnéesData ownership checkفحص ملكية البياناتVeri sahipliği kontrolüConfirmer qui possède et contrôle l'information donnée à un outil d'IA, et ce que le fournisseur peut en faire.
Plan en cas de défaillanceFailure planخطة التعامل مع الخطأHata planıLa réponse convenue à ce qui se passe, et qui en est informé, si la recommandation ou le résultat d'un outil d'IA se révèle faux.
Affirmation du fournisseurVendor claimادعاء المورّدTedarikçi iddiasıUne déclaration qu'un fournisseur fait sur ce que son outil d'IA peut faire, qui nécessite une vérification plutôt qu'une acceptation automatique.
Période pilotePilot periodفترة تجريبيةPilot dönemiUn essai limité d'un nouvel outil d'IA sur une décision petite et réversible avant de l'utiliser sur une décision plus grande ou plus difficile à annuler.
RéversibilitéReversibilityإمكانية التراجعGeri döndürülebilirlikLe fait qu'une décision prise avec l'aide d'un outil d'IA puisse être annulée ou corrigée sans coût durable si l'outil se révèle faux.
13Suivant

Leçon 5.4 : Attribuer la responsabilité quand un travail assisté par l'IA se révèle erroné

Dans la prochaine leçon, vous apprendrez à nommer une personne responsable pour une décision d'entreprise, même quand un outil d'IA a aidé à la produire. Retour à la carte du cours

14Échelle

Reconnaître Nommer les trois vérifications qu'une entreprise doit exécuter avant d'adopter un nouvel outil d'IA.
Relier Voir comment la réversibilité décide sur quelle décision un outil d'IA devrait d'abord être piloté.
Comparer Distinguer une démonstration de fournisseur de ce que ses propres conditions contractuelles disent réellement.
Décider Choisir de signer ou non un contrat d'IA de service complet sans période pilote offerte.