Le meilleur point de départ pour une fonctionnalité d’IA est une tâche précise. Dites-moi ce que quelqu’un fait aujourd’hui, quelle partie demande des efforts et à quoi ressemblerait un résultat utile. Nous pourrons alors décider où l’IA peut aider et ce que le logiciel autour doit faire.
Pour une équipe support, cette tâche pourrait consister à rédiger un brouillon de réponse à partir d’articles d’aide validés. Le succès serait un brouillon utile qu’un membre de l’équipe peut relire vite, avec des liens vers les informations utilisées. C’est un objectif plus clair que l’ajout d’un chatbot ouvert à tout.
Définissez l’entrée, la sortie et la décision
Décrivez les informations que reçoit la fonctionnalité, ce qu’elle doit renvoyer et qui utilise ce résultat. Incluez les cas où elle doit demander des précisions ou passer la main à une personne. Un outil qui suggère une réponse n’a pas les mêmes responsabilités qu’un outil qui l’envoie automatiquement.
Demandez-vous aussi si des règles logicielles classiques peuvent traiter la tâche de façon fiable. Un calcul fixe ou une règle de validation connue relève souvent de la logique applicative classique. Nous pouvons utiliser l’IA pour une tâche de langage incertaine tout en gardant les règles métier explicites dans le code.
Décidez quelles informations elle peut utiliser
Listez les sources validées et les droits qui s’y appliquent. Dans l’exemple du support, une réponse peut utiliser la documentation publiée et les informations auxquelles le membre de l’équipe concerné a accès. Elle ne doit pas exposer les données d’un autre client.
Avant d’envoyer des informations à un service externe, identifiez les données nécessaires et vérifiez les conditions actuelles, les réglages de conservation et les contrôles disponibles du fournisseur choisi. Ne promettez pas de garanties de confidentialité sur la seule foi d’un argument commercial. Les exigences sur les données doivent être établies pour le parcours réel.
Fixez des limites aux actions
Séparez le droit de suggérer une action du droit de l’exécuter. Un brouillon qui explique un remboursement et une instruction qui déplace de l’argent appellent des contrôles différents. Pour les actions lourdes de conséquences, décidez où une personne doit relire et confirmer le résultat précis.
Les textes de clients, de documents ou de pages externes peuvent contenir des instructions contraires à la tâche prévue. Leguide de l’OWASP sur la prompt injection explique ce risque. La fonctionnalité a besoin de contrôles sur ce à quoi elle peut accéder et ce qu’elle peut faire, au-delà d’un prompt qui lui demande de bien se comporter.
Préparez des exemples avant de juger le modèle
Constituez un ensemble représentatif de tâches avec des exemples de résultats bons et inacceptables. Incluez des informations incomplètes, des demandes ambiguës, des sources obsolètes et des demandes que la fonctionnalité devrait refuser ou transmettre. Utilisez si besoin des exemples anonymisés ou synthétiques.
La réponse s’appuie-t-elle sur les informations validées ?
Évite-t-elle d’inventer des détails quand la source manque ?
Respecte-t-elle les accès de l’utilisateur et les limites d’action de la fonctionnalité ?
La personne qui relit peut-elle comprendre et corriger le résultat ?
Le temps et le coût par résultat utile sont-ils acceptables pour le parcours ?
Convenez de ces vérifications avant de comparer les approches. Une réponse impressionnante dans une démo prouve peu de chose ; l’évaluation doit couvrir tout l’éventail du travail que la fonctionnalité devra traiter.
Prévoyez l’incertitude, l’attente et les pannes de service
Une réponse d’IA peut être fausse ou incomplète. Décidez comment l’interface montre sur quoi repose une réponse et comment un utilisateur peut obtenir de l’aide. Si un service est lent ou indisponible, le reste du produit doit offrir une issue compréhensible, comme enregistrer la demande ou laisser quelqu’un continuer à la main.
Mesurez le parcours complet, relecture et corrections comprises. Un brouillon produit rapidement peut quand même créer du travail en plus si l’équipe doit vérifier chaque détail sans références utiles aux sources. Leprofil de risques de l’IA générative du NIST est une référence plus large pour évaluer et gérer les risques de ces systèmes.
Commencez par une version limitée et un plan de relecture
Choisissez une tâche ciblée, testez-la avec des utilisateurs représentatifs et examinez les résultats avant d’étendre ce que la fonctionnalité peut faire. Gardez un moyen de la désactiver ou de revenir au parcours manuel. Les changements de modèle, de sources ou d’instructions doivent être revérifiés avec les exemples d’évaluation.
La tâche pour laquelle nous voulons de l’aide est : …
Les informations validées qu’elle peut utiliser sont : …
Un résultat utile ressemble à : …
Un résultat inacceptable serait : …
Les actions qui demandent une validation humaine sont : …
Nous mesurerons le succès par : …
Si vous avez un parcours en tête,envoyez-moi un exemple de la tâche. Nous pourrons évaluer ensemble l’intégration, l’évaluation et le travail produit, y compris lesservices qui pèsent sur son coût de fonctionnement.