Der beste Ausgangspunkt für eine KI-Funktion ist eine konkrete Aufgabe. Sagen Sie mir, was jemand heute tut, welcher Teil Mühe kostet und wie ein nützliches Ergebnis aussähe. Dann können wir entscheiden, wo KI helfen könnte und was die umgebende Software leisten muss.
Für ein Support-Team könnte diese Aufgabe darin bestehen, eine Antwort aus freigegebenen Hilfeartikeln zu entwerfen. Erfolg hieße dann: ein brauchbarer Entwurf, den eine Mitarbeiterin schnell prüfen kann, mit Links zu den verwendeten Informationen. Das ist ein klareres Ziel als ein offener Chatbot.
Legen Sie Eingabe, Ausgabe und Entscheidung fest
Beschreiben Sie, welche Informationen die Funktion bekommt, was sie zurückgeben soll und wer das Ergebnis nutzt. Nennen Sie auch die Fälle, in denen sie nachfragen oder die Aufgabe an einen Menschen übergeben soll. Ein Werkzeug, das eine Antwort vorschlägt, trägt eine andere Verantwortung als eines, das sie automatisch verschickt.
Überlegen Sie auch, ob gewöhnliche Softwareregeln die Aufgabe zuverlässig erledigen können. Eine feste Berechnung oder eine bekannte Freigaberegel gehört oft in klassische Anwendungslogik. Wir können KI für eine unscharfe Sprachaufgabe einsetzen und die festen Geschäftsregeln trotzdem im Code halten.
Legen Sie fest, welche Informationen sie nutzen darf
Listen Sie die freigegebenen Quellen und die Berechtigungen dazu auf. Im Support-Beispiel darf eine Antwort die veröffentlichte Dokumentation und die Informationen nutzen, auf die die aktuelle Mitarbeiterin zugreifen darf. Sie darf keine Daten anderer Kunden preisgeben.
Bevor Informationen an einen externen Dienst gehen, klären Sie, welche Daten wirklich nötig sind, und prüfen Sie die aktuellen Bedingungen, Aufbewahrungseinstellungen und Kontrollmöglichkeiten des gewählten Anbieters. Versprechen Sie keinen Datenschutz, nur weil ein Produkt so beworben wird. Die Anforderungen an die Daten müssen für den tatsächlichen Ablauf geklärt werden.
Setzen Sie Grenzen für Aktionen
Trennen Sie die Erlaubnis, eine Aktion vorzuschlagen, von der Erlaubnis, sie auszuführen. Ein Entwurf, der eine Erstattung erklärt, und eine Anweisung, die Geld bewegt, brauchen unterschiedliche Kontrollen. Bei folgenreichen Aktionen legen Sie fest, wo ein Mensch das konkrete Ergebnis prüfen und bestätigen muss.
Texte von Kunden, aus Dokumenten oder von externen Seiten können Anweisungen enthalten, die der eigentlichen Aufgabe widersprechen. DieHinweise von OWASP zu Prompt Injection erklären dieses Risiko. Die Funktion braucht Kontrollen darüber, worauf sie zugreifen und was sie tun kann, und nicht nur einen Prompt, der sie um korrektes Verhalten bittet.
Bereiten Sie Beispiele vor, bevor Sie das Modell beurteilen
Stellen Sie eine repräsentative Sammlung von Aufgaben mit Beispielen für gute und inakzeptable Ergebnisse zusammen. Nehmen Sie unvollständige Informationen, mehrdeutige Anfragen, veraltetes Quellmaterial und Anfragen auf, die die Funktion ablehnen oder weitergeben sollte. Verwenden Sie bei Bedarf passend anonymisierte oder synthetische Beispiele.
Ist die Antwort durch die freigegebenen Informationen gedeckt?
Erfindet sie keine Details, wenn die Quelle fehlt?
Respektiert sie die Zugriffsrechte der Nutzer und die Aktionsgrenzen der Funktion?
Kann die prüfende Person das Ergebnis verstehen und korrigieren?
Sind Zeit und Kosten pro brauchbarem Ergebnis für den Ablauf vertretbar?
Vereinbaren Sie diese Prüfungen, bevor Sie Ansätze vergleichen. Eine beeindruckende Antwort in einer Demo beweist wenig; die Bewertung muss die ganze Bandbreite der Arbeit abdecken, die die Funktion erledigen soll.
Planen Sie für Unsicherheit, Wartezeiten und Ausfälle
Eine KI-Antwort kann falsch oder unvollständig sein. Legen Sie fest, wie die Oberfläche die Grundlage einer Antwort zeigt und wie Nutzer Hilfe bekommen. Wenn ein Dienst langsam oder nicht erreichbar ist, sollte der Rest des Produkts ein verständliches Ergebnis liefern, etwa die Anfrage speichern oder manuell weitermachen lassen.
Messen Sie den ganzen Ablauf, einschließlich Prüfung und Korrekturen. Ein schnell erstellter Entwurf kann trotzdem Mehrarbeit verursachen, wenn das Team jedes Detail ohne brauchbare Quellenangaben prüfen muss. DasRisikoprofil des NIST für generative KI ist eine breitere Referenz, um Risiken solcher Systeme zu bewerten und zu steuern.
Starten Sie mit einem begrenzten Release und einem Prüfplan
Wählen Sie eine klar umrissene Aufgabe, testen Sie sie mit typischen Nutzern und prüfen Sie die Ergebnisse, bevor Sie den Funktionsumfang erweitern. Behalten Sie eine Möglichkeit, die Funktion abzuschalten oder zum manuellen Ablauf zurückzukehren. Änderungen am Modell, am Quellmaterial oder an den Anweisungen sollten erneut an den Bewertungsbeispielen geprüft werden.
Die Aufgabe, bei der wir Hilfe wollen: …
Die freigegebenen Informationen, die sie nutzen darf: …
Ein nützliches Ergebnis sieht so aus: …
Inakzeptabel wäre: …
Diese Aktionen brauchen eine menschliche Freigabe: …
Erfolg messen wir an: …
Wenn Sie einen Ablauf im Kopf haben,schicken Sie mir ein Beispiel der Aufgabe. Wir können Integration, Bewertung und Produktarbeit gemeinsam einschätzen, einschließlich derDienste, die zu den laufenden Kosten beitragen.