Generative-AI-Engineering
Lernen Sie die Begriffe für Zuverlässigkeit, Sicherheit, Datenschutz, Moderation, Fairness, Schutzmaßnahmen und Red-Teaming, die für den verantwortungsvollen Betrieb von AI erforderlich sind.
12 Begriffe
Zuverlässigkeit
Hallucination (confabulation)
Eine plausible, aber unbegründete Aussage, die nicht durch die verfügbaren Beweise gestützt wird oder faktisch falsch ist.
Behandeln Sie dies als ein Risiko, das durch Verankerung, Verifizierung, Bewertung und Benutzerinformationen gemindert werden muss.
Überprüfen Sie Namen, Daten, Zahlen und Zitate anhand von zuverlässigen Quellen, bevor Sie sie veröffentlichen.Angriffe
Prompt injection
Ein Versuch, ein Modell mit Anweisungen zu manipulieren, die im Konflikt mit den beabsichtigten Regeln der Anwendung stehen.
Trennen Sie nicht vertrauenswürdige Inhalte von Anweisungen und erzwingen Sie Berechtigungen außerhalb des Modells.
Behandeln Sie Webseitentext als Daten und nicht als Berechtigung, Tools aufzurufen.Angriffe
Indirect prompt injection
Bösartige Anweisungen, die in externen Inhalten versteckt sind, die ein AI-System liest oder abruft.
Schützen Sie Dokument-, E-Mail-, Webseiten- und Tool-Ergebnis-Pipelines, die Agenten versorgen.
Ignorieren Sie Anweisungen, die in abgerufenen Dokumenten enthalten sind, und zeigen Sie diese als nicht vertrauenswürdige Inhalte an.Angriffe
Jailbreak
Eine Prompt-Strategie, die dazu dient, Sicherheitsbeschränkungen eines Modells oder einer Anwendung zu umgehen.
Verwenden Sie mehrschichtige Sicherheitsmaßnahmen, Überwachung, Penetrationstests und Tools mit minimalen Berechtigungen.
Blockieren Sie gefährliche Aktionen auf der Ebene der Werkzeugautorisierung, auch wenn das Modell manipuliert wurde.Datenschutz
Personally identifiable information (PII)
Informationen, die direkt oder indirekt eine Person identifizieren.
Erkennen, minimieren, entfernen oder holen Sie die entsprechende Genehmigung ein, bevor Sie es mit AI verarbeiten.
Ersetzen Sie Kundennamen und Kontonummern im Evaluationsdatensatz durch Platzhalter.Datenschutz
Data retention
Regeln, die festlegen, wie lange Eingaben, Ausgaben, Protokolle und abgeleitete Daten gespeichert werden.
Definieren Sie dies, bevor Sie es in der Produktion einsetzen, und stimmen Sie es mit dem Zweck, den Gesetzen, den Verträgen und den Löschbedürfnissen ab.
Löschen Sie rohe Eingabeaufforderungen nach 30 Tagen, während anonymisierte aggregierte Metriken beibehalten werden.Datenschutz
Data residency
Der geografische Standort, an dem Daten gespeichert oder verarbeitet werden.
Überprüfen Sie dies, wenn Gesetze, Verträge oder Unternehmensrichtlinien die Datenspeicherung einschränken.
Leiten Sie regionale Kundendaten nur an genehmigte regionale Dienste weiter.Kontrollen
Guardrail
Eine technische oder prozedurale Kontrolle, die das Verhalten von AI einschränkt, überprüft oder umleitet.
Kombinieren Sie Eingabevalidierungen, Ausgabevalidierungen, Berechtigungen, Überwachung und menschliche Überprüfung.
Validieren Sie generiertes SQL anhand einer Zulassungsliste, bevor es ausgeführt wird.Kontrollen
Content moderation
Erkennung und Behandlung von Inhalten, die gegen Sicherheits- oder Richtlinien verstoßen.
Wenden Sie es auf Eingaben und Ausgaben mit Aktionen an, die für das Risikoniveau geeignet sind.
Inhalte mit hohem Risiko zur Überprüfung markieren und bei Bedarf eine sichere Alternative anbieten.Bias (Verzerrung) und Fairness
Bias
Eine systematische Tendenz, die zu verzerrten oder unfairen Ergebnissen führen kann.
Es über relevante Gruppen, Sprachen, Kontexte und Fehlerkosten messen.
Vergleichen Sie die Fehlerraten für die unterstützten Sprachen.Bias (Verzerrung) und Fairness
Fairness
Das Ziel und die Kriterien, die verwendet werden, um zu beurteilen, ob Vorteile, Fehler und Behandlungen angemessen verteilt werden.
Definieren Sie dies für den jeweiligen Anwendungsfall, da verschiedene Fairness-Metriken in Konflikt geraten können.
Dokumentieren Sie, welche Fairness-Metrik für den Workflow zur Bewerberauswahl gilt und warum.Gewährleistung
AI red teaming
Strukturierte Adversarial-Tests, die nach schädlichen Fehlern, Missbrauchs-Pfade und Schwachstellen suchen.
Führen Sie es vor dem Start und nach bedeutenden Änderungen aus, wobei realistische Bedrohungsszenarien verwendet werden.
Testen Sie Prompt-Injection, Datenlecks, unsichere Tool-Aktionen und mehrsprachige Umgehungsversuche.