Generative-AI-Engineering
Verstehen Sie die Begriffe Modell, Eingabe, Kontext, Generierung und Betrieb, die beim Arbeiten mit generativer AI und großen Sprachmodellen verwendet werden.
12 Begriffe
Modelle
Generative AI
AI, die aus gelernten Mustern neue Texte, Bilder, Audio, Code oder andere Inhalte erstellt.
Verwenden Sie den Begriff, um Systeme zur Inhaltserstellung von Systemen zur Klassifizierung oder Vorhersage zu unterscheiden.
Verwenden Sie generative AI, um drei Produktbeschreibungen zu erstellen und überprüfen Sie diese dann auf faktische Richtigkeit.Modelle
Foundation model
Ein weitgehend trainiertes Modell, das an viele nachgelagerte Aufgaben angepasst werden kann.
Verwenden Sie es, wenn über das Basismodell hinter einem Chatbot, Agenten oder einer spezialisierten Anwendung gesprochen wird.
Wählen Sie ein Basismodell aus und fügen Sie dann Retrieval- und aufgabenspezifische Anweisungen für den Kundensupport hinzu.Modelle
Large language model (LLM)
Ein Modell, das auf großen Textsammlungen trainiert wurde, um Sprache zu verstehen und Sequenzen zu generieren.
Verwenden Sie es für die Textgenerierung, Zusammenfassung, Extraktion, Übersetzung und Konversationsaufgaben.
Bitten Sie das LLM, das Meeting-Protokoll in Entscheidungen, Verantwortliche und Fristen zusammenzufassen.Modelle
Multimodal model
Ein Modell, das mehr als einen Datentyp verarbeiten oder erzeugen kann, z. B. Text und Bilder.
Verwenden Sie es, wenn eine Aufgabe Screenshots, Dokumente, Audio, Video oder Text kombiniert.
Stellen Sie ein Diagrammbild bereit und bitten Sie das multimodale Modell, den sichtbaren Trend zu erklären.Eingabe und Kontext
Token
Eine Einheit von Text, die von einem Sprachmodell verarbeitet wird; sie kann ein Wort, ein Teil eines Wortes oder ein Satzzeichen sein.
Verwenden Sie Token-Anzahlen, um die Kontextkapazität, die Latenz und die Nutzungskosten abzuschätzen.
Kürzen Sie wiederholte Anweisungen, wenn die Eingabe sich dem Token-Limit des Modells nähert.Eingabe und Kontext
Context window
Die maximale Menge an Eingabe- und Ausgabedaten, die ein Modell in einer einzigen Anfrage berücksichtigen kann.
Verwenden Sie es, um zu entscheiden, ob Dokumente zusammengefasst, in Abschnitte unterteilt oder selektiv abgerufen werden sollen.
Ein größerer Kontextbereich garantiert nicht, dass jedes enthaltene Detail korrekt verwendet wird.
Rufen Sie die fünf relevantesten Abschnitte ab, anstatt das gesamte Archiv in den Kontext zu übernehmen.Eingabe und Kontext
System instruction
Eine Anweisung mit hoher Priorität, die die Rolle, die Regeln und das Antwortverhalten des Modells definiert.
Verwenden Sie es, um ein dauerhaftes Verhalten festzulegen, das von vielen Benutzeranfragen verwendet wird.
Sie sind ein Support-Assistent. Zitieren Sie die angegebene Richtlinie und geben Sie an, wann Beweise fehlen.Operation
Model weights
Gelernte numerische Werte, die Muster codieren, die während des Trainings erworben wurden.
Verwenden Sie den Begriff beim Vergleichen von Basis-, Feinabstimmungs-, Quantisierungs- oder Open-Weight-Modellen.
Laden Sie die zugelassenen Modellgewichte in die isolierte Inferenzumgebung.Operation
Inference
Der Prozess des Ausführens eines trainierten Modells mit neuen Eingaben, um eine Ausgabe zu erzeugen.
Verwenden Sie es, wenn über das Serving, die Latenz, die Hardware oder die Kosten pro Anfrage gesprochen wird.
Gruppieren Sie nicht-dringende Abfrageanfragen, um den Durchsatz zu verbessern.Operation
Knowledge cutoff
Der letzte Zeitpunkt, der in den Trainingsdaten eines Modells wesentlich repräsentiert ist.
Überprüfen Sie dies, bevor Sie Fragen zu aktuellen Ereignissen, Preisen, Richtlinien oder Softwareversionen stellen.
Verwenden Sie die Live-Suche für Ereignisse, die nach dem Wissensstand des Modells stattgefunden haben.Generierung
Sampling
Die Methode, die verwendet wird, um jedes nächste Token aus der Wahrscheinlichkeitsverteilung des Modells auszuwählen.
Passen Sie die Abtastung an, wenn Sie deterministischere oder vielfältigere Ergebnisse benötigen.
Verwenden Sie konservative Stichproben für die Richtlinienextraktion und breitere Stichproben für die Ideenfindung.Generierung
Temperature
Eine Generationseinstellung, die im Allgemeinen steuert, wie konzentriert oder vielfältig die Token-Auswahl ist.
Reduzieren Sie diesen Wert für wiederholbare, strukturierte Aufgaben und erhöhen Sie ihn vorsichtig für die Erkundung.
Die genauen Auswirkungen und der unterstützte Bereich variieren je nach Modell und Anbieter.
Legen Sie eine niedrige Temperatur für die Konvertierung von Rechnungen in ein festes JSON-Schema fest.