Инженерия генеративного ИИ
Понимание терминов "модель", "входные данные", "контекст", "генерация" и "операция", используемых при работе с генеративным AI и большими языковыми моделями.
12 терминов
Модели
Generative AI
AI, который создает новый текст, изображения, аудио, код или другой контент на основе изученных закономерностей.
Используйте этот термин при разграничении систем, создающих контент, от систем классификации или прогнозирования.
Используйте генеративный AI для создания трех описаний продуктов, а затем проверьте их на фактическую точность.Модели
Foundation model
Широко обученная модель, которую можно адаптировать для выполнения множества задач.
Используйте это, когда обсуждается базовая модель, лежащая в основе чат-бота, агента или специализированного приложения.
Выберите базовую модель, а затем добавьте инструкции для извлечения и специфичные для задачи, предназначенные для поддержки клиентов.Модели
Large language model (LLM)
Модель, обученная на больших текстовых коллекциях для понимания и генерации языковых последовательностей.
Используйте это для генерации текста, суммирования, извлечения, перевода и задач, связанных с диалогами.
Попросите LLM суммировать расшифровку встречи в решения, ответственных и сроки.Модели
Multimodal model
Модель, способная обрабатывать или генерировать более одного типа данных, например, текст и изображения.
Используйте это, когда задача включает в себя скриншоты, документы, аудио, видео или текст.
Предоставьте изображение графика и попросите мультимодальную модель объяснить видимую тенденцию.Ввод и контекст
Token
Единица текста, обрабатываемая языковой моделью; это может быть слово, часть слова или знак препинания.
Используйте количество токенов для оценки емкости контекста, задержки и стоимости использования.
Обрезайте повторяющиеся инструкции, когда объем входных данных приближается к лимиту токенов модели.Ввод и контекст
Context window
Максимальное количество входных данных и сгенерированного вывода, которое модель может учитывать за один запрос.
Используйте это для определения, должны ли документы быть суммированы, разбиты на части или извлечены выборочно.
Большое окно контекста не гарантирует, что каждая включенная деталь будет использована правильно.
Извлеките пять наиболее релевантных фрагментов вместо размещения всего архива в контекстном окне.Ввод и контекст
System instruction
Инструкция высокого приоритета, определяющая роль, правила и поведение ответа модели.
Используйте это для установки устойчивого поведения, которое используется для многих пользовательских запросов.
Вы - помощник поддержки. Ссылайтесь на предоставленную политику и говорите, когда отсутствуют доказательства.Операция.
Model weights
Выученные числовые значения, которые кодируют закономерности, полученные в процессе обучения.
Используйте этот термин при сравнении базовых, дообученных, квантованных или моделей с открытым исходным кодом.
Загрузите одобренные веса модели в изолированной среде вывода.Операция.
Inference
Процесс запуска обученной модели на новых входных данных для получения выходных данных.
Используйте это, когда обсуждается обслуживание, задержка, оборудование или стоимость запроса.
Пакетная обработка запросов на вывод, не требующих срочности, для повышения производительности.Операция.
Knowledge cutoff
Последний момент времени, который существенно представлен в знаниях, используемых для обучения модели.
Проверьте это, прежде чем спрашивать о недавних событиях, ценах, политиках или версиях программного обеспечения.
Используйте функцию поиска в реальном времени для событий, произошедших после даты окончания знаний модели.Генерация
Sampling
Метод, используемый для выбора каждого следующего токена из вероятностного распределения модели.
Настройте выборку, когда вам нужны более детерминированные или более разнообразные результаты.
Используйте консервативную выборку для извлечения политик и более широкую выборку для генерации идей.Генерация
Temperature
Настройка генерации, которая обычно контролирует степень концентрации или разнообразия выбора токенов.
Установите его на минимальное значение для повторяющихся структурированных задач и увеличьте его осторожно для исследований.
Точный эффект и поддерживаемый диапазон зависят от модели и поставщика.
Установите низкую температуру для преобразования счетов в фиксированную схему JSON.