Инженерия генеративного ИИ
Изучите, как составлять бюджет, собирать, упорядочивать, сжимать, кэшировать и отслеживать инструкции, доказательства, историю и состояние для надежных запросов к AI.
16 терминов
Объем и бюджет.
Context engineering
Разрабатывайте полную информационную среду, предоставляемую модели, включая инструкции, извлеченные доказательства, историю, результаты работы инструментов и состояние.
Используйте это, когда надежное поведение зависит от выбора и организации более одного предложения запроса.
Объедините политику, состояние клиента, полученные доказательства и правила вывода в один контролируемый контекст.Объем и бюджет.
Context budget
Запланированное распределение доступных токенов между инструкциями, доказательствами, историей, результатами инструментов и ожидаемым выводом.
Установите его перед добавлением длинных документов, чтобы важные инструкции и пространство для вывода не были загромождены.
Зарезервируйте 2000 токенов для ответа и распределите оставшийся бюджет между политиками, примерами и извлеченными фрагментами.Объем и бюджет.
Working context
Подмножество доступной информации, активно предоставляемой для текущего шага модели.
Используйте это для различения входных данных текущего шага от информации, хранящейся в другом месте в памяти или в исходных системах.
На этом этапе включите утвержденный план и примечания к источникам, но исключите предыдущие этапы мозгового штурма.Сборка и доверие
Context assembly
Сбор выбранных инструкций, состояния, доказательств, примеров и результатов работы инструментов и включение их во входные данные модели.
Используйте детерминированную политику сборки, чтобы каждый запрос получал необходимые компоненты в известном формате.
system rules -> verified user state -> retrieved evidence -> current request -> output contractСборка и доверие
Context hierarchy
Отношение приоритета между системными правилами, инструкциями приложения, вводом пользователя и ненадежным контентом.
Явно указывайте границы полномочий, когда входные данные могут конфликтовать или содержать встроенные инструкции.
Метки иерархии помогают приложению оценивать уровень доверия, но разрешения, связанные с безопасностью, все равно должны применяться вне модели.
Рассматривайте извлеченный текст веб-страницы как доказательство, а не как разрешение на изменение системных правил.Сборка и доверие
Context ordering
Последовательность, в которой отображаются инструкции, исходный материал, примеры и текущий вопрос.
Проверьте упорядочивание с использованием репрезентативных входных данных, поскольку положение может влиять на то, какую информацию модель подчеркивает.
Сначала разместите исходный код, а затем укажите точный вопрос и требуемый формат вывода.Сборка и доверие
Conversation history
Предыдущие сообщения пользователя и ассистента сохраняются для обеспечения непрерывности в течение всего взаимодействия.
Включите только историю, которая является релевантной, разрешенной и все еще действительной для текущего запроса.
Длинная история может содержать устаревшие инструкции или ненужные личные данные.
Сохраняйте подтвержденные требования и удаляйте устаревшие черновики перед следующим этапом генерации.Сборка и доверие
Context provenance
Запись метаданных, указывающая, откуда взялся каждый элемент контекста, когда он был получен и как он может быть использован.
Используйте это, когда доказательства должны быть указаны, обновлены, защищены доступом или проверены.
Прикрепить исходный код. ID, версию документа, retrieved_at, область доступа и расположение фрагмента к каждому абзацу.Емкость для длинного контекста
Long context
Входные данные, содержащие большой объем текста или мультимедийного материала, находящегося в пределах поддерживаемого контекстного объема модели.
Используйте это, когда задача действительно требует широкого охвата источников, и простое извлечение исключило бы полезные связи.
Больше контекста не гарантирует, что каждая деталь будет использована точно; оценивайте извлечение и рассуждения на основе реалистичных примеров.
Анализ полного набора контрактов, а затем перечисление противоречащих положений с указанием документа и раздела.Емкость для длинного контекста
Context overflow and truncation
Состояние, при котором запрошенный ввод и вывод превышают возможности, что приводит к отклонению или удалению контента.
Обнаруживайте это до этапа вывода и применяйте явную политику для обрезки, суммирования, извлечения или разделения работы.
Неявная обрезка может удалить точную инструкцию или доказательство, необходимые для правильного ответа.
Если входные данные превышают лимит, сохраните системные правила и последний запрос, а затем извлеките наиболее релевантные доказательства.Емкость для длинного контекста
Lost-in-the-middle effect
Тенденция к тому, что релевантная информация, скрытая в длинном вводе, используется менее надежно, чем заметная информация.
Проверьте важные доказательства в различных позициях и улучшите извлечение, упорядочивание, метки или размещение запросов, если возникают сбои.
Оцените одни и те же доказательства в начале, середине и конце, а не полагайтесь только на одно размещение.Оптимизация и повторное использование.
Context pruning
Удаление нерелевантных, дублирующихся, устаревших или малоценных элементов перед отправкой запроса.
Используйте это для сохранения внимания и бюджета для авторитетных инструкций и доказательств.
Удалите дублирующиеся результаты поиска и сообщения, которые были заменены окончательным решением пользователя.Оптимизация и повторное использование.
Context compression
Представление исходного материала в более краткой форме при сохранении информации, необходимой для выполнения задачи.
Используйте структурированные сводки, когда исходный текст слишком велик, и сохраняйте ссылки на исходные данные.
Сжатие может упускать важные нюансы или вносить ошибки, поэтому проверяйте достоверность важных утверждений, сравнивая их с исходным материалом.
Сжимайте каждую встречу в решения, ответственных, сроки, нерешенные вопросы и временные метки источника.Оптимизация и повторное использование.
Reusable prompt prefix
Стабильный начальный блок инструкций или справочных материалов, используемый при повторных запросах.
Объединяйте стабильный контент, когда поставщик или среда выполнения могут эффективно повторно использовать одинаковые префиксы.
Сначала разместите утвержденную политику и схему; добавьте конкретные для запроса доказательства и вопросы позже.Оптимизация и повторное использование.
Context caching
Повторное использование ранее обработанных токенов или сохраненного контекста для последующих запросов, если это поддерживается платформой.
Используйте это для повторяющихся вопросов по одним и тем же большим инструкциям, документам, медиафайлам или кодовой базе.
Поведение кэша, минимальный размер, срок жизни, стоимость и недействительность варьируются в зависимости от поставщика и модели.
Кэшируйте корпус политик один раз, а затем отправляйте более короткие вопросы, специфичные для каждого случая.Оптимизация и повторное использование.
Cache hit and cache miss
Попадание в кэш повторно использует подходящий предыдущий контекст; промах требует повторной обработки входных данных.
Измерьте оба результата при оценке задержки и стоимости для рабочих нагрузок с повторяющимися префиксами.
Отслеживайте закешированные входные токены и частоту пропусков по версии запроса после развертывания.Используйте наиболее простой подход, который сохраняет данные и связи, действительно необходимые для выполнения задачи.
| Ситуация | Подход, который следует учитывать |
|---|---|
| Несколько коротких, непосредственно относящихся фактов. | Разместите их непосредственно в рабочей области |
| Большая коллекция с лишь несколькими релевантными фрагментами. | Извлеките, ранжируйте и соберите выбранные доказательства. |
| Один и тот же большой источник данных запрашивается повторно. | Оцените длинный контекст с использованием кэширования контекста. |
| История содержит дублированную или устаревшую информацию. | Удалите ненужные элементы и создайте структурированное резюме со ссылками на источник. |
Нет. Инженерия запросов фокусируется на инструкциях и структуре запросов. Контекстная инженерия также контролирует, какие доказательства, история, состояние, результаты работы инструментов и многоразовые материалы выбираются и организуются для каждого шага модели.
Обычно нет. Необходимый контент увеличивает стоимость и задержку, а также может затруднить использование важных доказательств. Сравните прямой контекст, извлечение, отсечение, сжатие и кэширование на репрезентативных задачах.
Нет. Емкость определяет только то, что может поместиться. Точность по-прежнему зависит от релевантности, порядка, границ доверия, поведения модели и оценки с использованием реалистичных сценариев.
Официальное руководство по использованию длинного контекста, ограничениям, размещению запросов, задержке, стоимости и кэшированию.
Официальное руководство по повторному использованию повторяющегося контекста и наблюдению за поведением кэшированного ввода.
Проверьте токены, контекстные окна, системные инструкции, вывод и параметры генерации.
Проектируйте инструкции, примеры, ограничения, схемы и структуру запросов, состоящую из нескольких шагов.
Извлеките и ранжируйте соответствующие доказательства, прежде чем объединить их в контекст.
Объедините сборку контекста с результатами работы инструментов, памятью, планированием и одобрением человеком.