Инженерия генеративного ИИ
Изучите процессы получения данных, индексации, извлечения, ранжирования, привязки, цитирования и шаблоны запросов RAG (Retrieval-Augmented Generation), используемые для создания проверяемых ответов от AI на основе надежных документов.
19 терминов
Обзор.
Retrieval-augmented generation (RAG)
Шаблон, который извлекает соответствующую внешнюю информацию и предоставляет ее модели перед генерацией.
Используйте это, когда ответы должны основываться на текущих, закрытых или специфичных для предметной области документах.
Извлеките фрагменты политик для вопроса, а затем отвечайте, используя только эти фрагменты.Импорт
Chunking
Разделение документов на более мелкие единицы, которые можно индексировать и извлекать.
Выберите границы фрагментов, которые сохраняют смысл, сохраняя при этом фокусировку на извлечении.
Разделите руководство по разделам и сохраните каждый заголовок вместе со своими абзацами.Индексация
Embedding
Числовой вектор, представляющий семантические характеристики текста или другого контента.
Используйте встраивания для сравнения семантической схожести, выходящей за рамки точного соответствия ключевым словам.
Создайте векторные представления для каждого фрагмента документа и для запроса пользователя.Индексация
Vector store
Система, хранящая векторные представления и поддерживающая поиск ближайших соседей.
Используйте это для управления семантическими индексами и связанными метаданными документов.
Сохраните каждый вектор фрагмента вместе с его исходным URL, заголовком и областью доступа.Извлечение
Similarity search
Извлечение на основе близости векторных представлений в соответствии с выбранной метрикой расстояния.
Используйте это для поиска фрагментов текста, имеющих отношение к запросу.
Поиск в векторной базе данных фрагментов, наиболее близких к вектору запроса.Извлечение
Retriever
Компонент, который выбирает кандидаты документов или фрагментов для запроса.
Настройте его для объединения переписывания запросов, фильтров, методов поиска и ограничений результатов.
Механизм извлечения возвращает фрагменты политик, к которым текущий пользователь имеет доступ.Извлечение
Top-k
Количество результатов поиска с наивысшим рейтингом, выбранных для следующего этапа.
Настройте его для баланса между охватом доказательств и шумом, а также использованием контекста.
Извлеките 8 лучших кандидатов, затем пересортируйте и сохраните 4 лучших.Извлечение
Metadata filter
Ограничение, которое сужает поиск по атрибутам, таким как дата, продукт, язык или разрешения.
Используйте это перед семантической ранжировкой для обеспечения области действия и контроля доступа.
Фильтруйте документы на корейском языке, опубликованные после 2025 года, которые пользователь может просмотреть.Извлечение
Hybrid search
Метод поиска, который сочетает лексические сигналы ключевых слов со семантическими векторными сигналами.
Используйте это, когда важны как точные идентификаторы, так и концептуальное сходство.
Объединение результатов поиска ключевых слов BM25 с оценкой сходства для кода ошибки AB-104.Ранжирование
Reranking
Модель второго этапа или правило, которое переупорядочивает полученные кандидаты для повышения релевантности.
Используйте это для повышения точности после сбора более широкого набора кандидатов.
Пересортируйте 20 фрагментов и отправьте 5 лучших генератору.Обоснованный ответ
Grounding
Сопоставление сгенерированного ответа с предоставленными или извлеченными доказательствами.
Используйте это для уменьшения необоснованных утверждений и обеспечения возможности проверки ответов.
Отвечать только на утверждения, подтвержденные извлеченными фрагментами политики.Обоснованный ответ
Citation
Ссылка, идентифицирующая источник, подтверждающий утверждение.
Добавляйте ссылки на утверждения, чтобы читатели могли быстро проверить достоверность информации.
Ссылка может указывать на нерелевантные доказательства; убедитесь, что она действительно подтверждает утверждение.
Для каждого утверждения о политике укажите название документа, раздел и прямую ссылку на источник.RAG prompt patterns
Query rewriting prompt
Инструкция, которая преобразует запрос пользователя в один или несколько запросов, более подходящих для поиска по ключевым словам, семантике, гибридным методам или фильтрации.
Используйте это для нечетких, разговорных, неполных или не соответствующих предметной области вопросов, сохраняя при этом первоначальный смысл.
Не изменяйте незаметно намерения пользователя, не добавляйте недопустимые факты или не ослабляйте фильтры доступа.
Перефразируйте вопрос для гибридного поиска. Сохраните первоначальный смысл, добавьте вероятную терминологию документов и верните исходный запрос, а также до трех перефразированных запросов.RAG prompt patterns
Grounded-answer instruction
Правило запроса, требующее, чтобы фактические утверждения были подкреплены извлеченными фрагментами, предоставленными на этапе генерации.
Используйте это, когда ответы должны быть проверяемыми, и знания модели, которые не поддерживаются, не должны представляться в качестве доказательств.
Ответьте на вопрос, используя предоставленные отрывки. Прикрепите идентификатор ID источника к каждому фактическому утверждению и четко отделяйте любые выводы.RAG prompt patterns
Context-only answering
Строгое правило генерации, ограничивающее ответ информацией, явно поддерживаемой предоставленным контекстом извлечения.
Используйте это для политик, контрактов, регулируемого контента или других задач, где знания модели не должны заполнять пробелы.
Это правило не может компенсировать плохие, неполные, устаревшие или неавторизованные результаты извлечения.
Используйте только <retrieved_context>. Если контекст не содержит ответа, верните insufficient_evidence вместо использования предварительных знаний.RAG prompt patterns
No-evidence response and abstention
Определенный ответ по умолчанию, используемый, когда полученные доказательства отсутствуют, недостаточны, противоречивы или ниже порогового значения поддержки.
Используйте это для предотвращения догадок и направления случая на уточнение, повторную попытку извлечения или проверку человеком.
Если в тексте нет фрагмента, который напрямую подтверждает ответ, верните статус: insufficient_evidence, объясните, чего не хватает, и предложите один уточняющий вопрос.RAG prompt patterns
Citation format instruction
Контракт запроса, определяющий, где и как идентификаторы источников должны появляться в сгенетированном ответе.
Используйте это для создания ссылок на уровне утверждений, которые приложения и рецензенты могут последовательно проверять.
Форматирование ссылки не доказывает, что приведенный отрывок подтверждает утверждение; проверяйте правильность ссылки отдельно.
После каждого поддерживаемого утверждения, приводите одну или несколько ссылок на источники, IDв формате S1. Никогда не придумывайте ID и не ссылайтесь на источники, которые не подтверждают данное утверждение.RAG prompt patterns
Retrieved-context synthesis
Объединение взаимодополняющих доказательств из нескольких извлеченных фрагментов в связный ответ, не стирая границы источника.
Используйте это для сравнения, обобщения или многокомпонентных вопросов, требующих более одного фрагмента текста.
Группируйте отрывки по подвопросам, удаляйте дубликаты, сохраняйте даты и область действия, а затем синтезируйте ответ с идентификаторами исходных данных на уровне утверждений.RAG prompt patterns
Conflicting-source handling
Правило запроса для обнаружения и сообщения о противоречиях между извлеченными источниками, а не для молчаливого выбора одного из них.
Используйте это, когда документы могут отличаться по версии, дате, юрисдикции, авторитетности или интерпретации.
Только актуальность не всегда определяет авторитетность; закодируйте политику приоритета источника для домена вне или рядом с подсказкой.
Если источники противоречат друг другу, перечислите каждое утверждение с указанием источника, версии и даты; определите противоречие; примените явное правило приоритета или запросите проверку.Качество извлечения и инструкции по генерации должны быть разработаны и оценены вместе; запрос не может исправить отсутствующие или несанкционированные доказательства.
| Этап | Ответственность за запросы |
|---|---|
| Перед извлечением | Сохранение намерения при переписывании, расширении, фильтрации или декомпозиции запроса. |
| Сборка контекста | Пометьте идентификаторы источников, версии, даты, разрешения и границы фрагментов текста. |
| Генерация ответов | Ограничьте утверждения доказательствами, определите формат цитирования и укажите поведение отказа. |
| После генерации | Проверка поддержки утверждений, корректности ссылок, наличия противоречий, полноты и соответствия требованиям доступа. |
Нет. Это уменьшает допустимый объем доказательств, но ответ все равно может неправильно интерпретировать фрагменты, объединять несовместимые источники, добавлять неверные ссылки или полагаться на плохой поиск. Проверьте точность поиска, поддержку утверждений, правильность ссылок и поведение отказа от ответа.
Воздержитесь, если ни один авторизованный фрагмент текста напрямую не подтверждает требуемое утверждение, если данные находятся ниже определенного порога, если источники противоречат друг другу без установленного правила авторитетности, или если вопрос слишком неоднозначен для безопасного получения ответа. Верните структурированное объяснение причины и следующее полезное действие.
Да, когда пользователям или другим системам необходимо проверять утверждения, но приложение должно сохранять реальные идентификаторы источника и проверять, что каждый указанный фрагмент подтверждает соответствующее утверждение. Модель никогда не должна придумывать идентификаторы источников.
Официальное руководство по архитектуре по расширению запросов, декомпозиции, переписыванию, извлечению, повторной ранжировке и накопленному контексту.
Официальная документация для оркестровки и генерации шаблонов запросов, временных заполнителей, извлеченного контекста, запросов и инструкций по выводу ссылок.
Официальное руководство по измерению того, подтверждаются ли сгенерированные утверждения предоставленными фактами, и выявлению подтверждающих или противоречащих доказательств.
Проверяйте инструкции, ограничения, схемы вывода, декомпозицию задач, логику и шаблоны верификаторов.
Собирайте, объединяйте, упорядочивайте, сжимайте, кэшируйте и отслеживайте полученные доказательства и состояние разговора.
Измерьте обоснованность, качество ссылок, полноту, регрессию, задержку и стоимость.
Защитите конвейеры извлечения от непрямой инъекции запросов, несанкционированного доступа к данным и небезопасных выходных данных.