Инженерия генеративного ИИ
Изучите, как структурировать, привязывать, сравнивать и проверять запросы к AI, которые объединяют текст с изображениями, документами, аудио или видео.
17 терминов
Входные данные мультимедиа
Multimodal prompt
Запрос, объединяющий текст с одним или несколькими типами мультимедиа, такими как изображения, документы, аудио или видео.
Используйте это, когда задача зависит от информации, представленной в нескольких модальностях.
Сравните изображение графика с письменным прогнозом и определите подтвержденные и противоречивые утверждения.Входные данные мультимедиа
Image input
Фотография, скриншот, сканирование, диаграмма или другое изображение, предоставленное для анализа модели.
Укажите точное видимое свойство или область, которую модель должна просматривать.
На прилагаемом скриншоте прочитайте только баннер с ошибкой и перечислите его код и сообщение.Входные данные мультимедиа
Document input
Файл, такой как PDF, презентация или отчет, содержащий как текст, так и визуальную структуру.
Укажите, должно ли задание сохранять ссылки на страницы, разделы, таблицы или сноски.
Извлеките условия оплаты из контракта и укажите страницу и раздел для каждого пункта.Входные данные мультимедиа
Audio input
Речь, музыка, окружающие звуки или другая звуковая запись, предоставленная для транскрипции или анализа.
Определите язык, метку говорящего, временную метку и требования к неопределенности перед транскрипцией.
Транскрибируйте встречу на корейском языке, указывайте говорящих, если их можно различить, и добавляйте временные метки к каждому решению.Входные данные мультимедиа
Video input
Визуальный ввод, зависящий от времени, который также может содержать речь, текст, движение и изменения сцен.
Попросите предоставить временные доказательства и различать то, что видно, слышно или предполагается.
В каждой сцене указывайте временную метку, видимое действие и произнесенное утверждение.Структура запроса
Interleaved input
Последовательность, в которой чередуются текст и элементы мультимедиа, чтобы инструкции или метки находились рядом с соответствующим элементом.
Используйте это для сравнений, пошаговых демонстраций или запросов, включающих несколько медиафайлов.
Image A -> its question -> Image B -> its question -> final comparison criteriaСтруктура запроса
Modality ordering
Порядок, в котором отображаются текст, изображения, документы, аудио и видео.
Размещайте связанные инструкции рядом с соответствующим контентом и тестируйте альтернативные последовательности для важных рабочих процессов.
Предоставьте изображение, затем инструкцию извлечения, затем схему выходных данных.Структура запроса
Image detail and resolution
Количество визуальных деталей, доступных для чтения мелкого текста, объектов или пространственных отношений.
Используйте достаточное разрешение и обрезайте нужную область, когда важны мелкие детали.
Более высокое разрешение может увеличить вычислительные затраты и все равно не может восстановить детали, отсутствующие в исходном изображении.
Прикрепите крупный снимок серийного номера вместо фотографии всего устройства в целом.Обоснование доказательств.
Visual grounding
Связывание утверждения или извлеченного результата с наблюдаемым контентом в изображении или видео.
Требуется, когда пользователям необходимо проверить, откуда взялся тот или иной вывод.
Для каждого дефекта опишите видимые доказательства и укажите его приблизительное местоположение.Обоснование доказательств.
Region reference and bounding box
Текстовая, координатная или прямоугольная ссылка на определенную область изображения.
Используйте области для устранения неоднозначности повторяющихся объектов и поддержки последующего анализа или аннотирования.
Координируйте форматы и точность, которые различаются в разных моделях и API; проверяйте их перед автоматизацией.
Верните каждую обнаруженную метку с нормализованной рамкой [x_min, y_min, x_max, y_max].Обоснование доказательств.
Temporal reference and timestamp
Временное положение или интервал, идентифицирующий местоположение события в аудио или видео.
Используйте это для анализа сцен, проверки доказательств, редактирования и выравнивания транскрипций.
Перечислите инциденты безопасности, указав время начала, время окончания, выполненное действие и степень уверенности.Задачи анализа
OCR instruction
Запрос для обнаружения и транскрибирования видимого текста из изображения или отсканированного документа.
Укажите языки, сохранение макета, обработку нечитаемого текста и разрешена ли нормализация.
Транскрибируйте квитанцию построчно; используйте "[неразборчиво]", вместо того чтобы гадать о пропущенных символах.Задачи анализа
Chart and table interpretation
Извлечение значений, меток, тенденций и взаимосвязей из визуализированных или табличных данных.
Попросите модель разделять непосредственно прочитанные значения от рассчитанных или предполагаемых выводов.
Сначала извлеките легенду и единицы измерения осей, а затем сообщите о наибольшем изменении с начала года.Задачи анализа
Multi-image comparison
Анализ сходств, различий или изменений между двумя или более изображениями.
Пометьте каждое изображение и определите стабильные критерии сравнения, прежде чем запрашивать выводы.
Сравните изображение A и изображение B только по макету, видимому тексту, отсутствующим элементам управления и изменениям цвета.Задачи анализа
Cross-modal reasoning
Объединение доказательств из разных источников для ответа на вопрос или достижения вывода.
Используйте это, когда ни один из способов представления данных не содержит полного ответа.
Используйте указанную сумму, изображение счета и текст политики для выявления любых несоответствий.Обоснование доказательств.
Multimodal evidence reference
Ссылка, похожая на цитату, на страницу, регион, кадр или временную метку, подтверждающую ответ.
Требуются ссылки в результатах, которые могут быть проверены, и они должны сохраняться на последующих этапах рабочего процесса.
Утверждение: общая сумма составляет 48,20; доказательство: страница 1, нижняя правая строка с общей суммой; уверенность: высокая.Надежность
Unsupported visual inference
Заключение, выходящее за рамки того, что визуально или аудиально поддерживается предоставленными медиафайлами.
Попросите модель указывать неопределенность и сообщать, когда свойство не может быть определено.
Не используйте только внешний вид для определения чувствительных признаков, личности, намерений или медицинских состояний.
Сообщайте только о видимых повреждениях; не делайте предположений о причине, если она явно не показана на изображении.| Мультимодальное проектирование запросов. | Подсказки для генерации медиаконтента с помощью AI |
|---|---|
| Предоставляет изображения, документы, аудио или видео для понимания и анализа. | Описывает изображение, видео, речь, музыку или эффект, который необходимо сгенерировать. |
| Сосредоточено на привязке к реальности, регионах, временных метках, извлечении, сравнении и неопределенности. | Сосредоточено на объекте, композиции, камере, движении, стиле, звуке и ограничениях. |
Текстовый запрос на генерацию изображения обычно является запросом на создание медиафайлов. Он становится мультимодальным, когда запрос также предоставляет изображение или другой медиа-ввод для анализа, сравнения, редактирования или обучения.
Попросите модель отличать непосредственно наблюдаемые доказательства от расчетов или выводов, указывать страницу, регион, кадр или временную метку и сообщать, когда медиафайлы не подтверждают вывод.
Использование с низким уровнем риска может позволить автоматические проверки, но важные решения должны проверять качество источника, точность извлечения, неподдерживаемый вывод, обработку конфиденциальных атрибутов и ограничения, специфичные для модели.
Официальное руководство по объединению текста с изображениями и видео, упорядочиванию частей запроса, устранению неполадок и контролю вывода.
Официальный обзор структуры, примеров, форматов вывода, итераций и оценки содержимого запросов.
Проверяйте роли, инструкции, примеры, ограничения и схемы вывода перед добавлением медиафайлов.
Собирайте и объединяйте большие документы, аудио, видео, историю и подтверждающие доказательства.
Используйте это отдельное руководство, когда цель состоит в создании изображения, а не в его анализе.
Используйте это отдельное руководство для камеры, движения, времени, согласованности и ограничений генерации видео.