Инженерия генеративного ИИ
Понимание наборов данных, критериев, оценки, осуществляемой человеком и моделью, регрессионных тестов и метрик эффективности для проверки качества AI.
12 терминов
Данные для оценки
Ground truth
Надежный целевой ответ или метка, используемый в качестве эталона для сравнения.
Используйте это для задач, где правильные результаты можно надежно определить.
Сравните итоговые суммы, извлеченные из счетов, со значениями, проверенными вручную.Данные для оценки
Evaluation dataset
Отборка примеров, используемая для измерения поведения модели или приложения.
Включите типичные, сложные, многоязычные и критически важные для безопасности случаи из реального использования.
Создайте фиксированный набор данных для оценки, состоящий из 200 анонимизированных вопросов поддержки.Данные для оценки
Benchmark
Стандартизированная задача или набор данных, используемые для сравнения систем в одинаковых условиях.
Используйте это для сравнительного анализа, а затем проверяйте с помощью собственных примеров из вашей области.
Сравните кандидатские модели на общедоступном наборе для сравнения и внутреннем наборе для оценки.Критерии
Metric
Числовая мера выбранного качества, безопасности, скорости или стоимости.
Выберите метрики, которые напрямую соответствуют требованиям пользователей и бизнеса.
Отслеживайте правильность ответов, точность ссылок, качество отказов, задержку и стоимость.Критерии
Rubric
Набор письменных критериев и уровней оценки, используемых для оценки результата.
Используйте это, когда для оценки качества требуется тонкий подход, а не просто точное соответствие.
Оцените фактическую поддержку по шкале от 1 до 5, с требованиями к доказательствам для каждого уровня.Методы
Pointwise evaluation
Оценка одного выходного результата независимо по критериям или по эталонному значению.
Используйте это для проверок "пройдено/не пройдено" или абсолютных оценок качества.
Оцените правильность и полноту этого ответа, не видя альтернативных вариантов.Методы
Pairwise evaluation
Сравнение двух выходных данных для одного и того же входного значения и выбор лучшего из них.
Используйте это, когда относительную предпочтительность легче оценить, чем абсолютную оценку.
Из двух ответов A и B, выберите тот, который лучше соответствует исходным данным.Методы
Human evaluation
Оценка, проводимая людьми, часто с использованием руководств и помеченных примеров.
Используйте обученных рецензентов для субъективных, важных или контекстуально зависимых качеств.
Два эксперта в предметной области проверяют достоверность медицинского резюме и разрешают разногласия.Методы
LLM-as-a-judge
Использование языковой модели для оценки, ранжирования или критики результатов других моделей.
Используйте это для масштабируемой оценки после калибровки на основе оценок людей.
Модели могут быть предвзятыми или непоследовательными; проверяйте их с помощью репрезентативных примеров, помеченных человеком.
Попросите модель-судью оценить поддержку цитаты с использованием фиксированной шкалы.Операции.
Pass rate
Доля случаев оценки, которые соответствуют определенному пороговому значению приемлемости.
Используйте это для отслеживания этапов выпуска и изменений качества с течением времени.
Требуется не менее 95% правильных ответов на критические вопросы политики перед публикацией.Операции.
Regression test
Повторяющийся тест, проверяющий, не приводит ли изменение к нарушению работы, которая ранее функционировала.
Запустите его после изменений модели, запроса, извлечения, инструмента или политики.
Запустите пакет проверочных тестов после обновления системной инструкции.Операции.
Efficiency metrics
Показатели, такие как задержка ответа, использование токенов, пропускная способность и денежные затраты.
Оцените их наряду с качеством, чтобы улучшения оставались практическими в масштабе.
Сравните задержку p95 и стоимость за успешное выполнение задачи, а не только стоимость за запрос.