Инженерия генеративного ИИ
Изучите термины, необходимые для ответственной работы AI, такие как надежность, безопасность, конфиденциальность, модерация, справедливость, защита, и тестирование "красных команд".
12 терминов
Надежность
Hallucination (confabulation)
Звуковой вывод, который кажется правдоподобным, но не подтверждается имеющимися доказательствами или является фактической ошибкой.
Рассматривайте это как риск, который необходимо контролировать с помощью обоснования, проверки, оценки и информирования пользователя.
Проверка имен, дат, чисел и ссылок по авторитетным источникам перед публикацией.Атаки
Prompt injection
Попытка манипулирования моделью с помощью инструкций, которые противоречат предполагаемым правилам приложения.
Разделение ненадежного контента от инструкций и применение ограничений за пределами модели.
Рассматривайте текст веб-страницы как данные, а не как разрешение на вызов инструментов.Атаки
Indirect prompt injection
Вредоносные инструкции, скрытые во внешнем контенте, который система AI считывает или извлекает.
Защищайте конвейеры документов, электронной почты, веб-страниц и результатов работы инструментов, которые используются агентами.
Игнорируйте инструкции, встроенные в извлеченные документы, и отображайте их как ненадежный контент.Атаки
Jailbreak
Стратегия запроса, предназначенная для обхода ограничений безопасности модели или приложения.
Используйте многоуровневую защиту, мониторинг, тесты "красной команды" и инструменты с минимальными привилегиями.
Блокируйте опасные действия на уровне авторизации инструментов, даже если модель была изменена.Конфиденциальность
Personally identifiable information (PII)
Информация, которая напрямую или косвенно идентифицирует человека.
Обнаруживайте, минимизируйте, удаляйте или получайте надлежащее разрешение перед обработкой с помощью AI.
Заменить имена клиентов и номера счетов на заполнители в наборе данных для оценки.Конфиденциальность
Data retention
Правила, определяющие, как долго хранятся входные данные, выходные данные, журналы и производные данные.
Определите это до использования в производственной среде и согласуйте это с целью, законом, контрактами и потребностями в удалении данных.
Удаляйте исходные запросы через 30 дней, сохраняя при этом анонимизированные агрегированные метрики.Конфиденциальность
Data residency
Географическое местоположение, где хранятся или обрабатываются данные.
Проверьте это, если законы, контракты или организационная политика ограничивают местоположение данных.
Перенаправляйте данные о клиентах только в одобренные сервисы в соответствующем регионе.Управление
Guardrail
Технический или процедурный контроль, ограничивающий, проверяющий или перенаправляющий поведение AI.
Объединение проверок входных данных, проверки выходных данных, разрешений, мониторинга и ручной проверки.
Проверка сгенерированного SQL по белому списку перед выполнением.Управление
Content moderation
Обнаружение и обработка контента, нарушающего правила безопасности или политики платформы.
Примените это к входным и выходным данным с действиями, соответствующими уровню риска.
Помечайте контент с высоким уровнем риска для проверки и предоставляйте безопасную альтернативу, если это уместно.Смещение и справедливость
Bias
Систематическое смещение, которое может приводить к искаженным или несправедливым результатам.
Измерьте это для соответствующих групп, языков, контекстов и затрат на сбои.
Сравните показатели ложноотрицательных результатов для поддерживаемых языков.Смещение и справедливость
Fairness
Цель и критерии, используемые для оценки того, правильно ли распределены преимущества, ошибки и лечение.
Определите это для конкретного варианта использования, поскольку различные метрики справедливости могут противоречить друг другу.
Описывайте, какая метрика справедливости применяется к рабочему процессу помощи в найме и почему.Гарантия
AI red teaming
Структурированное тестирование на основе состязаний, которое ищет опасные сбои, пути злоупотребления и слабые средства контроля.
Запустите его перед запуском и после внесения существенных изменений, используя реалистичные сценарии угроз.
Проверьте уязвимости к внедрению запросов, утечке данных, небезопасным действиям инструментов и попыткам обхода на разных языках.