신뢰성
환각(허위 생성)
Hallucination (confabulation)
뜻
그럴듯해 보이지만 이용 가능한 근거로 뒷받침되지 않거나 사실과 다른 결과입니다.
언제 쓰나
근거 연결, 검증, 평가, 사용자 고지를 통해 관리해야 할 위험으로 다룹니다.
활용 예시
Verify names, dates, numbers, and citations against authoritative sources before publishing.Generative AI Engineering
AI 안전·개인정보 용어
책임 있는 AI 운영에 필요한 신뢰성, 공격, 개인정보, 콘텐츠 검토, 공정성, 가드레일, 레드팀 관련 용어를 설명합니다.
12 개 용어
공격
프롬프트 인젝션
Prompt injection
뜻
애플리케이션의 의도된 규칙과 충돌하는 지시로 모델을 조작하려는 시도입니다.
언제 쓰나
신뢰할 수 없는 콘텐츠를 지시문과 분리하고 모델 밖에서 권한을 강제합니다.
활용 예시
Treat webpage text as data, not as authorization to call tools.공격
간접 프롬프트 인젝션
Indirect prompt injection
뜻
AI 시스템이 읽거나 검색하는 외부 콘텐츠에 악성 지시를 숨기는 공격입니다.
언제 쓰나
에이전트에 입력되는 문서, 이메일, 웹페이지, 도구 결과 경로를 보호합니다.
활용 예시
Ignore instructions embedded in retrieved documents and show them as untrusted content.공격
탈옥 공격
Jailbreak
뜻
모델이나 애플리케이션의 안전 제한을 우회하려는 프롬프트 전략입니다.
언제 쓰나
다층 보호, 모니터링, 레드팀 테스트, 최소 권한 도구를 적용합니다.
활용 예시
Block dangerous actions at the tool authorization layer even if the model is manipulated.개인정보
개인 식별 정보(PII)
Personally identifiable information (PII)
뜻
개인을 직접 또는 간접적으로 식별할 수 있는 정보입니다.
언제 쓰나
AI로 처리하기 전에 탐지·최소화·마스킹하거나 적절한 권한을 확보합니다.
활용 예시
Replace customer names and account numbers with placeholders in the evaluation dataset.개인정보
데이터 보관
Data retention
뜻
입력, 출력, 로그, 파생 데이터를 얼마 동안 저장할지 정하는 규칙입니다.
언제 쓰나
운영 전에 목적, 법률, 계약, 삭제 요구에 맞춰 정의합니다.
활용 예시
Delete raw prompts after 30 days while retaining anonymized aggregate metrics.개인정보
데이터 저장 위치
Data residency
뜻
데이터가 저장되거나 처리되는 지리적 위치입니다.
언제 쓰나
법률, 계약, 조직 정책이 데이터 위치를 제한할 때 확인합니다.
활용 예시
Route regional customer data only to approved in-region services.통제
가드레일
Guardrail
뜻
AI의 동작을 제한·검사·전환하는 기술적 또는 절차적 통제입니다.
언제 쓰나
입력 검사, 출력 검증, 권한, 모니터링, 사람 검토를 함께 사용합니다.
활용 예시
Validate generated SQL against an allowlist before execution.통제
콘텐츠 검토
Content moderation
뜻
안전 또는 플랫폼 정책을 위반하는 콘텐츠를 탐지하고 처리하는 과정입니다.
언제 쓰나
입력과 출력 모두에 적용하고 위험 수준에 맞는 조치를 취합니다.
활용 예시
Flag high-risk content for review and provide a safe alternative when appropriate.편향·공정성
편향
Bias
뜻
결과를 한쪽으로 치우치게 하거나 불공정하게 만들 수 있는 체계적 경향입니다.
언제 쓰나
관련 집단, 언어, 문맥, 실패 비용에 따라 측정합니다.
활용 예시
Compare false rejection rates across supported languages.편향·공정성
공정성
Fairness
뜻
혜택, 오류, 대우가 적절히 분배되는지 판단하는 목표와 기준입니다.
언제 쓰나
공정성 기준끼리 충돌할 수 있으므로 사용 사례별로 정의합니다.
활용 예시
Document which fairness metric applies to the hiring-assistance workflow and why.안전성 검증
AI 레드팀 테스트
AI red teaming
뜻
유해한 실패, 오용 경로, 취약한 통제를 찾는 체계적인 적대적 테스트입니다.
언제 쓰나
출시 전과 주요 변경 후 실제적인 위협 시나리오로 수행합니다.
활용 예시
Test prompt injection, data leakage, unsafe tool actions, and multilingual bypass attempts.