평가 데이터
정답 데이터
Ground truth
뜻
비교 기준으로 사용하는 신뢰 가능한 목표 답변이나 라벨입니다.
언제 쓰나
정답을 신뢰성 있게 정의할 수 있는 작업의 평가에 사용합니다.
활용 예시
Compare extracted invoice totals with human-verified ground truth values.Generative AI Engineering
AI 결과 검증·평가 용어
AI 품질을 검증하는 데이터셋, 평가 기준, 사람·모델 평가, 회귀 테스트, 효율성 지표의 핵심 용어를 설명합니다.
12 개 용어
평가 데이터
평가 데이터셋
Evaluation dataset
뜻
모델이나 애플리케이션의 동작을 측정하기 위해 구성한 사례 모음입니다.
언제 쓰나
실제 사용에서 나온 일반, 난이도 높은, 다국어, 안전 중요 사례를 포함합니다.
활용 예시
Create a fixed evaluation dataset of 200 anonymized support questions.평가 데이터
벤치마크
Benchmark
뜻
공통 조건에서 시스템을 비교하는 표준화된 과제나 데이터셋입니다.
언제 쓰나
방향성 비교에 사용한 뒤 실제 업무 데이터로 다시 검증합니다.
활용 예시
Compare candidate models on a public benchmark and the internal evaluation set.평가 기준
평가 지표
Metric
뜻
선택한 품질, 안전, 속도, 비용 특성을 수치로 나타낸 값입니다.
언제 쓰나
사용자와 업무 요구사항에 직접 연결되는 지표를 선택합니다.
활용 예시
Track answer correctness, citation precision, refusal quality, latency, and cost.평가 기준
평가 루브릭
Rubric
뜻
결과물을 판단하기 위한 서술형 기준과 점수 수준의 집합입니다.
언제 쓰나
정확 일치보다 세밀한 판단이 필요한 품질 평가에 사용합니다.
활용 예시
Score factual support from 1 to 5, with evidence requirements for each level.평가 방법
개별 평가
Pointwise evaluation
뜻
하나의 결과를 기준이나 참조 답안에 따라 독립적으로 채점하는 방식입니다.
언제 쓰나
합격·불합격 판정이나 절대 품질 점수에 사용합니다.
활용 예시
Rate this answer for correctness and completeness without seeing alternatives.평가 방법
쌍대 비교
Pairwise evaluation
뜻
같은 입력에 대한 두 결과를 비교해 더 나은 것을 고르는 방식입니다.
언제 쓰나
절대 점수보다 상대적인 선호를 판단하기 쉬울 때 사용합니다.
활용 예시
Given responses A and B, choose which better follows the source evidence.평가 방법
사람 평가
Human evaluation
뜻
사람이 지침과 라벨 예시를 바탕으로 수행하는 평가입니다.
언제 쓰나
주관적이거나 영향이 크고 문맥에 민감한 품질을 평가할 때 사용합니다.
활용 예시
Two domain experts review medical summary faithfulness and resolve disagreements.평가 방법
LLM 평가자
LLM-as-a-judge
뜻
언어 모델로 다른 모델의 결과를 채점·순위화·비평하는 방식입니다.
언제 쓰나
사람의 판단과 보정한 뒤 대규모 평가에 사용합니다.
주의
평가 모델도 편향되거나 일관되지 않을 수 있으므로 대표적인 사람 평가 사례로 점검해야 합니다.
활용 예시
Ask a judge model to score citation support using a fixed rubric.운영 측정
통과율
Pass rate
뜻
정해진 합격 기준을 만족한 평가 사례의 비율입니다.
언제 쓰나
배포 기준과 시간에 따른 품질 변화를 추적할 때 사용합니다.
활용 예시
Require at least a 95% pass rate on critical policy questions before release.운영 측정
회귀 테스트
Regression test
뜻
변경 후 기존에 잘 동작하던 기능이 깨졌는지 반복 확인하는 테스트입니다.
언제 쓰나
모델, 프롬프트, 검색, 도구, 정책이 바뀔 때 실행합니다.
활용 예시
Rerun the fixed evaluation suite after updating the system instruction.운영 측정
효율성 지표
Efficiency metrics
뜻
응답 지연 시간, 토큰 사용량, 처리량, 금전 비용 같은 측정값입니다.
언제 쓰나
품질과 함께 평가해 대규모 운영에서도 실용적인지 확인합니다.
활용 예시
Compare p95 latency and cost per successful task, not cost per request alone.