Generative AI Engineering
AI 파인튜닝에 사용하는 추가 사전 학습, 지시문 튜닝, SFT, PEFT, LoRA, QLoRA, 선호도 데이터, RLHF, DPO, GRPO, 회귀 평가, 데이터 권리, 개인정보, 버전 관리, 롤백 용어를 설명합니다.
54 개 용어
파인튜닝 개요
Fine-tuning
사전 학습 모델에서 학습을 이어 특정 작업, 도메인, 형식, 선호에 맞게 행동을 조정하는 과정입니다.
프롬프트와 검색만으로는 충분히 일관된 학습 행동을 만들기 어려울 때 사용합니다.
Fine-tune the approved base model on reviewed support responses, then compare it with the unchanged baseline.파인튜닝 개요
Downstream task
범용 사전 학습 모델을 이용해 수행하는 구체적인 응용 작업입니다.
파인튜닝 데이터와 지표를 선택하기 전에 작업을 구체적으로 정의합니다.
Downstream task: classify Korean support requests into the approved routing taxonomy.파인튜닝 개요
Domain adaptation
특정 분야나 환경의 언어, 패턴, 분포에 모델을 맞추는 과정입니다.
목표 분야가 모델의 일반 학습 분포와 크게 다를 때 사용합니다.
Adapt the model to authorized semiconductor maintenance documents and evaluate on unseen manuals.파인튜닝 개요
Continued pre-training
작업별 튜닝 전에 추가 도메인 데이터로 기본 모델의 자기지도형 사전 학습을 이어가는 방식입니다.
소수 지시문 예제로 부족한 폭넓은 도메인 언어 적응에 사용합니다.
Continue pre-training on the licensed domain corpus, then run supervised instruction tuning.파인튜닝 개요
Instruction tuning
여러 자연어 작업의 지시를 더 안정적으로 따르도록 지시문과 기대 응답으로 파인튜닝하는 방식입니다.
목표 사용자, 작업, 언어, 안전 범위를 반영한 다양하고 검토된 지시문을 사용합니다.
Train on instruction-response examples covering summarization, extraction, refusal, and clarification.파인튜닝 개요
Post-training
광범위한 사전 학습 뒤 작업 수행, 선호, 안전, 배포 행동을 개선하는 학습 과정입니다.
지도 튜닝, 선호도 최적화, 보상 모델링 등 정렬 작업을 포괄하는 용어로 사용합니다.
Document each post-training stage, its data, objective, checkpoint, and evaluation gate.파인튜닝 개요
Supervised fine-tuning (SFT)
입력과 검토된 목표 응답 또는 레이블의 쌍으로 학습하는 파인튜닝 방식입니다.
응답 형식, 작업 절차, 말투, 원하는 행동의 예시를 학습시킬 때 사용합니다.
SFT example: user request, approved assistant response, metadata, and data-rights record.파인튜닝 개요
Model alignment
모델 행동이 정의된 사람의 의도, 정책, 선호, 안전 요구를 더 잘 따르도록 조정하는 과정입니다.
지시문 튜닝, 선호도 최적화, 안전 학습, 행동 평가의 포괄적인 목표를 설명할 때 사용합니다.
Define the alignment objectives, unacceptable behaviors, evaluation cases, and human approval gates.파인튜닝 개요
Behavior adaptation
모델이 응답하고 출력 형식을 지키며 절차와 불확실성을 처리하는 방식을 바꾸는 조정입니다.
자주 바뀌는 정보보다 안정적인 응답 패턴을 바꾸려 할 때 사용합니다.
Adapt the model to request clarification when required account evidence is missing.방식·어댑터
Full fine-tuning
기본 모델의 전체 또는 대부분 파라미터를 업데이트하는 파인튜닝 방식입니다.
기대 효과가 큰 메모리, 연산, 저장, 평가 비용을 정당화할 때 사용합니다.
Compare full fine-tuning against a PEFT baseline under the same data and evaluation set.방식·어댑터
Parameter-efficient fine-tuning (PEFT)
상대적으로 적은 수의 파라미터만 학습하여 모델을 조정하는 방법의 묶음입니다.
학습 메모리, 저장 공간, 작업별 체크포인트 크기를 줄일 때 사용합니다.
Train a separate PEFT adapter for each approved domain while keeping the base weights fixed.방식·어댑터
Adapter
특정 적응을 위해 기본 모델에 연결하는 소규모 추가 또는 변경 파라미터입니다.
작업별 변경을 공통 기본 가중치와 분리할 때 사용합니다.
Load the finance adapter only for authorized finance workflows.방식·어댑터
Low-rank adaptation (LoRA)
기본 가중치를 고정하고 선택한 모델 모듈에 저랭크 업데이트 행렬을 학습하는 PEFT 방식입니다.
더 작은 학습 상태와 재사용 가능한 어댑터가 배포 설계에 맞을 때 사용합니다.
Apply LoRA to selected attention projections and record rank, alpha, dropout, and target modules.방식·어댑터
QLoRA
기본 모델을 양자화된 표현으로 불러온 상태에서 LoRA 어댑터를 학습하는 방식입니다.
기본 모델 메모리를 줄일 때 사용하며 수치 안정성과 품질을 기준 모델과 비교합니다.
Load the approved base model in the supported quantization format and train only the LoRA adapter.방식·어댑터
Quantization
모델 값을 더 낮은 정밀도 형식으로 표현해 메모리, 저장 공간, 연산 요구량을 줄이는 방식입니다.
지원되는 방식과 하드웨어에서 허용 가능한 품질과 수치 동작을 유지할 수 있을 때 사용합니다.
Evaluate the quantized base model before QLoRA and record format, bit width, library, and compute dtype.방식·어댑터
LoRA rank
LoRA 어댑터가 사용하는 저랭크 업데이트 행렬의 차원입니다.
큰 값이 항상 좋다고 가정하지 말고 표현 용량과 자원 사용의 균형으로 조정합니다.
Compare rank 8 and rank 16 with the same seed, data, steps, and evaluation suite.방식·어댑터
LoRA alpha
학습된 LoRA 업데이트가 모델에 반영되는 크기에 영향을 주는 스케일 설정입니다.
라이브러리에 따라 해석이 달라질 수 있으므로 랭크와 구현 세부정보를 함께 기록합니다.
Store rank, alpha, dropout, target modules, and library version in the adapter manifest.방식·어댑터
Target modules
어댑터 업데이트를 적용하도록 선택한 모델 레이어 또는 프로젝션입니다.
모델 구조, 방식 지원 범위, 측정된 품질에 따라 선택합니다.
Target the supported query and value projections, then verify the number of trainable parameters.방식·어댑터
Trainable parameters
최적화 과정에서 업데이트하도록 허용된 모델 파라미터의 부분집합입니다.
전체 학습과 파라미터 효율 학습을 비교할 수 있도록 개수와 비율을 함께 표시합니다.
Log trainable parameters, total parameters, percentage, and adapter checkpoint size.방식·어댑터
Adapter merge
학습한 어댑터 업데이트를 기본 가중치나 다른 어댑터 표현에 결합하는 배포 과정입니다.
호환성, 라이선스, 정밀도, 품질, 롤백을 확인한 뒤 사용합니다.
Evaluate the merged artifact against the unmerged base-plus-adapter configuration before release.학습 데이터 형식
Prompt-completion pair
입력 프롬프트와 원하는 응답을 함께 담은 학습 예제입니다.
일관된 스키마를 사용하고 응답이 목표 행동을 정확히 보여주는지 확인합니다.
{"prompt":"Classify the request","completion":"billing_refund"}학습 데이터 형식
Instruction-response pair
자연어 지시나 대화와 모델이 학습할 검토된 응답을 짝지은 지도학습 예제입니다.
SFT에 사용하며 각 예제의 출처, 권리, 검토, 품질 메타데이터를 함께 보관합니다.
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}학습 데이터 형식
Chat template
시스템, 사용자, 어시스턴트, 도구 메시지를 대화 모델이 기대하는 토큰 시퀀스로 변환하는 형식 규칙입니다.
학습과 추론 모두에서 선택한 기본 모델과 호환되는 토크나이저·템플릿을 사용합니다.
Render the same approved chat template in dataset preprocessing and production inference.학습 데이터 형식
System, user, and assistant roles
대화 학습 데이터에서 지속 지시문, 사용자 입력, 모델 응답을 구분하는 메시지 역할입니다.
선택한 모델의 대화 템플릿이 지원하는 역할과 순서만 사용합니다.
System: policy and role; user: request; assistant: reviewed target response.학습 데이터 형식
Response masking
선택한 입력 토큰을 손실 계산에서 제외하여 의도한 응답 토큰에 학습을 집중하는 방식입니다.
모든 프롬프트 토큰을 정답으로 보지 않고 어시스턴트 출력에 학습을 집중할 때 사용합니다.
Mask system and user tokens from the loss and verify assistant boundaries after tokenization.학습 데이터 형식
Sequence packing
여러 짧은 예제를 긴 학습 시퀀스로 결합해 패딩을 줄이고 자원 활용을 높이는 방식입니다.
예제 경계, 어텐션 동작, 레이블, 종료 토큰이 올바르게 유지될 때 사용합니다.
Pack short dialogs up to the context limit and test that one example cannot leak into the next.학습 데이터 형식
Fine-tuning context length
형식 적용과 토큰화 뒤 각 학습 시퀀스에 사용하는 최대 토큰 길이입니다.
기본 모델, 목표 작업, 메모리 예산, 잘림 위험, 운영 요청 패턴에 맞춰 설정합니다.
Measure token-length distribution and choose a limit that preserves critical content without excessive padding.학습 데이터 형식
Preference dataset
여러 모델 출력에 대한 비교 판단이나 보상 정보를 기록한 데이터셋입니다.
레이블링 기준과 검수자 품질을 문서화하여 보상 모델링이나 선호도 최적화에 사용합니다.
Store prompt, candidate responses, preference result, rationale policy, reviewer group, and consent status.학습 데이터 형식
Chosen and rejected response pair
정해진 선호 기준을 더 잘 만족하는 응답을 표시한 두 후보 응답입니다.
개인 취향만 따르지 말고 의미 있게 다른 응답을 일관된 평가표로 판단합니다.
Chosen: cites the supplied policy and states uncertainty. Rejected: invents an unsupported deadline.선호도 정렬
Human feedback
모델 행동을 유도하기 위해 사람이 제공하는 구조화된 판단, 레이블, 시범, 수정 정보입니다.
검수자 자격, 지침, 불일치 처리, 개인정보, 보상, 품질 보증을 정의합니다.
Use calibrated reviewers and adjudicate high-impact disagreements before training.선호도 정렬
Reinforcement learning from human feedback (RLHF)
사람의 선호 신호와 강화학습 기법을 이용해 모델 행동을 조정하는 사후 학습 방법의 묶음입니다.
명확한 보상 설계, 안정적인 학습 환경, 안전 평가, 데이터 관리가 준비된 경우에 사용합니다.
Train and validate a reward signal, optimize the policy conservatively, and compare against the SFT baseline.선호도 정렬
Reward model
학습된 선호 또는 품질 신호에 따라 후보 출력을 점수화하는 모델입니다.
학습이나 선택 과정에서 문서화된 선호를 확장 가능한 방식으로 근사해야 할 때 사용합니다.
Evaluate reward-model accuracy, calibration, subgroup behavior, and exploitability on held-out comparisons.선호도 정렬
Preference optimization
비교 선호, 보상 또는 관련 피드백 신호를 이용해 모델 행동을 업데이트하는 사후 학습입니다.
직접 선호도 방식과 강화학습 방식을 포함하는 상위 개념으로 사용합니다.
Define the preference rubric, reference behavior, optimization method, and retention evaluations.선호도 정렬
Reinforcement learning from AI feedback (RLAIF)
직접적인 사람 판단만 사용하지 않고 AI가 생성하거나 보조한 피드백을 이용하는 강화학습 방법의 묶음입니다.
검증된 피드백 기준, 사람 감독, 편향 검사, 오류 자기강화 방지책이 있을 때 사용합니다.
Calibrate AI feedback against a held-out set of expert human judgments before policy optimization.선호도 정렬
Reinforcement fine-tuning
평가기, 환경, 규칙, 피드백 모델이 만든 보상 신호로 모델 행동을 최적화하는 파인튜닝입니다.
결과를 신뢰성 있게 점수화할 수 있고 보상 악용, 안정성, 능력 유지를 모니터링할 수 있을 때 사용합니다.
Score verifiable task outcomes, optimize conservatively, and compare against the unchanged and SFT baselines.선호도 정렬
Direct preference optimization (DPO)
선호·비선호 응답을 직접 사용하여 기준 행동 대비 정책을 업데이트하는 선호도 학습 방식입니다.
적절한 선호 응답 쌍과 호환되는 학습 구현이 준비된 경우 사용합니다.
Train DPO from the approved SFT checkpoint and compare helpfulness, safety, and capability retention.선호도 정렬
Proximal policy optimization (PPO)
보상 신호를 최적화하면서 정책 업데이트의 크기를 제한하는 알고리즘입니다.
보상, 가치, 롤아웃, 안정성 모니터링을 지원할 수 있는 강화학습 파이프라인에서 사용합니다.
Track reward, divergence from the reference model, response length, and safety metrics during PPO.선호도 정렬
Group relative policy optimization (GRPO)
같은 프롬프트에서 생성한 여러 출력의 보상을 비교해 상대적 이점을 추정하는 강화학습 방식입니다.
그룹 샘플링, 보상 품질, 학습 안정성, 연산 비용이 작업에 적합할 때 사용합니다.
Sample several solutions per problem, score them with verified checks, and optimize from group-relative rewards.평가·회귀
Fine-tuning validation loss
분리된 파인튜닝 검증 예제에서 모델을 업데이트하지 않고 측정한 손실입니다.
낮은 손실만으로 실제 행동 개선을 증명할 수 없으므로 작업·안전·행동 지표와 함께 사용합니다.
Select candidate checkpoints using validation loss and the fixed production-style evaluation suite.평가·회귀
Holdout evaluation
학습과 모델 선택 피드백에서 의도적으로 제외한 예제로 수행하는 평가입니다.
보지 못한 사례의 성능을 비교적 편향 없이 추정하고 반복 튜닝에서 데이터셋을 보호합니다.
Run the locked holdout suite only after selecting the candidate checkpoint.평가·회귀
Checkpoint selection
미리 정한 품질, 안전, 비용, 회귀 기준으로 다음 단계에 올릴 저장 학습 상태를 선택하는 과정입니다.
고정된 평가 모음을 사용하고 학습 손실만으로 선택하지 않습니다.
Promote the checkpoint that passes task, safety, multilingual, latency, and memorization gates.평가·회귀
Base-model comparison
파인튜닝 모델과 변경하지 않은 기본 모델을 통제된 조건에서 비교하는 평가입니다.
변화를 파인튜닝 효과로 해석할 수 있도록 동일한 프롬프트, 검색, 디코딩, 데이터셋을 사용합니다.
Report wins, ties, regressions, latency, and cost for base and tuned candidates.평가·회귀
Catastrophic forgetting
새 데이터나 목표에 강하게 학습한 뒤 기존에 익힌 능력이 크게 저하되는 현상입니다.
튜닝 뒤 일반 능력, 언어, 안전 행동, 도메인 밖 작업이 유지되는지 검사합니다.
Run the baseline capability suite before and after fine-tuning and block material regressions.평가·회귀
Capability regression
파인튜닝이나 배포 변경 뒤 기존 모델 능력이 측정 가능하게 낮아지는 현상입니다.
학습과 배포 전에 중요한 작업의 회귀 허용 기준을 정의합니다.
Fail the release if multilingual extraction accuracy drops beyond the approved threshold.평가·회귀
Safety regression
모델 조정 뒤 거부, 개인정보, 공정성, 유해 콘텐츠 대응이 저하되는 현상입니다.
모든 후보 체크포인트에 정책 기반 평가와 표적 공격성 평가를 수행합니다.
Compare jailbreak, PII disclosure, bias, and unsafe-completion rates with the approved baseline.평가·회귀
Training-data memorization
원하는 일반화를 넘어 특정 학습 예제를 기억하고 재현할 가능성이 있는 상태입니다.
배포 전에 특이 문구 재현, 비밀정보, 개인정보, 거의 동일한 출력 여부를 검사합니다.
Probe held-out prefixes and block release if the model reproduces sensitive continuations.평가·회귀
Fine-tuning versus RAG
학습으로 모델 행동을 바꿀지, 요청 시 외부 지식을 제공할지 선택하는 설계 판단입니다.
최신·빈번히 변경되는 사실에는 검색을, 안정적인 행동·형식·작업 패턴에는 파인튜닝을 우선 검토하고 필요하면 결합 방식을 평가합니다.
파인튜닝만으로 자주 바뀌는 사실이 자동으로 최신화되거나 출처 인용이 제공되지는 않습니다.
Use RAG for current policies and SFT for the approved response structure.권리·운영
Fine-tuning data rights
데이터를 모델 조정에 사용하기 위해 필요한 라이선스, 허가, 계약 조건과 그 밖의 권한입니다.
출처와 예제 단위로 권리를 확인하고 출처 이력, 제한, 삭제 절차를 보관합니다.
온라인 공개, API 접근, 파일 보유만으로 파인튜닝 권한이 자동으로 생기지는 않습니다.
Record source, rights holder, license or permission, allowed training use, territory, term, and deletion contact.권리·운영
Personal data in fine-tuning
모델 조정 데이터에서 개인을 식별하거나 개인과 연결할 수 있는 정보입니다.
학습 전에 최소화·마스킹, 적절한 권한 확보, 접근 제한, 보관·삭제 기준을 적용합니다.
Replace names and account identifiers with controlled placeholders and verify the transformed dataset.권리·운영
Model registry
모델, 어댑터, 체크포인트, 평가, 승인, 배포 메타데이터를 관리하는 통제된 목록입니다.
어떤 산출물이 승인·배포·폐기되었거나 롤백 가능한지 추적할 때 사용합니다.
Register model digest, base version, adapter, dataset, evaluations, owner, approval, and deployment stage.권리·운영
Adapter serving
하나의 기본 모델에 작업·도메인별 어댑터를 선택해 추론 시 제공하는 방식입니다.
런타임이 어댑터 격리, 선택 권한, 메모리, 버전 호환성을 관리할 수 있을 때 사용합니다.
Route approved finance requests to the finance adapter and log the exact base-plus-adapter version.권리·운영
Fine-tuning provider data policy
업로드한 학습 데이터의 보관, 삭제, 모델 접근, 처리 지역, 2차 사용에 관한 서비스 제공자의 약관과 통제입니다.
데이터셋을 업로드하기 전에 최신 계약과 제품 문서를 확인하고 승인된 설정을 기록합니다.
제공자 정책은 변경될 수 있으므로 중요한 학습 프로그램 전에 다시 확인하고 API 접근이 데이터 이용 권한을 뜻한다고 가정하지 마세요.
Verify retention period, deletion process, training-use setting, access roles, region, encryption, and incident procedure.권리·운영
Fine-tuned model versioning
튜닝 모델을 만든 기본 모델, 어댑터·체크포인트, 데이터, 코드, 설정을 정확히 추적하는 관리 방식입니다.
평가, 사고, 롤백, 감사가 동일한 산출물을 가리키도록 변경 불가능한 식별자를 사용합니다.
Version = base model digest + adapter digest + dataset hash + code commit + training config.권리·운영
Fine-tuning rollback
문제가 발견됐을 때 운영 트래픽을 이전에 승인된 모델이나 어댑터로 되돌리는 절차입니다.
배포 전에 산출물 보관, 호환성 검사, 라우팅 통제, 결정 권한을 준비합니다.
Keep the last approved base-plus-adapter combination deployable and rehearse the rollback path.요구사항을 안정적으로 만족하는 가장 단순한 방식부터 검토하고 필요할 때 조합을 평가합니다.
| 필요한 것 | 우선 검토할 방식 |
|---|---|
| 응답 형식이나 말투 개선 | 프롬프트 설계 또는 SFT |
| 최신·사내 문서 기반 답변 | 출처 근거를 제공하는 RAG |
| 특정 업무 패턴을 반복적으로 학습 | 대표 예제를 이용한 파인튜닝 |
| 특정 산업의 언어·표현 학습 | 추가 사전 학습 또는 도메인 파인튜닝 |
| 선호 응답과 비선호 응답을 이용한 조정 | DPO 등 검증된 선호도 최적화 방식 |
각 방식은 필요한 데이터와 최적화 신호가 다르며 서로 같은 의미의 파인튜닝 명칭이 아닙니다.
| 방식 | 주요 데이터와 학습 목표 |
|---|---|
| SFT | 지시문·응답 또는 레이블 예제로 검토된 목표 행동을 재현하도록 학습합니다. |
| DPO | 선호·비선호 응답 쌍으로 기준 행동 대비 상대적 선호를 직접 높입니다. |
| GRPO | 여러 샘플 출력과 검증된 보상을 이용해 그룹 내 상대적 이점으로 최적화합니다. |
사전 학습은 대규모 데이터에서 폭넓은 패턴을 학습해 기본 모델을 만들고, 파인튜닝은 그 모델에서 이어 특정 작업, 형식, 도메인, 선호, 안전 행동에 맞게 조정합니다.
자주 바뀌거나 출처가 중요한 지식은 요청 시 문서를 갱신하고 인용할 수 있는 RAG가 일반적으로 적합합니다. 파인튜닝은 안정적인 행동, 형식, 작업 패턴에 더 적합하며 두 방식을 결합할 수도 있습니다.
LoRA는 기본 가중치를 고정하고 저랭크 어댑터를 학습합니다. QLoRA는 기본 모델을 지원되는 양자화 표현으로 불러와 메모리를 더 줄입니다. 정확한 환경에서 품질과 호환성을 평가해야 합니다.
아닙니다. 튜닝 모델도 시간이 지나면 오래된 정보를 가질 수 있고 생성 주장에 출처가 자동으로 붙지 않습니다. 최신성과 인용이 중요하면 검색이나 검증된 데이터 연결을 사용해야 합니다.
검토된 목표 응답에는 SFT, 비교 선호 응답 쌍에는 DPO, 여러 샘플 출력에 신뢰할 수 있는 보상을 줄 수 있는 작업에는 GRPO를 검토합니다. 데이터, 목표, 평가, 안전, 연산 요구를 확인한 뒤 선택해야 합니다.
데이터 권리, 동의, 기밀성, 개인정보 처리, 제공자 약관, 보관·삭제, 처리 지역, 모델 접근 통제, 2차 학습 사용, 암호화, 사고 대응, 최신 계약을 확인해야 합니다.
사전 학습 모델에서 데이터셋, 토큰화, 학습 인자, 평가, 체크포인트를 이용해 학습을 이어가는 공식 가이드입니다.
LoRA 설정, 랭크, 알파, 대상 모듈, 파라미터 효율 조정을 설명하는 공식 가이드입니다.
SFT, 보상 모델링, DPO, GRPO 등 사후 학습 방식의 공식 개요와 예시입니다.
데이터셋, 배치, 에포크, 손실, 최적화, 일반화, 하드웨어, 재현성 용어를 먼저 확인할 수 있습니다.
학습 전에 지시문, 예시, 스키마, 프롬프트 체이닝으로 요구사항을 해결할 수 있는지 확인합니다.
최신·사내·출처 근거 지식이 필요한 답변에는 검색 관련 용어를 함께 확인합니다.
튜닝 모델 평가를 고정 데이터셋, 벤치마크, 사람 검토, 회귀 테스트, 지연시간, 비용과 연결합니다.