Generative AI Engineering
AI 모델 학습에 사용하는 학습 데이터, 목표, 배치, 에포크, 손실, 그래디언트, 옵티마이저, 학습률, 검증, 과적합, 체크포인트, 분산 학습, 재현성 용어를 설명합니다.
61 개 용어
학습 기본
Model training
데이터를 이용해 모델 파라미터를 조정하여 목표 행동이나 작업을 수행하게 만드는 과정입니다.
데이터 준비, 학습 실행, 검증, 체크포인트 선택을 포함하는 전체 최적화 과정을 설명할 때 사용합니다.
Define the training objective, approved dataset, validation plan, compute budget, and stopping criteria before the run.학습 기본
Pre-training
모델을 특정 작업이나 도메인에 맞추기 전에 대규모 데이터에서 폭넓은 패턴을 학습시키는 과정입니다.
기본 모델을 만드는 과정과 이후의 파인튜닝·정렬 과정을 구분할 때 사용합니다.
Pre-train the base model on an authorized multilingual corpus, then evaluate language coverage.학습 기본
Foundation model
광범위하게 사전 학습되어 여러 후속 작업과 조정에 활용할 수 있는 기반 모델입니다.
프롬프트, 검색, 어댑터, 파인튜닝이 기반으로 삼는 범용 모델을 설명할 때 사용합니다.
Record the approved foundation-model family, version, license, and intended adaptation path.학습 기본
Base model
추론이나 추가 조정의 출발점으로 사용하는 특정 사전 학습 체크포인트입니다.
학습과 배포를 재현할 수 있도록 정확한 모델과 리비전 식별자를 사용합니다.
Base model: approved model ID and immutable revision digest.학습 기본
Model parameter
모델 내부의 수치값으로 학습 방식에 따라 업데이트되거나 고정될 수 있습니다.
모델의 전체·고정·학습 가능 부분을 비교할 때 사용합니다.
Report total parameters and the subset updated by the training method.학습 기본
Transfer learning
한 환경에서 학습한 지식을 관련 작업이나 도메인의 출발점으로 재사용하는 방식입니다.
무작위 초기화부터 새로 학습하지 않고 사전 학습 표현을 조정할 때 사용합니다.
Start from the approved language model and adapt it to intent classification.학습 기본
Training objective
학습 실행에서 최적화하려는 수학적 또는 행동적 목표입니다.
데이터, 레이블, 손실 함수, 평가 지표를 선택하기 전에 명확히 정의합니다.
Objective: predict the next token while minimizing validation loss on the approved domain corpus.학습 기본
Supervised learning
입력과 기대 레이블 또는 출력이 짝을 이룬 예제로 학습하는 방식입니다.
신뢰할 수 있는 정답 응답, 분류값, 수치가 준비되어 있을 때 사용합니다.
Train on support questions paired with reviewed intent labels.학습 기본
Self-supervised learning
별도 정답 레이블 없이 데이터 자체의 구조에서 예측 대상을 만들어 학습하는 방식입니다.
수작업 레이블링이 어려운 대규모 표현 학습이나 언어 모델 학습에 사용합니다.
Hide or shift part of each sequence and train the model to predict the missing or next content.학습 데이터
Training dataset
그래디언트를 계산하고 모델 파라미터를 업데이트하는 데 사용하는 예제 모음입니다.
관련성, 이용 권한, 대표성, 품질을 확인한 데이터로 구성합니다.
공개적으로 접근할 수 있는 데이터라고 해서 모델 학습에 자동으로 사용할 수 있는 것은 아닙니다.
Create a versioned training dataset with source, license, consent, language, and quality metadata.학습 데이터
Validation dataset
설정 비교와 일반화 성능 확인을 위해 개발 과정에서 사용하는 분리된 데이터셋입니다.
해당 예제로 가중치를 업데이트하지 않고 체크포인트 선택, 조기 종료, 하이퍼파라미터 결정에 사용합니다.
Evaluate validation loss at each epoch and keep the best approved checkpoint.학습 데이터
Test dataset
개발 선택이 끝난 뒤 최종 성능을 비교적 편향 없이 확인하는 별도 데이터셋입니다.
모델과 하이퍼파라미터를 결정한 뒤에만 사용하여 최종 테스트에 맞춰지는 것을 방지합니다.
Lock the test set before experimentation and report its version with the final result.학습 데이터
Training corpus
모델 학습을 위해 수집·준비한 텍스트, 코드, 이미지, 음성 등의 자료 집합입니다.
수집 규모에서 출처 범위, 이력, 필터링, 권리를 설명할 때 사용합니다.
Document corpus sources, collection dates, exclusions, rights basis, and removal procedures.학습 데이터
Training sample or example
레이블 행, 시퀀스, 이미지, 대화, 선호 응답 쌍처럼 학습 파이프라인에 제공되는 하나의 단위입니다.
스키마, 샘플링 가중치, 품질 검사, 데이터셋 크기 산정 단위를 정의할 때 사용합니다.
One example contains input, target, source ID, rights metadata, and quality status.학습 데이터
Label
지도학습 예제에 연결된 목표 분류, 값, 구간, 응답 또는 판단입니다.
모호한 작업은 문서화된 기준으로 레이블을 정의하고 검수자 일치도를 측정합니다.
Label each ticket with one approved intent and record uncertain cases for adjudication.학습 데이터
Data augmentation
의도한 레이블이나 행동을 유지하는 통제된 변환으로 추가 학습 예제를 만드는 방식입니다.
범위를 넓힐 때 사용하되 변환이 현실적이고 목표 의미를 바꾸지 않는지 검증합니다.
Create paraphrase variants, then review that each variant preserves the original intent label.학습 데이터
Data contamination
평가 예제나 매우 유사한 변형이 학습 데이터에 포함되어 일반화 성능이 과대평가되는 문제입니다.
학습 전에 정확·의미 중복을 검사하고 보호된 평가 데이터셋을 별도로 관리합니다.
Compare hashes and near-duplicate embeddings across training and evaluation splits.학습 데이터
Training tokenization
원본 콘텐츠를 학습에 사용하는 모델 입력 단위와 식별자로 변환하는 과정입니다.
토크나이저, 어휘, 정규화, 특수 토큰을 모델 및 서비스 파이프라인과 호환되게 유지합니다.
Record tokenizer version, vocabulary size, special tokens, truncation, and maximum sequence length.학습 데이터
Data split
예제를 학습·검증·테스트 부분집합으로 나누는 과정입니다.
무작위 행 분할로 유사 데이터가 섞일 수 있다면 사용자, 시간, 문서, 그룹 단위로 나눕니다.
Split by customer account so conversations from one customer do not appear in both training and test data.학습 데이터
Data deduplication
동일하거나 매우 유사한 학습 예제를 탐지해 제거하거나 묶는 과정입니다.
암기, 출처 편중, 연산 낭비, 학습·테스트 오염을 줄일 때 사용합니다.
Deduplicate exact hashes, normalized text, and high-similarity document segments before splitting.학습 데이터
Synthetic training data
실제 사건에서 직접 수집하지 않고 소프트웨어나 모델로 생성·변형한 학습 예제입니다.
희귀 사례, 특정 형식, 개인정보 보호형 시뮬레이션을 보완할 때 사용하고 현실성과 편향을 검증합니다.
합성 데이터도 원본의 편향·오류·보호되는 표현을 재현할 수 있으므로 출처와 품질을 확인해야 합니다.
Generate edge-case support dialogs, label them as synthetic, and review them before training.학습 데이터
Confidential training data
학습 대상으로 검토되는 고객 기록, 영업비밀, 내부 문서, 자격 증명 등 제한 정보입니다.
명시적 권한, 문서화된 목적, 엄격한 접근 통제, 승인된 보관·삭제 계획이 없다면 기본적으로 제외합니다.
승인된 권한과 제공자 정책 검토 없이 자격 증명, 고객 비밀정보, 영업비밀을 학습 서비스에 넣지 마세요.
Block credentials and trade secrets during ingestion and route uncertain records to an authorized reviewer.학습 데이터
Data leakage
실제 예측 시점에는 사용할 수 없는 정보가 의도치 않게 학습에 포함되는 문제입니다.
비현실적으로 높은 평가 점수를 막기 위해 특징, 레이블, 시간, 전처리 과정을 확인합니다.
Remove post-resolution fields before training a model that predicts ticket escalation at intake.학습 과정
Batch
한 번의 순전파와 역전파 계산에서 함께 처리하는 학습 예제 묶음입니다.
연산 효율, 메모리 사용량, 그래디언트 안정성의 균형을 맞출 때 사용합니다.
Assemble each batch with padded sequences and an attention mask.학습 과정
Mini-batch
전체 데이터셋을 한 번에 처리하지 않고 한 번의 그래디언트 계산에 사용하는 작은 부분집합입니다.
대규모 데이터셋의 확률적 최적화에서 일반적인 처리 단위로 사용합니다.
Shuffle the training set and construct mini-batches of similar sequence length.학습 과정
Batch size
하나의 배치에 포함되는 예제 또는 시퀀스 수입니다.
시퀀스 길이, 메모리, 최적화 특성, 유효 배치 크기에 맞춰 조정합니다.
Start with per-device batch size 4 and use gradient accumulation only if required by memory.학습 과정
Training step / iteration
하나 이상의 마이크로배치를 처리하고 옵티마이저를 한 번 업데이트하는 주기입니다.
로그, 학습률 스케줄, 체크포인트 저장, 실행 길이 비교의 기준으로 사용합니다.
Log training loss and learning rate every 20 optimizer steps.학습 과정
Epoch
설정된 샘플링 방식으로 학습 데이터셋 전체를 한 번 처리하는 단위입니다.
에포크가 많을수록 항상 좋다고 보지 말고 검증 곡선과 함께 판단합니다.
For 1,000 examples and batch size 50, one epoch contains about 20 batches.학습 과정
Forward pass
모델 입력을 네트워크에 통과시켜 예측과 손실값을 계산하는 과정입니다.
그래디언트를 계산하기 전 학습 반복의 앞부분을 설명할 때 사용합니다.
Run the forward pass on token IDs and compare predicted tokens with the target labels.학습 과정
Loss function
모델 예측이 학습 목표에서 얼마나 벗어났는지를 측정하는 함수입니다.
작업, 레이블 형식, 클래스 균형, 원하는 행동에 맞춰 선택합니다.
Track token-level training loss and sequence-level task metrics separately.학습 과정
Backpropagation
손실의 미분값을 모델 뒤쪽에서 앞으로 전달해 그래디언트를 계산하는 과정입니다.
오류 신호가 학습 가능한 파라미터에 전달되는 방식을 설명할 때 사용합니다.
Backpropagate the scaled loss, clip gradients, and then update the optimizer.학습 과정
Gradient
파라미터 변화가 손실에 어떤 영향을 주는지 나타내는 미분값입니다.
불안정, 지나치게 작은 업데이트, 그래디언트 폭주를 탐지하기 위해 크기를 모니터링합니다.
Alert when the gradient norm becomes non-finite before an optimizer step.학습 과정
Optimizer
그래디언트와 내부 상태를 이용해 학습 가능한 파라미터를 업데이트하는 알고리즘입니다.
학습률, 가중치 감쇠, 정밀도 설정과 함께 선택하고 구성합니다.
Use AdamW with explicitly recorded learning rate, weight decay, and optimizer version.학습 과정
Stochastic gradient descent (SGD)
개별 예제나 미니배치에서 추정한 그래디언트로 파라미터를 업데이트하는 최적화 방식입니다.
기본 옵티마이저 개념으로 사용하고 작업에 맞는 모멘텀·스케줄 설정을 비교합니다.
Run SGD with a recorded learning rate, momentum, scheduler, and batch configuration.학습 과정
AdamW
가중치 감쇠를 그래디언트 기반 파라미터 업데이트와 분리한 적응형 옵티마이저입니다.
학습 레시피가 지원할 때 사용하고 재현성을 위해 모든 옵티마이저 설정을 기록합니다.
Record AdamW learning rate, betas, epsilon, weight decay, and implementation version.학습 과정
Learning rate
최적화 과정에서 파라미터 업데이트의 크기를 조절하는 하이퍼파라미터입니다.
너무 높으면 학습이 불안정하고 너무 낮으면 진행이 느려질 수 있으므로 신중히 조정합니다.
모든 모델에 공통으로 맞는 학습률은 없으며 모델, 방식, 데이터, 배치 크기, 옵티마이저에 따라 달라집니다.
Compare candidate learning rates using the same data split, seed, and evaluation schedule.학습 과정
Learning-rate scheduler
학습 스텝에 따라 학습률을 변경하는 규칙입니다.
학습 초반 워밍업, 점진적 감소, 정체 구간 대응을 실험 계획에 맞춰 적용합니다.
Warm up for the planned fraction of steps, then use cosine decay to the final rate.학습 과정
Warmup
학습 초기에 작은 값에서 학습률을 점진적으로 높이는 구간입니다.
특히 대규모 모델에서 학습 초반의 불안정한 업데이트를 줄일 때 사용합니다.
Record warmup steps as part of the reproducible training configuration.일반화·품질
Training loss
모델 파라미터 업데이트에 사용하는 배치에서 계산한 손실입니다.
최적화 진행을 확인할 때 사용하되 낮은 값만으로 일반화를 증명할 수는 없습니다.
Plot smoothed training loss by optimizer step and investigate sudden spikes or non-finite values.일반화·품질
Validation loss
분리된 검증 예제에서 파라미터를 업데이트하지 않고 측정한 손실입니다.
학습 손실과 비교해 과적합을 탐지하고 후보 체크포인트를 선택합니다.
Keep the checkpoint with the best approved validation behavior, not necessarily the final epoch.일반화·품질
Convergence
학습 업데이트가 점차 작아지거나 성능 개선이 안정되는 상태입니다.
학습 손실만 보지 말고 학습·검증 곡선과 작업 지표를 함께 확인합니다.
Treat the run as converged only after validation metrics stabilize across checkpoints.일반화·품질
Generalization
학습에 사용하지 않은 관련 예제에서도 모델이 잘 작동하는 능력입니다.
대표성 있는 홀드아웃 데이터와 실제 사례에서 측정합니다.
Compare performance across unseen users, time periods, languages, and difficult edge cases.일반화·품질
Overfitting
학습 데이터에는 지나치게 잘 맞지만 보지 못한 데이터에서 성능이 떨어지는 상태입니다.
학습·검증 성능의 격차가 커지는지 확인하고 데이터, 정규화, 조기 종료로 대응합니다.
Stop when validation loss worsens while training loss continues to decrease.일반화·품질
Underfitting
학습 데이터에서도 충분한 구조를 배우지 못해 성능이 낮은 상태입니다.
모델 용량, 특징과 데이터 품질, 최적화 설정, 학습 시간을 확인합니다.
Investigate underfitting when both training and validation metrics remain poor.일반화·품질
Regularization
과적합을 줄이고 보지 못한 데이터의 성능을 높이도록 학습을 제한하거나 조절하는 기법입니다.
모델 용량, 데이터 양, 증강, 조기 종료와 함께 정규화 방식을 선택합니다.
Compare validation behavior with documented weight decay and dropout settings.일반화·품질
Weight decay
최적화 중 파라미터 값이 지나치게 커지는 것을 억제하는 정규화 설정입니다.
옵티마이저와 함께 조정하고 감쇠에서 제외되는 파라미터를 확인합니다.
Record weight decay and the parameter groups to which it applies.일반화·품질
Dropout
학습 중 일부 활성값을 무작위로 비활성화하는 정규화 기법입니다.
모델 구조와 학습 방식이 지원할 때 사용하고 평가 시에는 학습 동작을 비활성화합니다.
Set and record the supported dropout rate, then compare validation performance.일반화·품질
Gradient clipping
불안정한 업데이트를 줄이기 위해 옵티마이저 적용 전에 그래디언트 크기나 노름을 제한하는 방식입니다.
그래디언트 급증 가능성이 있을 때 사용하고 클리핑 발생 빈도를 모니터링합니다.
Clip the global gradient norm at the documented threshold and log clipped steps.일반화·품질
Early stopping
정해진 규칙에서 검증 지표가 더 이상 개선되지 않을 때 학습을 중단하는 방식입니다.
한 번의 잡음성 평가에 반응하지 않도록 대기 횟수와 최소 개선 기준을 사용합니다.
Stop after three validation checks without meaningful improvement and restore the best checkpoint.일반화·품질
Training checkpoint
모델 파라미터와 필요 시 옵티마이저, 스케줄러, 진행 상태를 저장한 학습 상태입니다.
복구, 비교, 평가, 승인된 배포 전환에 사용합니다.
Save versioned checkpoints with dataset, code, tokenizer, and configuration identifiers.연산·재현성
AI accelerator (GPU, TPU, NPU)
모델 학습과 추론의 텐서 연산을 가속하는 특수 연산 하드웨어입니다.
프레임워크 지원, 수치 형식, 메모리, 연결망, 가용성, 비용에 맞춰 선택합니다.
Record accelerator type, count, memory, runtime, driver, and estimated training cost.연산·재현성
Video memory (VRAM)
모델 가중치, 옵티마이저 상태, 활성값, 그래디언트, 배치를 저장하는 가속기 메모리입니다.
학습 전에 사용량을 추정하고 필요하면 배치 크기, 정밀도, 샤딩, 체크포인팅을 조정합니다.
Measure peak allocated VRAM for the longest supported sequence and effective batch configuration.연산·재현성
FP16 and BF16
학습 메모리를 줄이고 가속기 처리량을 높이는 데 흔히 사용하는 저정밀 수치 형식입니다.
하드웨어와 프레임워크가 지원하는 형식만 사용하고 유한값과 품질을 검사합니다.
Compare BF16 or FP16 training stability and output quality with the approved baseline.연산·재현성
Gradient accumulation
여러 마이크로배치의 그래디언트를 모은 뒤 옵티마이저를 한 번 업데이트하는 방식입니다.
장치 메모리가 부족할 때 더 큰 유효 배치 크기를 만들기 위해 사용합니다.
Effective batch size = per-device batch × accumulation steps × number of data-parallel devices.연산·재현성
Mixed-precision training
필요한 안정성을 유지하면서 속도와 메모리 효율을 높이기 위해 둘 이상의 수치 정밀도를 사용하는 학습 방식입니다.
지원되는 FP16 또는 BF16 흐름에서 손실과 유한값을 모니터링하며 사용합니다.
Enable BF16 on compatible hardware and verify loss parity against the baseline run.연산·재현성
Gradient checkpointing
모든 활성값을 저장하지 않고 역전파 시 일부를 다시 계산해 메모리를 절약하는 방식입니다.
메모리가 제약이고 추가 계산 시간을 허용할 수 있을 때 사용합니다.
Enable gradient checkpointing to fit longer sequences, then measure the training slowdown.연산·재현성
Distributed training
여러 가속기나 장비에 연산 또는 모델 상태를 나누어 조정하는 학습 방식입니다.
단일 장치로 모델 크기나 학습 시간 요구를 충족하기 어려울 때 사용합니다.
Record data-parallel strategy, world size, sharding policy, network setup, and recovery procedure.연산·재현성
Data parallelism
여러 작업자에 모델을 복제하고 서로 다른 데이터 배치를 처리한 뒤 업데이트를 동기화하는 방식입니다.
모델이 각 작업자 메모리에 들어가고 더 높은 배치 처리량이 필요할 때 사용합니다.
Record worker count, global batch size, gradient synchronization, and failure recovery behavior.연산·재현성
Model parallelism
한 장치에서 전체 모델을 효율적으로 보관·처리하기 어려워 모델 연산이나 파라미터를 여러 장치에 나누는 방식입니다.
모델 구조와 프레임워크 지원에 따라 텐서, 파이프라인, 샤딩 방식을 사용합니다.
Document the partition strategy, communication cost, checkpoint format, and serving compatibility.연산·재현성
Random seed
셔플, 샘플링, 드롭아웃, 파라미터 초기화 같은 의사 난수 연산을 초기화하는 값입니다.
반복 가능성을 위해 기록하되 분산 하드웨어와 일부 커널에서는 완전한 결정성이 보장되지 않을 수 있습니다.
Compare important results across several recorded seeds instead of relying on one favorable run.연산·재현성
Training reproducibility
결과를 설명하고 비교할 수 있을 정도로 학습 실행을 다시 재현하는 능력입니다.
데이터, 코드, 모델, 토크나이저, 의존성, 시드, 설정, 하드웨어 정보를 버전 관리합니다.
Store a run manifest containing commit ID, dataset hash, seed, package lock, and checkpoint URI.각 용어는 학습 실행의 서로 다른 단위를 설명하므로 같은 의미로 사용하면 안 됩니다.
| 용어 | 의미 |
|---|---|
| 배치 | 한 번의 순전파·역전파 계산에서 함께 처리하는 예제 묶음입니다. |
| 미니배치 | 전체 데이터 대신 한 번의 계산에 사용하는 작은 부분집합입니다. |
| 학습 스텝 | 필요하면 여러 마이크로배치를 누적한 뒤 수행하는 한 번의 옵티마이저 업데이트입니다. |
| 에포크 | 학습 데이터 전체를 한 번 처리하는 단위로, 데이터 1,000개와 배치 크기 50이면 에포크당 약 20개 배치입니다. |
학습 데이터는 파라미터를 업데이트하고, 검증 데이터는 개발 선택에 사용하며, 테스트 데이터는 최종 성능을 추정합니다. 동일하거나 유사한 예제가 섞이면 결과가 부풀려지고 일반화 문제를 숨길 수 있습니다.
에포크는 학습 데이터 전체를 한 번 처리합니다. 그래디언트 누적이 없다면 에포크당 배치 수는 대략 데이터 크기를 배치 크기로 나눈 값입니다. 누적과 여러 작업자를 사용하면 장치별·유효·전역 배치 크기를 구분해야 합니다.
대표적인 과적합 신호입니다. 데이터 중복과 품질을 확인하고 조기 종료, 정규화, 데이터 증강, 모델 용량, 여러 작업 지표를 함께 검토해야 합니다.
아닙니다. 작은 모델과 실험은 CPU에서도 가능하지만 큰 신경망 모델은 일반적으로 GPU, TPU, NPU의 이점을 받습니다. 프레임워크 지원, 모델 크기, 시퀀스 길이, 시간, 예산에 따라 선택합니다.
공개 접근만으로 학습 권한이 생기지는 않습니다. 저작권, 라이선스, 계약, 개인정보, 동의, 기밀성, 수집 규칙, 제공자 약관을 확인하고 출처 이력과 삭제 절차를 보관해야 합니다.
학습·검증·테스트 데이터셋, 배치, 에포크, 손실, 과적합 등 머신러닝 기본 용어를 설명하는 공식 용어집입니다.
토큰화, 학습 인자, 데이터셋, 에포크, 배치 크기, 학습률, 평가, 체크포인트를 다루는 공식 가이드입니다.
배치, 순전파, 손실, 역전파, 그래디언트, 파라미터 업데이트를 포함한 학습 루프 공식 설명입니다.
모델 가중치, 파운데이션 모델, 추론, 토큰, 컨텍스트 윈도우 항목을 함께 확인할 수 있습니다.
학습 과정과 평가 데이터셋, 벤치마크, 평가표, 회귀 테스트, 운영 지표를 연결해 확인할 수 있습니다.
일반 학습 개념에서 SFT, LoRA, 선호도 최적화, 평가, 배포 용어로 이어집니다.