모델
생성형 AI
Generative AI
뜻
학습한 패턴을 바탕으로 텍스트, 이미지, 음성, 코드 등의 새 콘텐츠를 만드는 AI입니다.
언제 쓰나
콘텐츠를 만드는 시스템을 분류·예측 시스템과 구분할 때 사용합니다.
활용 예시
생성형 AI를 사용하여 세 가지 제품 설명을 작성한 다음, 사실 정확성을 검토합니다.Generative AI Engineering
생성형 AI·LLM 기본 용어
생성형 AI와 대규모 언어 모델을 사용할 때 접하는 모델, 입력, 문맥, 생성, 운영 관련 핵심 용어를 설명합니다.
12 개 용어
모델
파운데이션 모델
Foundation model
뜻
광범위한 데이터로 학습되어 여러 후속 작업에 적용할 수 있는 기반 모델입니다.
언제 쓰나
챗봇, 에이전트, 전문 애플리케이션의 기반 모델을 설명할 때 사용합니다.
활용 예시
기초 모델을 선택한 다음, 고객 지원을 위한 검색 및 작업별 지침을 추가합니다.모델
대규모 언어 모델(LLM)
Large language model (LLM)
뜻
대규모 텍스트로 학습해 언어의 문맥을 처리하고 생성하는 모델입니다.
언제 쓰나
문장 생성, 요약, 정보 추출, 번역, 대화 작업을 설명할 때 사용합니다.
활용 예시
LLM에 회의 내용을 의사 결정, 담당자 및 마감일로 요약하도록 요청합니다.모델
멀티모달 모델
Multimodal model
뜻
텍스트와 이미지처럼 둘 이상의 데이터 유형을 처리하거나 생성하는 모델입니다.
언제 쓰나
스크린샷, 문서, 음성, 영상, 텍스트를 함께 다루는 작업에 사용합니다.
활용 예시
차트 이미지를 제공하고, 멀티모달 모델이 보이는 추세를 설명하도록 요청합니다.입력·문맥
토큰
Token
뜻
언어 모델이 처리하는 텍스트 단위로, 단어 전체나 일부 또는 문장부호일 수 있습니다.
언제 쓰나
컨텍스트 용량, 처리 시간, 사용 비용을 가늠할 때 토큰 수를 사용합니다.
활용 예시
입력이 모델의 토큰 제한에 가까워지면 반복되는 지시를 제거합니다.입력·문맥
컨텍스트 윈도우
Context window
뜻
모델이 한 번의 요청에서 참고할 수 있는 입력과 생성 출력의 최대 범위입니다.
언제 쓰나
문서를 요약·분할하거나 필요한 부분만 검색할지 결정할 때 사용합니다.
주의
컨텍스트가 크다고 포함된 모든 세부 정보가 정확히 활용되는 것은 아닙니다.
활용 예시
전체 아카이브를 컨텍스트 창에 넣는 대신, 가장 관련성이 높은 5개의 문단을 검색합니다.입력·문맥
시스템 지시문
System instruction
뜻
모델의 역할, 규칙, 응답 방식을 정의하는 우선순위가 높은 지시문입니다.
언제 쓰나
여러 사용자 요청에 공통으로 적용할 행동 원칙을 정할 때 사용합니다.
활용 예시
귀하는 지원 담당자입니다. 제공된 정책을 인용하고, 증거가 부족한 경우에 언급합니다.운영
모델 가중치
Model weights
뜻
학습 과정에서 얻은 패턴을 수치로 담고 있는 모델 내부 값입니다.
언제 쓰나
기본 모델, 미세 조정 모델, 양자화 모델, 공개 가중치 모델을 비교할 때 사용합니다.
활용 예시
승인된 모델 가중치를 격리된 추론 환경에 로드합니다.운영
추론 실행
Inference
뜻
학습이 끝난 모델에 새 입력을 넣어 결과를 생성하는 실행 과정입니다.
언제 쓰나
서비스 제공, 지연 시간, 하드웨어, 요청당 비용을 설명할 때 사용합니다.
활용 예시
처리량을 개선하기 위해 긴급하지 않은 인퍼런스 요청을 일괄 처리합니다.운영
지식 기준일
Knowledge cutoff
뜻
모델 학습 지식에 대체로 반영된 마지막 시점을 뜻합니다.
언제 쓰나
최신 사건, 가격, 정책, 소프트웨어 버전을 질문하기 전에 확인합니다.
활용 예시
모델의 지식 종료 시점 이후에 발생한 이벤트에 대해서는 실시간 검색을 사용합니다.생성
샘플링
Sampling
뜻
모델의 확률 분포에서 다음 토큰을 선택하는 방식입니다.
언제 쓰나
더 일관되거나 더 다양한 결과가 필요할 때 샘플링 설정을 조정합니다.
활용 예시
정책 추출에는 보수적인 샘플링을 사용하고, 아이디어 발상에는 더 넓은 샘플링을 사용합니다.생성
온도
Temperature
뜻
일반적으로 토큰 선택의 집중도와 다양성을 조절하는 생성 설정입니다.
언제 쓰나
반복 가능한 구조화 작업에는 낮추고, 아이디어 탐색에는 신중히 높입니다.
주의
정확한 효과와 지원 범위는 모델과 제공자마다 다릅니다.
활용 예시
송장을 고정된 JSON 스키마로 변환하기 위한 낮은 온도를 설정합니다.