범위·예산
컨텍스트 엔지니어링
Context engineering
뜻
지시문, 검색 근거, 대화 기록, 도구 결과, 상태를 포함해 모델에 제공할 전체 정보 환경을 설계하는 작업입니다.
언제 쓰나
신뢰도 높은 동작을 위해 한 문장의 프롬프트보다 폭넓은 정보를 선택하고 배치해야 할 때 사용합니다.
활용 예시
정책, 고객 상태, 검색된 증거 및 출력 규칙을 하나의 제어된 컨텍스트로 결합합니다.Generative AI Engineering
AI 컨텍스트 엔지니어링 용어
신뢰도 높은 AI 요청을 위해 지시문, 근거, 대화 기록, 상태를 배분·조립·정렬·압축·캐싱·추적하는 용어를 설명합니다.
16 개 용어
범위·예산
컨텍스트 예산
Context budget
뜻
사용 가능한 토큰을 지시문, 근거, 대화 기록, 도구 결과, 예상 출력에 배분한 계획입니다.
언제 쓰나
긴 문서를 추가하기 전에 핵심 지시와 출력 공간이 밀려나지 않도록 정합니다.
활용 예시
답변에 2,000개의 토큰을 예약하고, 나머지 예산을 정책, 예시 및 검색된 문단에 분배합니다.범위·예산
작업 컨텍스트
Working context
뜻
현재 모델 단계에 실제로 제공되는 사용 가능 정보의 일부입니다.
언제 쓰나
현재 단계 입력을 메모리나 원천 시스템에 따로 저장된 정보와 구분할 때 사용합니다.
활용 예시
이 단계에서는 승인된 개요와 참고 자료를 포함하되, 이전의 브레인스토밍은 제외합니다.조립·신뢰
컨텍스트 조립
Context assembly
뜻
선택한 지시문, 상태, 근거, 예시, 도구 출력을 모델 입력으로 모으는 과정입니다.
언제 쓰나
각 요청에 필요한 항목이 정해진 형식으로 들어가도록 결정적인 조립 규칙을 사용합니다.
활용 예시
system rules -> verified user state -> retrieved evidence -> current request -> output contract조립·신뢰
컨텍스트 계층
Context hierarchy
뜻
시스템 규칙, 애플리케이션 지시, 사용자 입력, 신뢰할 수 없는 콘텐츠 사이의 우선순위 관계입니다.
언제 쓰나
입력끼리 충돌하거나 콘텐츠 안에 지시문이 포함될 수 있을 때 권한 경계를 명확히 합니다.
주의
계층 표시는 신뢰 수준을 구분하는 데 도움을 주지만 보안상 중요한 권한은 모델 밖에서도 강제해야 합니다.
활용 예시
검색된 웹페이지 텍스트는 증거로 취급하며, 시스템 규칙을 무시할 수 있는 권한으로 취급하지 않습니다.조립·신뢰
컨텍스트 순서
Context ordering
뜻
지시문, 원본 자료, 예시, 현재 질문이 나타나는 순서입니다.
언제 쓰나
정보 위치가 모델의 주의에 영향을 줄 수 있으므로 대표 입력으로 순서를 시험합니다.
활용 예시
긴 소스 내용을 먼저 배치하고, 정확한 질문과 필요한 출력 형식을 마지막으로 둡니다.조립·신뢰
대화 기록
Conversation history
뜻
여러 대화 차례의 연속성을 유지하기 위해 보존하는 이전 사용자·AI 메시지입니다.
언제 쓰나
현재 요청과 관련 있고 사용 권한이 있으며 아직 유효한 기록만 포함합니다.
주의
긴 대화 기록에는 오래된 지시나 불필요한 개인정보가 남을 수 있습니다.
활용 예시
다음 생성 단계 전에 확인된 요구 사항을 유지하고, 초안을 삭제합니다.조립·신뢰
컨텍스트 출처 추적
Context provenance
뜻
각 컨텍스트 항목의 출처, 취득 시점, 사용 가능 범위를 기록하는 메타데이터입니다.
언제 쓰나
근거를 인용·갱신·접근 통제·감사해야 할 때 사용합니다.
활용 예시
각 텍스트에 출처 ID, 문서 버전, 검색 시간(retrieved_at), 접근 범위 및 청크 위치를 첨부합니다.장문 컨텍스트
장문 컨텍스트
Long context
뜻
모델이 지원하는 컨텍스트 용량 안에 많은 텍스트나 멀티모달 자료를 넣은 입력입니다.
언제 쓰나
넓은 자료 범위가 실제로 필요하고 검색만으로는 유용한 관계가 사라질 때 사용합니다.
주의
컨텍스트가 많다고 모든 세부 정보가 정확히 활용되는 것은 아니므로 실제 사례로 검색과 추론을 평가해야 합니다.
활용 예시
전체 계약 내용을 분석한 다음, 문서 및 섹션 참조와 함께 충돌하는 조항을 나열합니다.장문 컨텍스트
컨텍스트 초과·잘림
Context overflow and truncation
뜻
요청한 입력과 출력이 용량을 넘어 오류가 발생하거나 일부 내용이 제거되는 상태입니다.
언제 쓰나
추론 전에 감지하고 가지치기, 요약, 검색, 작업 분할 정책을 명시적으로 적용합니다.
주의
조용히 잘리면 정답에 필요한 지시나 근거가 제거될 수 있습니다.
활용 예시
입력이 예산을 초과하면, 시스템 규칙과 최신 요청을 유지하고, 가장 관련성이 높은 증거를 검색합니다.장문 컨텍스트
중간 정보 활용 저하
Lost-in-the-middle effect
뜻
긴 입력의 중간에 묻힌 관련 정보가 눈에 띄는 위치의 정보보다 덜 안정적으로 활용되는 경향입니다.
언제 쓰나
중요 근거의 위치를 바꿔 시험하고 실패하면 검색, 순서, 표지, 질문 위치를 개선합니다.
활용 예시
증거를 시작, 중간 및 끝 근처에 배치하는 대신, 동일한 증거를 사용합니다.최적화·재사용
컨텍스트 가지치기
Context pruning
뜻
요청을 보내기 전에 관련 없거나 중복되고 오래됐거나 가치가 낮은 항목을 제거하는 작업입니다.
언제 쓰나
권위 있는 지시와 근거에 주의와 토큰 예산을 집중할 때 사용합니다.
활용 예시
중복 검색 결과와 사용자 최종 결정으로 대체된 메시지를 삭제합니다.최적화·재사용
컨텍스트 압축·요약
Context compression
뜻
작업에 필요한 정보를 유지하면서 원본 자료를 더 짧은 형태로 표현하는 방식입니다.
언제 쓰나
원문이 너무 크면 구조화 요약을 사용하고 원래 근거로 돌아갈 수 있는 연결을 유지합니다.
주의
압축 과정에서 뉘앙스가 빠지거나 오류가 생길 수 있으므로 영향이 큰 주장은 원문과 대조해야 합니다.
활용 예시
각 회의를 의사 결정 사항, 담당자, 마감일, 해결되지 않은 문제 및 원본 타임스탬프로 압축합니다.최적화·재사용
재사용 프롬프트 접두부
Reusable prompt prefix
뜻
반복 요청에서 공통으로 사용하는 안정적인 앞부분의 지시문이나 참고 자료입니다.
언제 쓰나
제공자나 실행 환경이 동일 접두부를 효율적으로 재사용할 수 있을 때 고정 내용을 함께 둡니다.
활용 예시
승인된 정책 및 스키마를 먼저 배치하고, 요청별 증거 및 질문을 그 뒤에 추가합니다.최적화·재사용
컨텍스트 캐싱
Context caching
뜻
플랫폼이 지원할 때 이전에 처리한 입력 토큰이나 저장된 컨텍스트를 이후 요청에서 재사용하는 기능입니다.
언제 쓰나
동일한 긴 지시문, 문서, 미디어, 코드베이스에 반복 질문할 때 사용합니다.
주의
캐시 동작, 최소 크기, 수명, 가격, 무효화 방식은 제공자와 모델에 따라 다릅니다.
활용 예시
정책 코퍼스를 한 번 캐시한 다음, 더 짧은 사례별 질문을 해당 코퍼스에 대해 보냅니다.최적화·재사용
캐시 적중·미적중
Cache hit and cache miss
뜻
캐시 적중은 재사용 가능한 이전 컨텍스트를 활용하고, 미적중은 입력을 다시 처리하는 상태입니다.
언제 쓰나
반복 접두부가 있는 작업의 지연시간과 비용을 추정할 때 두 결과를 모두 측정합니다.
활용 예시
배포 후 프롬프트 버전에 따른 캐시된 입력 토큰 및 누락률을 추적합니다.컨텍스트 처리 방식 선택
작업에 실제로 필요한 근거와 관계를 보존하는 가장 작은 방식을 선택합니다.
| 상황 | 우선 검토할 방식 |
|---|---|
| 짧고 직접 관련된 사실 몇 개 | 작업 컨텍스트에 직접 포함 |
| 일부 구절만 관련된 대규모 자료 | 관련 근거를 검색·순위화해 조립 |
| 동일한 대규모 원본에 반복 질문 | 장문 컨텍스트와 컨텍스트 캐싱 검토 |
| 기록에 중복되거나 대체된 정보가 포함 | 가지치기 후 원문 연결 구조화 요약 생성 |
자주 묻는 질문
컨텍스트 엔지니어링은 프롬프트 엔지니어링과 같은가요?
같지 않습니다. 프롬프트 엔지니어링은 지시와 프롬프트 구조에 집중하며, 컨텍스트 엔지니어링은 각 모델 단계에 어떤 근거, 기록, 상태, 도구 결과, 재사용 자료를 선택하고 배치할지도 관리합니다.
사용 가능한 문서를 모두 장문 컨텍스트에 넣어야 하나요?
대부분 그렇지 않습니다. 불필요한 내용은 비용과 지연시간을 늘리고 중요한 근거 활용을 어렵게 할 수 있습니다. 대표 작업에서 직접 입력, 검색, 가지치기, 압축, 캐싱을 비교해야 합니다.
컨텍스트 윈도우가 크면 항상 답변이 좋아지나요?
아닙니다. 용량은 넣을 수 있는 범위만 정합니다. 정확도는 관련성, 순서, 신뢰 경계, 모델 동작, 실제적인 평가 사례에 달려 있습니다.
공식 참고 자료
- Google AI for Developers — Long context
장문 컨텍스트의 사용, 한계, 질문 위치, 지연시간, 비용, 캐싱을 설명하는 공식 문서입니다.
- Google AI for Developers — Context caching
반복 컨텍스트 재사용과 캐시 입력 동작을 설명하는 공식 가이드입니다.
관련 용어 페이지
- 생성형 AI·LLM 기본 용어
토큰, 컨텍스트 윈도우, 시스템 지시문, 추론, 생성 설정을 먼저 확인합니다.
- AI 프롬프트 설계 용어
지시문, 예시, 제약, 스키마, 다단계 프롬프트 구조를 설계합니다.
- RAG·문서 검색 용어
관련 근거를 검색하고 순위화한 뒤 컨텍스트로 조립합니다.
- AI 에이전트·도구 호출 용어
컨텍스트 조립을 도구 결과, 메모리, 계획, 사람 승인과 연결합니다.