Generative AI Engineering
신뢰도 높은 AI 요청을 위해 지시문, 근거, 대화 기록, 상태를 배분·조립·정렬·압축·캐싱·추적하는 용어를 설명합니다.
16 개 용어
범위·예산
Context engineering
지시문, 검색 근거, 대화 기록, 도구 결과, 상태를 포함해 모델에 제공할 전체 정보 환경을 설계하는 작업입니다.
신뢰도 높은 동작을 위해 한 문장의 프롬프트보다 폭넓은 정보를 선택하고 배치해야 할 때 사용합니다.
Assemble policy, customer state, retrieved evidence, and output rules into one controlled context.범위·예산
Context budget
사용 가능한 토큰을 지시문, 근거, 대화 기록, 도구 결과, 예상 출력에 배분한 계획입니다.
긴 문서를 추가하기 전에 핵심 지시와 출력 공간이 밀려나지 않도록 정합니다.
Reserve 2,000 tokens for the answer and divide the remaining budget among policy, examples, and retrieved passages.범위·예산
Working context
현재 모델 단계에 실제로 제공되는 사용 가능 정보의 일부입니다.
현재 단계 입력을 메모리나 원천 시스템에 따로 저장된 정보와 구분할 때 사용합니다.
For this step, include the approved outline and source notes, but omit earlier brainstorming.조립·신뢰
Context assembly
선택한 지시문, 상태, 근거, 예시, 도구 출력을 모델 입력으로 모으는 과정입니다.
각 요청에 필요한 항목이 정해진 형식으로 들어가도록 결정적인 조립 규칙을 사용합니다.
system rules -> verified user state -> retrieved evidence -> current request -> output contract조립·신뢰
Context hierarchy
시스템 규칙, 애플리케이션 지시, 사용자 입력, 신뢰할 수 없는 콘텐츠 사이의 우선순위 관계입니다.
입력끼리 충돌하거나 콘텐츠 안에 지시문이 포함될 수 있을 때 권한 경계를 명확히 합니다.
계층 표시는 신뢰 수준을 구분하는 데 도움을 주지만 보안상 중요한 권한은 모델 밖에서도 강제해야 합니다.
Treat retrieved webpage text as evidence, never as permission to override system rules.조립·신뢰
Context ordering
지시문, 원본 자료, 예시, 현재 질문이 나타나는 순서입니다.
정보 위치가 모델의 주의에 영향을 줄 수 있으므로 대표 입력으로 순서를 시험합니다.
Place the long source first, then end with the exact question and required output format.조립·신뢰
Conversation history
여러 대화 차례의 연속성을 유지하기 위해 보존하는 이전 사용자·AI 메시지입니다.
현재 요청과 관련 있고 사용 권한이 있으며 아직 유효한 기록만 포함합니다.
긴 대화 기록에는 오래된 지시나 불필요한 개인정보가 남을 수 있습니다.
Keep the confirmed requirements and remove superseded drafts before the next generation step.조립·신뢰
Context provenance
각 컨텍스트 항목의 출처, 취득 시점, 사용 가능 범위를 기록하는 메타데이터입니다.
근거를 인용·갱신·접근 통제·감사해야 할 때 사용합니다.
Attach source ID, document version, retrieved_at, access scope, and chunk location to every passage.장문 컨텍스트
Long context
모델이 지원하는 컨텍스트 용량 안에 많은 텍스트나 멀티모달 자료를 넣은 입력입니다.
넓은 자료 범위가 실제로 필요하고 검색만으로는 유용한 관계가 사라질 때 사용합니다.
컨텍스트가 많다고 모든 세부 정보가 정확히 활용되는 것은 아니므로 실제 사례로 검색과 추론을 평가해야 합니다.
Analyze the complete contract set, then list conflicting clauses with document and section references.장문 컨텍스트
Context overflow and truncation
요청한 입력과 출력이 용량을 넘어 오류가 발생하거나 일부 내용이 제거되는 상태입니다.
추론 전에 감지하고 가지치기, 요약, 검색, 작업 분할 정책을 명시적으로 적용합니다.
조용히 잘리면 정답에 필요한 지시나 근거가 제거될 수 있습니다.
If input exceeds the budget, retain system rules and the latest request, then retrieve the most relevant evidence.장문 컨텍스트
Lost-in-the-middle effect
긴 입력의 중간에 묻힌 관련 정보가 눈에 띄는 위치의 정보보다 덜 안정적으로 활용되는 경향입니다.
중요 근거의 위치를 바꿔 시험하고 실패하면 검색, 순서, 표지, 질문 위치를 개선합니다.
Evaluate the same evidence near the beginning, middle, and end instead of relying on one placement.최적화·재사용
Context pruning
요청을 보내기 전에 관련 없거나 중복되고 오래됐거나 가치가 낮은 항목을 제거하는 작업입니다.
권위 있는 지시와 근거에 주의와 토큰 예산을 집중할 때 사용합니다.
Drop duplicate search results and messages superseded by the user's final decision.최적화·재사용
Context compression
작업에 필요한 정보를 유지하면서 원본 자료를 더 짧은 형태로 표현하는 방식입니다.
원문이 너무 크면 구조화 요약을 사용하고 원래 근거로 돌아갈 수 있는 연결을 유지합니다.
압축 과정에서 뉘앙스가 빠지거나 오류가 생길 수 있으므로 영향이 큰 주장은 원문과 대조해야 합니다.
Compress each meeting into decisions, owners, deadlines, unresolved issues, and source timestamps.최적화·재사용
Reusable prompt prefix
반복 요청에서 공통으로 사용하는 안정적인 앞부분의 지시문이나 참고 자료입니다.
제공자나 실행 환경이 동일 접두부를 효율적으로 재사용할 수 있을 때 고정 내용을 함께 둡니다.
Place the approved policy and schema first; append the request-specific evidence and question afterward.최적화·재사용
Context caching
플랫폼이 지원할 때 이전에 처리한 입력 토큰이나 저장된 컨텍스트를 이후 요청에서 재사용하는 기능입니다.
동일한 긴 지시문, 문서, 미디어, 코드베이스에 반복 질문할 때 사용합니다.
캐시 동작, 최소 크기, 수명, 가격, 무효화 방식은 제공자와 모델에 따라 다릅니다.
Cache the policy corpus once, then send shorter case-specific questions against it.최적화·재사용
Cache hit and cache miss
캐시 적중은 재사용 가능한 이전 컨텍스트를 활용하고, 미적중은 입력을 다시 처리하는 상태입니다.
반복 접두부가 있는 작업의 지연시간과 비용을 추정할 때 두 결과를 모두 측정합니다.
Track cached input tokens and miss rate by prompt version after deployment.작업에 실제로 필요한 근거와 관계를 보존하는 가장 작은 방식을 선택합니다.
| 상황 | 우선 검토할 방식 |
|---|---|
| 짧고 직접 관련된 사실 몇 개 | 작업 컨텍스트에 직접 포함 |
| 일부 구절만 관련된 대규모 자료 | 관련 근거를 검색·순위화해 조립 |
| 동일한 대규모 원본에 반복 질문 | 장문 컨텍스트와 컨텍스트 캐싱 검토 |
| 기록에 중복되거나 대체된 정보가 포함 | 가지치기 후 원문 연결 구조화 요약 생성 |
같지 않습니다. 프롬프트 엔지니어링은 지시와 프롬프트 구조에 집중하며, 컨텍스트 엔지니어링은 각 모델 단계에 어떤 근거, 기록, 상태, 도구 결과, 재사용 자료를 선택하고 배치할지도 관리합니다.
대부분 그렇지 않습니다. 불필요한 내용은 비용과 지연시간을 늘리고 중요한 근거 활용을 어렵게 할 수 있습니다. 대표 작업에서 직접 입력, 검색, 가지치기, 압축, 캐싱을 비교해야 합니다.
아닙니다. 용량은 넣을 수 있는 범위만 정합니다. 정확도는 관련성, 순서, 신뢰 경계, 모델 동작, 실제적인 평가 사례에 달려 있습니다.
장문 컨텍스트의 사용, 한계, 질문 위치, 지연시간, 비용, 캐싱을 설명하는 공식 문서입니다.
반복 컨텍스트 재사용과 캐시 입력 동작을 설명하는 공식 가이드입니다.
토큰, 컨텍스트 윈도우, 시스템 지시문, 추론, 생성 설정을 먼저 확인합니다.
지시문, 예시, 제약, 스키마, 다단계 프롬프트 구조를 설계합니다.
관련 근거를 검색하고 순위화한 뒤 컨텍스트로 조립합니다.
컨텍스트 조립을 도구 결과, 메모리, 계획, 사람 승인과 연결합니다.