Kỹ thuật AI tạo sinh
Tìm hiểu cách lập ngân sách, tổng hợp, sắp xếp, nén, lưu vào bộ nhớ đệm và theo dõi các hướng dẫn, bằng chứng, lịch sử và trạng thái để thực hiện các yêu cầu AI đáng tin cậy.
16 thuật ngữ
Phạm vi và ngân sách
Context engineering
Thiết kế toàn bộ môi trường thông tin được cung cấp cho một mô hình, bao gồm hướng dẫn, bằng chứng thu thập được, lịch sử, kết quả của công cụ và trạng thái.
Sử dụng khi hành vi đáng tin cậy phụ thuộc vào việc chọn và sắp xếp nhiều hơn một câu trong lời nhắc.
Ghép nối chính sách, trạng thái khách hàng, bằng chứng được trích xuất và các quy tắc đầu ra thành một ngữ cảnh được kiểm soát.Phạm vi và ngân sách
Context budget
Phân bổ kế hoạch các token có sẵn cho các hướng dẫn, bằng chứng, lịch sử, kết quả của công cụ và đầu ra dự kiến.
Đặt giá trị này trước khi thêm các tài liệu dài để các hướng dẫn quan trọng và không gian đầu ra không bị chiếm dụng.
Dự trữ 2.000 token cho câu trả lời và chia phần ngân sách còn lại giữa chính sách, ví dụ và các đoạn văn bản được truy xuất.Phạm vi và ngân sách
Working context
Tập hợp con thông tin có sẵn được cung cấp chủ động cho bước hiện tại của mô hình.
Sử dụng để phân biệt các đầu vào ở bước hiện tại với thông tin được lưu trữ ở nơi khác trong bộ nhớ hoặc hệ thống nguồn.
Ở bước này, hãy bao gồm dàn ý đã được phê duyệt và ghi chú nguồn, nhưng bỏ qua các ý tưởng ban đầu.Lắp ráp và tin cậy
Context assembly
Thu thập các hướng dẫn, trạng thái, bằng chứng, ví dụ và kết quả của công cụ được chọn và đưa vào đầu vào của mô hình.
Sử dụng chính sách tổng hợp xác định để mỗi yêu cầu nhận được các thành phần cần thiết ở định dạng đã biết.
system rules -> verified user state -> retrieved evidence -> current request -> output contractLắp ráp và tin cậy
Context hierarchy
Mối quan hệ ưu tiên giữa các quy tắc hệ thống, hướng dẫn ứng dụng, đầu vào của người dùng và nội dung không đáng tin cậy.
Làm rõ các ranh giới quyền hạn khi đầu vào có thể xung đột hoặc chứa các hướng dẫn nhúng.
Nhãn phân cấp giúp ứng dụng suy luận về độ tin cậy, nhưng các quyền nhạy cảm về bảo mật vẫn phải được thực thi bên ngoài mô hình.
Xem xét văn bản trang web được truy xuất là bằng chứng, không phải là quyền để ghi đè các quy tắc của hệ thống.Lắp ráp và tin cậy
Context ordering
Thứ tự xuất hiện của các hướng dẫn, tài liệu nguồn, ví dụ và câu hỏi hiện tại.
Kiểm tra thứ tự với các đầu vào đại diện vì vị trí có thể ảnh hưởng đến thông tin mà mô hình nhấn mạnh.
Đặt nguồn dài trước, sau đó kết thúc bằng câu hỏi chính xác và định dạng đầu ra yêu cầu.Lắp ráp và tin cậy
Conversation history
Các tin nhắn trước đó từ người dùng và trợ lý được giữ lại để hỗ trợ tính liên tục giữa các lượt.
Chỉ bao gồm lịch sử liên quan, được phép và vẫn hợp lệ cho yêu cầu hiện tại.
Lịch sử dài có thể lưu trữ các hướng dẫn lỗi thời hoặc dữ liệu cá nhân không cần thiết.
Giữ các yêu cầu đã được xác nhận và loại bỏ các bản nháp đã lỗi thời trước bước tạo thế hệ tiếp theo.Lắp ráp và tin cậy
Context provenance
Metadata recording where each context item came from, when it was obtained, and how it may be used. (Ghi lại siêu dữ liệu về nguồn gốc của mỗi mục ngữ cảnh, thời điểm thu thập và cách nó có thể được sử dụng.)
Sử dụng khi bằng chứng phải được trích dẫn, cập nhật, kiểm soát truy cập hoặc kiểm tra.
Gắn ID nguồn, phiên bản tài liệu, retrieved_at, phạm vi truy cập và vị trí đoạn văn cho mỗi đoạn văn.Khả năng xử lý ngữ cảnh dài
Long context
Một đầu vào chứa một lượng lớn văn bản hoặc tài liệu đa phương thức trong giới hạn dung lượng ngữ cảnh được hỗ trợ của một mô hình.
Sử dụng khi tác vụ thực sự cần phạm vi nguồn rộng và chỉ truy xuất sẽ loại bỏ các mối quan hệ hữu ích.
Nhiều ngữ cảnh hơn không đảm bảo rằng mọi chi tiết sẽ được sử dụng chính xác; hãy đánh giá khả năng truy xuất và suy luận trên các trường hợp thực tế.
Phân tích toàn bộ tập hợp hợp đồng, sau đó liệt kê các điều khoản mâu thuẫn với tham chiếu đến tài liệu và phần.Khả năng xử lý ngữ cảnh dài
Context overflow and truncation
Một tình trạng mà đầu vào và đầu ra được yêu cầu vượt quá khả năng, gây ra việc từ chối hoặc loại bỏ nội dung.
Phát hiện điều này trước khi suy luận và áp dụng một chính sách rõ ràng để loại bỏ, tóm tắt, truy xuất hoặc phân chia công việc.
Việc cắt xén không báo trước có thể loại bỏ chính xác hướng dẫn hoặc bằng chứng cần thiết để có được câu trả lời đúng.
Nếu đầu vào vượt quá ngân sách, hãy giữ lại các quy tắc của hệ thống và yêu cầu mới nhất, sau đó truy xuất bằng chứng liên quan nhất.Khả năng xử lý ngữ cảnh dài
Lost-in-the-middle effect
Một xu hướng mà thông tin liên quan bị ẩn sâu trong một đầu vào dài có thể được sử dụng ít đáng tin cậy hơn so với thông tin nổi bật.
Kiểm tra các bằng chứng quan trọng ở nhiều vị trí khác nhau và cải thiện khả năng truy xuất, sắp xếp, gắn nhãn hoặc đặt truy vấn khi có lỗi xảy ra.
Đánh giá cùng một bằng chứng ở đầu, giữa và cuối thay vì chỉ dựa vào một vị trí.Tối ưu hóa và tái sử dụng.
Context pruning
Loại bỏ các mục không liên quan, trùng lặp, đã hết hạn hoặc có giá trị thấp trước khi gửi yêu cầu.
Sử dụng nó để ưu tiên sự chú ý và ngân sách cho các hướng dẫn và bằng chứng có giá trị.
Loại bỏ các kết quả tìm kiếm và tin nhắn trùng lặp bị thay thế bởi quyết định cuối cùng của người dùng.Tối ưu hóa và tái sử dụng.
Context compression
Biểu diễn tài liệu nguồn ở dạng ngắn gọn hơn đồng thời bảo toàn thông tin cần thiết cho tác vụ.
Sử dụng các bản tóm tắt có cấu trúc khi văn bản nguồn đầy đủ quá lớn, và giữ lại các liên kết trở lại bằng chứng gốc.
Việc nén có thể bỏ qua các chi tiết hoặc gây ra lỗi, vì vậy hãy kiểm tra các tuyên bố quan trọng so với nguồn gốc.
Nén mỗi cuộc họp thành các quyết định, chủ sở hữu, thời hạn, các vấn đề chưa được giải quyết và dấu thời gian nguồn.Tối ưu hóa và tái sử dụng.
Reusable prompt prefix
Một khối hướng dẫn hoặc tài liệu tham khảo ổn định được chia sẻ trên các yêu cầu lặp lại.
Giữ nội dung ổn định khi nhà cung cấp hoặc runtime có thể tái sử dụng các tiền tố giống nhau một cách hiệu quả.
Đặt chính sách và lược đồ đã được phê duyệt lên đầu; thêm bằng chứng và câu hỏi cụ thể cho yêu cầu vào sau.Tối ưu hóa và tái sử dụng.
Context caching
Tái sử dụng các token đầu vào đã được xử lý trước đó hoặc ngữ cảnh đã lưu trữ cho các yêu cầu sau, nếu nền tảng hỗ trợ.
Sử dụng nó để trả lời các câu hỏi lặp đi lặp lại về cùng một tập hướng dẫn lớn, tài liệu, nội dung hoặc mã nguồn.
Hành vi, kích thước tối thiểu, thời gian tồn tại, giá cả và việc vô hiệu hóa bộ nhớ đệm khác nhau tùy theo nhà cung cấp và mô hình.
Lưu trữ tạm thời tập hợp chính sách một lần, sau đó gửi các câu hỏi cụ thể cho từng trường hợp.Tối ưu hóa và tái sử dụng.
Cache hit and cache miss
Một lần truy cập bộ nhớ đệm sử dụng ngữ cảnh trước đã có; một lần không truy cập bộ nhớ đệm yêu cầu đầu vào được xử lý lại.
Đo cả kết quả khi ước tính độ trễ và chi phí cho các khối lượng công việc có tiền tố lặp lại.
Theo dõi các token đầu vào được lưu trong bộ nhớ đệm và tỷ lệ lỗi sau khi triển khai theo phiên bản lời nhắc.Sử dụng phương pháp nhỏ nhất bảo toàn bằng chứng và mối quan hệ mà tác vụ thực sự cần.
| Tình huống | Cách tiếp cận cần xem xét |
|---|---|
| Một vài sự kiện liên quan trực tiếp và ngắn gọn. | Đặt chúng trực tiếp trong ngữ cảnh làm việc |
| Một bộ sưu tập lớn chỉ có một vài đoạn văn bản liên quan. | Truy xuất, xếp hạng và tổng hợp các bằng chứng đã chọn |
| Cùng một nguồn lớn được truy vấn lặp đi lặp lại. | Đánh giá ngữ cảnh dài với bộ nhớ đệm ngữ cảnh |
| Lịch sử chứa thông tin bị trùng lặp hoặc đã lỗi thời. | Loại bỏ và tạo bản tóm tắt có cấu trúc liên kết với nguồn. |
Không. Kỹ thuật thiết kế lời nhắc tập trung vào hướng dẫn và cấu trúc lời nhắc. Kỹ thuật ngữ cảnh cũng kiểm soát các bằng chứng, lịch sử, trạng thái, kết quả công cụ và tài liệu có thể tái sử dụng nào được chọn và sắp xếp cho mỗi bước của mô hình.
Thường không. Nội dung không cần thiết làm tăng chi phí và độ trễ, đồng thời có thể khiến các bằng chứng quan trọng khó sử dụng hơn. So sánh ngữ cảnh trực tiếp, truy xuất, cắt tỉa, nén và bộ nhớ đệm trên các tác vụ điển hình.
Không. Dung lượng chỉ định những gì có thể chứa được. Độ chính xác vẫn phụ thuộc vào mức độ liên quan, thứ tự, ranh giới tin cậy, hành vi của mô hình và đánh giá với các trường hợp thực tế.
Hướng dẫn chính thức về việc sử dụng ngữ cảnh dài, hạn chế, vị trí truy vấn, độ trễ, chi phí và bộ đệm.
Hướng dẫn chính thức về việc tái sử dụng ngữ cảnh lặp đi lặp lại và quan sát hành vi đầu vào được lưu trong bộ nhớ cache.
Đánh giá token, cửa sổ ngữ cảnh, hướng dẫn hệ thống, suy luận và cài đặt tạo.
Thiết kế hướng dẫn, ví dụ, ràng buộc, lược đồ và cấu trúc gợi ý nhiều bước.
Truy xuất và xếp hạng các bằng chứng liên quan trước khi tổng hợp chúng thành ngữ cảnh.
Kết nối việc tổng hợp ngữ cảnh với kết quả của công cụ, bộ nhớ, lập kế hoạch và phê duyệt của con người.