Kỹ thuật AI tạo sinh
Tìm hiểu cách tạo các trường hợp kiểm tra prompt, so sánh các biến thể được kiểm soát, phân tích lỗi, ngăn chặn các lỗi hồi quy và cân bằng chất lượng, độ trễ và chi phí.
16 thuật ngữ
Dữ liệu kiểm thử
Prompt test case
Một đầu vào, ngữ cảnh, hành vi mong đợi và quy tắc đánh giá được xác định rõ ràng được sử dụng để kiểm tra một lời nhắc.
Tạo các trường hợp cho các yêu cầu bình thường, các điều kiện biên, các đầu vào mơ hồ và các từ chối dự kiến.
Đầu vào: ID tài khoản bị thiếu; hành vi mong đợi: yêu cầu ID thay vì tự tạo.Dữ liệu kiểm thử
Golden dataset
Một bộ sưu tập đã được xem xét gồm các đầu vào kiểm tra đại diện và các kết quả dự kiến đáng tin cậy hoặc hướng dẫn đánh giá.
Sử dụng để so sánh các thay đổi trong lời nhắc một cách nhất quán trên các bản phát hành.
Làm mới tập dữ liệu khi việc sử dụng thực tế thay đổi, đồng thời bảo toàn một tập hợp con ổn định để kiểm tra.
Lưu giữ 200 trường hợp hỗ trợ đã được xem xét với danh mục dự kiến, các thông tin cần thiết và các tuyên bố bị cấm.Thí nghiệm
Baseline prompt
Lời nhắc hiện tại hoặc đơn giản nhất được sử dụng làm điểm tham chiếu để so sánh.
Ghi lại nó trước khi tối ưu hóa để các cải tiến được tuyên bố có thể đo lường được.
Baseline v12 sử dụng mô hình sản xuất, các tham số mặc định và cài đặt truy xuất không thay đổi.Thí nghiệm
Prompt variant
Một cách diễn đạt khác của lời nhắc, cấu trúc, tập ví dụ, mô hình hoặc cấu hình suy luận được kiểm tra so với một giá trị cơ sở.
Tên và các biến thể phiên bản để kết quả có thể được tái tạo và quảng bá một cách an toàn.
Biến B di chuyển các ràng buộc sau nguồn và thêm một ví dụ âm.Thí nghiệm
Controlled experiment
Một so sánh thay đổi một yếu tố dự định trong khi giữ các đầu vào và cài đặt liên quan không đổi.
Sử dụng để quy kết sự khác biệt quan sát được là do thay đổi trong lời nhắc, thay vì mô hình, dữ liệu hoặc phương pháp lấy mẫu.
Chỉ thay đổi cách diễn đạt hướng dẫn; giữ nguyên tập dữ liệu, phiên bản mô hình, nhiệt độ và trình đánh giá.Thí nghiệm
A/B test
Một thử nghiệm so sánh hai phiên bản lời nhắc hoặc cấu hình trên lưu lượng hoặc mẫu thử nghiệm tương đương.
Sử dụng nó sau các kiểm tra ngoại tuyến khi cần so sánh hành vi sản xuất và kết quả của người dùng.
Bảo vệ người dùng bằng các quy tắc đủ điều kiện, giám sát và điều kiện dừng; không hiển thị các quy trình có rủi ro cao mà không có đánh giá.
Định tuyến ngẫu nhiên các yêu cầu đủ điều kiện đến A hoặc B và so sánh kết quả thực hiện tác vụ, các sửa lỗi, độ trễ và chi phí.Thí nghiệm
Prompt ablation
Loại bỏ hoặc thay thế một thành phần lời nhắc để đo lường đóng góp của nó.
Sử dụng để xác định các hướng dẫn, ví dụ hoặc ngữ cảnh không cần thiết, làm tăng chi phí mà không cải thiện chất lượng.
Loại bỏ ví dụ thứ ba đồng thời giữ nguyên tất cả các thành phần khác không đổi.Đánh giá
Batch evaluation
Thực hiện một lời nhắc trên nhiều trường hợp đã được chuẩn bị và tổng hợp kết quả theo từng trường hợp và tổng thể.
Sử dụng nó trước khi kiểm tra thủ công được nhầm lẫn với hiệu suất đại diện.
Chạy tất cả các biến thể lời nhắc trên tập đánh giá cố định và xuất các trường hợp thất bại theo từng trường hợp.Đánh giá
Prompt regression
Một hành vi trước đây hoạt động tốt nhưng trở nên tồi tệ hơn sau khi có lời nhắc, mô hình, truy xuất, công cụ hoặc thay đổi chính sách.
Theo dõi bằng một bộ kiểm tra ổn định và so sánh kết quả trước mỗi lần phát hành.
Định dạng ngắn gọn mới cải thiện độ dài nhưng đã ngừng bao gồm các ID nguồn bắt buộc.Độ tin cậy.
Robustness test
Một bài kiểm tra xem liệu hành vi chấp nhận được có được duy trì trong các biến thể, nhiễu, ngôn ngữ và các trường hợp đặc biệt khác hay không.
Sử dụng các cách diễn đạt khác, ngữ cảnh được sắp xếp lại, lỗi chính tả, các trường bị thiếu và các đầu vào gây nhầm lẫn.
Kiểm tra cùng một ý định với các cách diễn đạt trang trọng, hội thoại, sai chính tả và đa ngôn ngữ.Độ tin cậy.
Sensitivity test
Một bài kiểm tra đo lường mức độ thay đổi của đầu ra khi một chi tiết nhỏ trong đầu vào hoặc cấu hình thay đổi.
Sử dụng nó cho cách diễn đạt, thứ tự ví dụ, nhiệt độ, vị trí ngữ cảnh và thay đổi phiên bản mô hình.
Di chuyển cùng một bằng chứng từ đầu đến giữa và so sánh độ chính xác của trích dẫn.Độ tin cậy.
Failure taxonomy
Một tập hợp các danh mục nhất quán được sử dụng để gắn nhãn và phân tích các trường hợp lỗi.
Xác định nó trước khi thực hiện các đánh giá lớn để các nhóm có thể ưu tiên các nguyên nhân thay vì chỉ đếm số lượng lỗi.
Nhãn: thiếu thông tin, yêu cầu không được hỗ trợ, lỗi lược đồ, công cụ không chính xác, tiết lộ thông tin không an toàn, độ trễ quá mức.Đánh giá
Acceptance threshold
Một điểm số hoặc quy tắc được xác định trước mà phiên bản lời nhắc phải đáp ứng trước khi phát hành.
Đặt ngưỡng theo mức độ rủi ro và bao gồm các trường hợp "không được thất bại" thay vì chỉ dựa vào giá trị trung bình.
Chỉ phát hành nếu độ chính xác của các trường bắt buộc đạt ít nhất 98% và không có trường hợp vi phạm quyền riêng tư nghiêm trọng nào.Đánh giá
Model and parameter matrix
Một lưới được lên kế hoạch so sánh các lời nhắc trên các phiên bản mô hình và cài đặt suy luận.
Sử dụng khi một lời nhắc có thể hoạt động khác nhau sau khi mô hình được di chuyển hoặc khi các tham số thay đổi.
Đánh giá prompt v8 trên mô hình A và B với hai cài đặt nhiệt độ được hỗ trợ.Hiệu quả
Quality, latency, and cost comparison
Một đánh giá chung về chất lượng công việc, thời gian phản hồi và mức sử dụng tài nguyên cho mỗi ứng viên.
Sử dụng để tránh chọn một lời nhắc tốt hơn một chút nhưng quá chậm hoặc tốn kém so với khối lượng công việc của nó.
So sánh tỷ lệ thành công, độ trễ p95, số lượng token đầu vào, số lượng token đầu ra và chi phí ước tính trên mỗi tác vụ thành công.Hiệu quả
Prompt optimization loop
Một chu kỳ lặp đi lặp lại của việc xác định mục tiêu, kiểm tra một giá trị cơ sở, phân tích các thất bại, thay đổi lời nhắc và kiểm tra lại.
Sử dụng các thay đổi nhỏ dựa trên bằng chứng và giữ kết quả phiên bản ở mỗi lần lặp.
Define metric -> run baseline -> label failures -> change one component -> rerun -> review regressions.| Bước | Bằng chứng cần thiết |
|---|---|
| Xác định mục tiêu | Kết quả của người dùng, tiêu chí chất lượng, rủi ro, độ trễ và giới hạn chi phí. |
| Thiết lập giá trị cơ bản | Lời nhắc phiên bản, mô hình, cài đặt, tập dữ liệu và kết quả theo từng trường hợp. |
| Kiểm tra một thay đổi | Biến thể có kiểm soát, lặp lại nhiều lần khi cần thiết và nhãn lỗi |
| Phát hành hoặc từ chối. | Ngưỡng chấp nhận, đánh giá hồi quy, phê duyệt của con người và kế hoạch khôi phục. |
Một vài ví dụ có thể bỏ sót các lỗi phổ biến, các trường hợp đặc biệt, các biến thể và các lỗi. Sử dụng các trường hợp đại diện, các quy tắc đánh giá ổn định, xem xét từng trường hợp và kết quả theo lô trước khi đưa ra kết luận.
Không. Chọn các chỉ số phản ánh nhiệm vụ, bao gồm các sự kiện cần thiết, tính chính xác, tính hợp lệ của định dạng, bảo mật, độ ổn định, độ trễ, mức sử dụng token, chi phí và nỗ lực sửa lỗi của con người.
Để chẩn đoán nguyên nhân, hãy thay đổi một yếu tố chính tại một thời điểm. Các so sánh ứng viên rộng hơn có thể thay đổi nhiều thành phần, nhưng chúng cho biết ứng viên nào tốt nhất chứ không phải thành phần nào gây ra sự khác biệt.
Hướng dẫn chính thức mô tả kỹ thuật thiết kế lời nhắc là một quy trình lặp đi lặp lại, dựa trên thử nghiệm với các mục tiêu được xác định rõ ràng và đánh giá có hệ thống.
Hướng dẫn chính thức về việc kiểm tra các biến thể lời nhắc được kiểm soát trên dữ liệu điển hình và so sánh các kết quả có thể đo lường được.
Bắt đầu với các hướng dẫn rõ ràng, ví dụ, các ràng buộc, lược đồ đầu ra và quy trình làm việc được phân tích.
Kết nối các thử nghiệm cụ thể cho mỗi câu lệnh với chất lượng hệ thống tổng thể, đánh giá của con người, các tiêu chuẩn và các chỉ số vận hành.
Kiểm tra các ứng cử viên phiên bản và chỉ quảng bá phiên bản sửa đổi không thể thay đổi đã được phê duyệt.
Bao gồm các trường hợp về tấn công bằng lời nhắc, quyền riêng tư, nội dung gây hại, tính công bằng và các trường hợp thử nghiệm đối thủ trong chiến lược kiểm tra.