Kỹ thuật AI tạo sinh
Hiểu các tập dữ liệu, tiêu chí, đánh giá dựa trên con người và mô hình, các bài kiểm tra hồi quy và các chỉ số hiệu quả để xác minh chất lượng AI.
12 thuật ngữ
Dữ liệu đánh giá
Ground truth
Một câu trả lời hoặc nhãn mục tiêu đáng tin cậy được sử dụng làm tham chiếu để so sánh.
Sử dụng nó cho các tác vụ mà đầu ra chính xác có thể được xác định một cách đáng tin cậy.
So sánh tổng hóa đơn đã trích xuất với các giá trị thực tế đã được xác minh bởi con người.Dữ liệu đánh giá
Evaluation dataset
Một tập hợp các trường hợp được lựa chọn cẩn thận để đo lường hành vi của mô hình hoặc ứng dụng.
Bao gồm các trường hợp bình thường, khó, đa ngôn ngữ và quan trọng về mặt an toàn từ việc sử dụng thực tế.
Tạo một tập dữ liệu đánh giá cố định gồm 200 câu hỏi hỗ trợ được ẩn danh.Dữ liệu đánh giá
Benchmark
Một tác vụ hoặc tập dữ liệu tiêu chuẩn được sử dụng để so sánh các hệ thống trong các điều kiện chung.
Sử dụng nó để so sánh theo hướng, sau đó xác thực với các trường hợp cụ thể của bạn.
So sánh các mô hình ứng cử viên trên một bộ dữ liệu chuẩn công khai và bộ dữ liệu đánh giá nội bộ.Tiêu chí
Metric
Một thước đo số học của một thuộc tính chất lượng, an toàn, tốc độ hoặc chi phí đã chọn.
Chọn các chỉ số ánh xạ trực tiếp đến các yêu cầu của người dùng và doanh nghiệp.
Theo dõi độ chính xác của câu trả lời, độ chính xác của trích dẫn, chất lượng từ chối, độ trễ và chi phí.Tiêu chí
Rubric
Một tập hợp các tiêu chí và mức đánh giá bằng văn bản được sử dụng để đánh giá một đầu ra.
Sử dụng khi chất lượng đòi hỏi sự đánh giá tinh tế hơn là so khớp chính xác.
Chấm điểm mức độ hỗ trợ thực tế từ 1 đến 5, với các yêu cầu về bằng chứng cho mỗi cấp độ.Các phương pháp
Pointwise evaluation
Chấm điểm một đầu ra độc lập dựa trên các tiêu chí hoặc một tham chiếu.
Sử dụng nó cho các kiểm tra đạt/không đạt hoặc các điểm chất lượng tuyệt đối.
Đánh giá câu trả lời này về tính chính xác và đầy đủ mà không xem các lựa chọn thay thế.Các phương pháp
Pairwise evaluation
So sánh hai đầu ra cho cùng một đầu vào và chọn đầu ra tốt hơn.
Sử dụng khi việc đánh giá sở thích tương đối dễ dàng hơn so với việc đánh giá điểm tuyệt đối.
Với các phản hồi A và B, hãy chọn phản hồi nào phù hợp hơn với bằng chứng nguồn.Các phương pháp
Human evaluation
Đánh giá được thực hiện bởi con người, thường sử dụng các hướng dẫn và các ví dụ được gắn nhãn.
Sử dụng các người đánh giá được đào tạo cho các đặc điểm chủ quan, có tác động lớn hoặc phụ thuộc vào ngữ cảnh.
Hai chuyên gia trong lĩnh vực xem xét tính chính xác của bản tóm tắt y tế và giải quyết các bất đồng.Các phương pháp
LLM-as-a-judge
Sử dụng mô hình ngôn ngữ để đánh giá, xếp hạng hoặc phê bình các kết quả của các mô hình khác.
Sử dụng nó để đánh giá quy mô lớn sau khi hiệu chỉnh dựa trên các đánh giá của con người.
Các mô hình đánh giá có thể bị sai lệch hoặc không nhất quán; hãy kiểm tra chúng bằng các trường hợp được gắn nhãn bởi con người để đảm bảo tính đại diện.
Yêu cầu mô hình đánh giá để chấm điểm mức độ hỗ trợ của trích dẫn bằng một tiêu chí cố định.Các hoạt động.
Pass rate
Tỷ lệ các trường hợp đánh giá đáp ứng ngưỡng chấp nhận được.
Sử dụng nó để theo dõi các điều kiện phát hành và các thay đổi về chất lượng theo thời gian.
Yêu cầu tỷ lệ vượt qua tối thiểu 95% cho các câu hỏi chính sách quan trọng trước khi phát hành.Các hoạt động.
Regression test
Một bài kiểm tra lặp lại kiểm tra xem một thay đổi có phá vỡ hành vi trước đây hoạt động hay không.
Chạy nó sau khi có thay đổi về mô hình, lời nhắc, truy xuất, công cụ hoặc chính sách.
Chạy lại bộ đánh giá đã sửa sau khi cập nhật hướng dẫn hệ thống.Các hoạt động.
Efficiency metrics
Các số liệu như độ trễ phản hồi, mức sử dụng token, thông lượng và chi phí tiền tệ.
Đánh giá chúng cùng với chất lượng để cải tiến vẫn khả thi ở quy mô lớn.
So sánh độ trễ p95 và chi phí trên mỗi tác vụ thành công, không chỉ chi phí trên mỗi yêu cầu.