Kỹ thuật AI tạo sinh
Tìm hiểu về các thuật ngữ về độ tin cậy, tấn công, quyền riêng tư, kiểm duyệt, công bằng, rào cản và kiểm thử đối kháng cần thiết cho hoạt động AI có trách nhiệm.
12 thuật ngữ
Độ tin cậy.
Hallucination (confabulation)
Một kết quả đầu ra nghe có vẻ hợp lý nhưng không được hỗ trợ bởi bằng chứng hiện có hoặc là không chính xác về mặt thực tế.
Xem xét nó như một rủi ro cần được quản lý thông qua việc kiểm chứng, xác minh và công khai cho người dùng.
Xác minh tên, ngày, số và trích dẫn so với các nguồn có uy tín trước khi xuất bản.Tấn công
Prompt injection
Một nỗ lực để thao tác một mô hình bằng các hướng dẫn mâu thuẫn với các quy tắc dự định của ứng dụng.
Tách nội dung không đáng tin cậy khỏi hướng dẫn và áp dụng các quyền bên ngoài mô hình.
Xem xét văn bản trang web là dữ liệu, không phải là quyền để gọi các công cụ.Tấn công
Indirect prompt injection
Các hướng dẫn độc hại ẩn trong nội dung bên ngoài mà hệ thống AI đọc hoặc truy xuất.
Bảo vệ các quy trình xử lý tài liệu, email, trang web và kết quả công cụ phục vụ cho các tác nhân.
Bỏ qua các hướng dẫn được nhúng trong các tài liệu đã thu thập và hiển thị chúng như nội dung không đáng tin cậy.Tấn công
Jailbreak
Một chiến lược lời nhắc nhằm bỏ qua các hạn chế an toàn của một mô hình hoặc ứng dụng.
Sử dụng các biện pháp bảo vệ nhiều lớp, giám sát, kiểm tra của nhóm đối lập và các công cụ cấp quyền tối thiểu.
Chặn các hành động nguy hiểm ở lớp ủy quyền công cụ ngay cả khi mô hình bị thao tác.Quyền riêng tư
Personally identifiable information (PII)
Thông tin trực tiếp hoặc gián tiếp xác định một người.
Phát hiện, giảm thiểu, xóa hoặc có được quyền hạn thích hợp trước khi xử lý nó bằng AI.
Thay thế tên khách hàng và số tài khoản bằng các ký hiệu giữ chỗ trong tập dữ liệu đánh giá.Quyền riêng tư
Data retention
Các quy tắc chi phối thời gian lưu trữ đầu vào, đầu ra, nhật ký và dữ liệu được tạo ra.
Xác định nó trước khi sử dụng trong môi trường sản xuất và điều chỉnh nó với mục đích, luật pháp, hợp đồng và nhu cầu xóa dữ liệu.
Xóa các lời nhắc thô sau 30 ngày đồng thời lưu giữ các chỉ số tổng hợp ẩn danh.Quyền riêng tư
Data residency
Vị trí địa lý nơi dữ liệu được lưu trữ hoặc xử lý.
Kiểm tra thông tin này khi các luật, hợp đồng hoặc chính sách của tổ chức hạn chế vị trí dữ liệu.
Chỉ định tuyến dữ liệu khách hàng theo khu vực đến các dịch vụ được phê duyệt trong khu vực đó.Điều khiển
Guardrail
Một biện pháp kiểm soát kỹ thuật hoặc quy trình hạn chế, kiểm tra hoặc điều chỉnh hành vi của AI.
Kết hợp kiểm tra đầu vào, xác thực đầu ra, quyền, giám sát và đánh giá của con người.
Xác thực SQL được tạo ra so với danh sách cho phép trước khi thực thi.Điều khiển
Content moderation
Phát hiện và xử lý nội dung vi phạm chính sách an toàn hoặc chính sách của nền tảng.
Áp dụng nó cho các đầu vào và đầu ra với các hành động phù hợp với mức độ rủi ro.
Đánh dấu nội dung có rủi ro cao để xem xét và cung cấp một lựa chọn thay thế an toàn khi thích hợp.Độ lệch và tính công bằng
Bias
Một xu hướng có hệ thống có thể tạo ra kết quả bị sai lệch hoặc không công bằng.
Đo nó trên các nhóm, ngôn ngữ, ngữ cảnh và chi phí lỗi liên quan.
So sánh tỷ lệ từ chối sai trên các ngôn ngữ được hỗ trợ.Độ lệch và tính công bằng
Fairness
Mục tiêu và tiêu chí được sử dụng để đánh giá xem các lợi ích, lỗi và điều trị có được phân phối hợp lý hay không.
Xác định nó cho trường hợp sử dụng cụ thể vì các thước đo công bằng khác nhau có thể xung đột.
Mô tả chỉ số đánh giá công bằng nào được áp dụng cho quy trình hỗ trợ tuyển dụng và lý do.Đảm bảo
AI red teaming
Kiểm tra đối nghịch có cấu trúc để tìm các lỗi gây hại, các đường dẫn lạm dụng và các biện pháp kiểm soát yếu.
Chạy nó trước khi khởi động và sau những thay đổi quan trọng, sử dụng các kịch bản đe dọa thực tế.
Kiểm tra tấn công prompt, rò rỉ dữ liệu, các hành động công cụ không an toàn và các nỗ lực vượt qua đa ngôn ngữ.