Kỹ thuật AI tạo sinh

Thuật ngữ tinh chỉnh và căn chỉnh AI

Tìm hiểu về tinh chỉnh, huấn luyện trước liên tục, tinh chỉnh theo hướng dẫn, SFT, PEFT, LoRA, QLoRA, dữ liệu ưu tiên, RLHF, DPO, GRPO, đánh giá hồi quy, quyền dữ liệu, quyền riêng tư, phiên bản và khôi phục.

54 thuật ngữ

Tổng quan về tinh chỉnh.

Tinh chỉnh.

Fine-tuning

Ý nghĩa

Tiếp tục huấn luyện từ một mô hình đã được huấn luyện trước để điều chỉnh hành vi của nó cho một tác vụ, miền, định dạng hoặc sở thích hẹp hơn.

Khi dùng

Sử dụng khi chỉ sử dụng lời nhắc và truy xuất không thể cung cấp hành vi học được nhất quán.

Ví dụ

Tinh chỉnh mô hình cơ sở đã được phê duyệt trên các phản hồi hỗ trợ đã được xem xét, sau đó so sánh nó với mô hình cơ sở không thay đổi.

Tổng quan về tinh chỉnh.

Nhiệm vụ tiếp theo (Downstream task)

Downstream task

Ý nghĩa

Một tác vụ ứng dụng cụ thể được thực hiện bằng cách sử dụng một mô hình được huấn luyện trước chung.

Khi dùng

Xác định nó một cách chính xác trước khi thu thập dữ liệu tinh chỉnh và chọn các chỉ số.

Ví dụ

Nhiệm vụ tiếp theo: phân loại các yêu cầu hỗ trợ tiếng Hàn thành hệ thống phân loại định tuyến đã được phê duyệt.

Tổng quan về tinh chỉnh.

Thích ứng miền (Domain adaptation)

Domain adaptation

Ý nghĩa

Điều chỉnh một mô hình để phù hợp với ngôn ngữ, mẫu hoặc phân phối được tìm thấy trong một lĩnh vực hoặc môi trường cụ thể.

Khi dùng

Sử dụng khi miền mục tiêu khác biệt đáng kể so với phân phối đào tạo chung của mô hình.

Ví dụ

Điều chỉnh mô hình để phù hợp với các tài liệu bảo trì bán dẫn được phép và đánh giá trên các tài liệu hướng dẫn chưa được xem.

Tổng quan về tinh chỉnh.

Huấn luyện trước liên tục

Continued pre-training

Ý nghĩa

Huấn luyện thêm mô hình cơ sở trên dữ liệu miền bổ sung không được gắn nhãn hoặc tự giám sát trước khi tinh chỉnh theo tác vụ cụ thể.

Khi dùng

Sử dụng nó để thích ứng ngôn ngữ trong một phạm vi rộng khi một tập hợp nhỏ các ví dụ hướng dẫn là không đủ.

Ví dụ

Tiếp tục huấn luyện trước trên tập dữ liệu miền được cấp phép, sau đó chạy tinh chỉnh theo hướng dẫn có giám sát.

Tổng quan về tinh chỉnh.

Điều chỉnh hướng dẫn

Instruction tuning

Ý nghĩa

Tinh chỉnh theo các hướng dẫn và phản hồi mong muốn để mô hình có thể thực hiện các tác vụ ngôn ngữ tự nhiên đa dạng một cách đáng tin cậy hơn.

Khi dùng

Sử dụng các hướng dẫn đa dạng, đã được xem xét, phản ánh đối tượng người dùng mục tiêu, tác vụ, ngôn ngữ và giới hạn an toàn.

Ví dụ

Huấn luyện trên các ví dụ về hướng dẫn và phản hồi bao gồm tóm tắt, trích xuất, từ chối và làm rõ.

Tổng quan về tinh chỉnh.

Sau khi huấn luyện

Post-training

Ý nghĩa

Huấn luyện được thực hiện sau quá trình huấn luyện sơ bộ để cải thiện khả năng tuân theo hướng dẫn, sở thích, tính an toàn hoặc hành vi triển khai.

Khi dùng

Sử dụng nó như một thuật ngữ chung cho tinh chỉnh có giám sát, tối ưu hóa sở thích, mô hình phần thưởng và các công việc liên quan đến căn chỉnh.

Ví dụ

Ghi lại từng giai đoạn sau khi huấn luyện, dữ liệu, mục tiêu, điểm kiểm tra và cổng đánh giá của nó.

Tổng quan về tinh chỉnh.

Tinh chỉnh có giám sát (SFT)

Supervised fine-tuning (SFT)

Ý nghĩa

Tinh chỉnh học từ các đầu vào kết hợp với các phản hồi mục tiêu hoặc nhãn đã được xem xét.

Khi dùng

Sử dụng nó để dạy định dạng phản hồi, quy trình tác vụ, tông giọng và các ví dụ về hành vi mong muốn.

Ví dụ

Ví dụ SFT: yêu cầu của người dùng, phản hồi của trợ lý đã được phê duyệt, siêu dữ liệu và bản ghi quyền truy cập dữ liệu.

Tổng quan về tinh chỉnh.

Căn chỉnh mô hình

Model alignment

Ý nghĩa

Nỗ lực để khiến hành vi của mô hình tuân theo chặt chẽ hơn các ý định, chính sách, sở thích và yêu cầu an toàn của con người.

Khi dùng

Sử dụng nó như mục tiêu tổng quát đằng sau tinh chỉnh theo hướng dẫn, tối ưu hóa sở thích, đào tạo an toàn và đánh giá hành vi.

Ví dụ

Xác định các mục tiêu căn chỉnh, các hành vi không chấp nhận được, các trường hợp đánh giá và các cổng phê duyệt của con người.

Tổng quan về tinh chỉnh.

Thích ứng hành vi

Behavior adaptation

Ý nghĩa

Thay đổi cách một mô hình phản hồi, định dạng đầu ra, tuân theo quy trình hoặc xử lý sự không chắc chắn mà không giả định rằng nó có được kiến thức thực tế hiện tại.

Khi dùng

Sử dụng khi thay đổi mong muốn liên quan đến các mẫu phản hồi ổn định hơn là thông tin thay đổi thường xuyên.

Ví dụ

Điều chỉnh mô hình để yêu cầu làm rõ khi thiếu bằng chứng tài khoản cần thiết.

Các phương pháp và bộ điều hợp

Tinh chỉnh toàn bộ

Full fine-tuning

Ý nghĩa

Tinh chỉnh cập nhật tất cả hoặc hầu hết các tham số của mô hình cơ sở.

Khi dùng

Chỉ sử dụng khi lợi ích dự kiến đủ lớn để bù đắp chi phí đáng kể về bộ nhớ, tính toán, lưu trữ và đánh giá.

Ví dụ

So sánh tinh chỉnh toàn bộ với một giá trị cơ sở PEFT theo cùng một tập dữ liệu và tập dữ liệu đánh giá.

Các phương pháp và bộ điều hợp

Tinh chỉnh hiệu quả theo tham số (PEFT)

Parameter-efficient fine-tuning (PEFT)

Ý nghĩa

Một họ các phương pháp điều chỉnh mô hình trong khi đào tạo một phần nhỏ các tham số.

Khi dùng

Sử dụng nó để giảm dung lượng bộ nhớ huấn luyện, dung lượng lưu trữ và kích thước điểm kiểm tra cho mỗi tác vụ.

Ví dụ

Huấn luyện một bộ điều chỉnh PEFT riêng cho mỗi miền đã được phê duyệt trong khi giữ nguyên trọng số cơ sở.

Các phương pháp và bộ điều hợp

Bộ chuyển đổi (Adapter)

Adapter

Ý nghĩa

Một tập hợp nhỏ các tham số bổ sung hoặc đã sửa đổi được gắn vào một mô hình cơ sở để thích ứng cụ thể.

Khi dùng

Sử dụng bộ điều hợp để tách các thay đổi cụ thể của tác vụ khỏi các trọng số cơ sở chung.

Ví dụ

Chỉ tải bộ điều chỉnh tài chính cho các quy trình tài chính được ủy quyền.

Các phương pháp và bộ điều hợp

Bộ điều chỉnh có hạng thấp (LoRA)

Low-rank adaptation (LoRA)

Ý nghĩa

Một phương pháp PEFT học các ma trận cập nhật hạng thấp cho các mô-đun mô hình được chọn trong khi giữ nguyên trọng số cơ sở.

Khi dùng

Sử dụng khi các trạng thái có thể đào tạo nhỏ hơn và các bộ điều chỉnh có thể tái sử dụng phù hợp với thiết kế triển khai.

Ví dụ

Áp dụng LoRA cho các phép chiếu chú ý đã chọn và ghi lại thứ hạng, alpha, dropout và các mô-đun mục tiêu.

Các phương pháp và bộ điều hợp

QLoRA

Ý nghĩa

Một phương pháp tinh chỉnh đào tạo các bộ điều chỉnh LoRA trong khi mô hình gốc được tải ở dạng lượng tử hóa.

Khi dùng

Sử dụng nó để giảm dung lượng bộ nhớ của mô hình cơ sở đồng thời xác minh tính ổn định và chất lượng số so với một giá trị tham chiếu phù hợp.

Ví dụ

Tải mô hình gốc đã được phê duyệt ở định dạng lượng tử hóa được hỗ trợ và chỉ huấn luyện bộ điều chỉnh LoRA.

Các phương pháp và bộ điều hợp

Định lượng.

Quantization

Ý nghĩa

Biểu diễn các giá trị mô hình bằng các định dạng có độ chính xác thấp hơn để giảm yêu cầu về bộ nhớ, lưu trữ hoặc tính toán.

Khi dùng

Sử dụng khi phương pháp và phần cứng được hỗ trợ có thể bảo toàn chất lượng và hành vi số chấp nhận được.

Ví dụ

Đánh giá mô hình cơ sở đã được lượng tử hóa trước khi sử dụng QLoRA và ghi lại định dạng, độ rộng bit, thư viện và kiểu dữ liệu tính toán.

Các phương pháp và bộ điều hợp

LoRA rank

Ý nghĩa

Số chiều của các ma trận cập nhật bậc thấp được sử dụng bởi bộ điều hợp LoRA.

Khi dùng

Điều chỉnh nó như một sự đánh đổi giữa khả năng và tài nguyên, thay vì giả định rằng thứ hạng lớn hơn luôn tốt hơn.

Ví dụ

So sánh rank 8 và rank 16 với cùng một seed, dữ liệu, số bước và bộ đánh giá.

Các phương pháp và bộ điều hợp

LoRA alpha

Ý nghĩa

Một cấu hình tỷ lệ ảnh hưởng đến đóng góp của các bản cập nhật LoRA đã học.

Khi dùng

Ghi lại thông tin này cùng với thứ hạng và chi tiết triển khai vì cách diễn giải có thể phụ thuộc vào thư viện.

Ví dụ

Lưu trữ xếp hạng, alpha, dropout, các mô-đun mục tiêu và phiên bản thư viện trong tệp kê khai bộ điều chỉnh (adapter manifest).

Các phương pháp và bộ điều hợp

Các mô-đun mục tiêu

Target modules

Ý nghĩa

Các lớp hoặc phép chiếu mô hình được chọn để nhận các bản cập nhật bộ điều hợp.

Khi dùng

Chọn chúng theo kiến trúc mô hình, hỗ trợ phương pháp và chất lượng đã đo.

Ví dụ

Nhắm mục tiêu đến các phép chiếu giá trị và truy vấn được hỗ trợ, sau đó xác minh số lượng tham số có thể huấn luyện.

Các phương pháp và bộ điều hợp

Các tham số có thể huấn luyện

Trainable parameters

Ý nghĩa

Tập hợp con các tham số mô hình mà quá trình tối ưu hóa được phép cập nhật.

Khi dùng

Báo cáo cả số lượng và tỷ lệ phần trăm để có thể so sánh các lần chạy đầy đủ và hiệu quả về tham số.

Ví dụ

Ghi lại các tham số có thể huấn luyện, tổng số tham số, tỷ lệ phần trăm và kích thước điểm kiểm tra của bộ điều chỉnh.

Các phương pháp và bộ điều hợp

Hợp nhất bộ chuyển đổi

Adapter merge

Ý nghĩa

Kết hợp các bản cập nhật adapter đã học vào trọng số cơ sở hoặc một biểu diễn adapter khác để triển khai.

Khi dùng

Sử dụng nó chỉ sau khi kiểm tra khả năng tương thích, giấy phép, độ chính xác, chất lượng và khả năng khôi phục.

Ví dụ

Đánh giá thành phẩm đã hợp nhất so với cấu hình cơ sở cộng bộ điều chỉnh trước khi phát hành.

Định dạng huấn luyện

Cặp lời nhắc-hoàn thành

Prompt-completion pair

Ý nghĩa

Một ví dụ huấn luyện chứa một lời nhắc đầu vào và phần hoàn thành mong muốn.

Khi dùng

Sử dụng lược đồ nhất quán và đảm bảo các kết quả hoàn thành thể hiện chính xác hành vi mục tiêu.

Ví dụ

{"prompt":"Classify the request","completion":"billing_refund"}

Định dạng huấn luyện

Cặp hướng dẫn-phản hồi

Instruction-response pair

Ý nghĩa

Một ví dụ được gắn nhãn, kết hợp một hướng dẫn hoặc cuộc trò chuyện bằng ngôn ngữ tự nhiên với phản hồi được đánh giá mà mô hình nên học cách tạo ra.

Khi dùng

Sử dụng nó cho SFT và giữ lại nguồn, quyền, đánh giá và siêu dữ liệu chất lượng cùng với mỗi ví dụ.

Ví dụ

{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}

Định dạng huấn luyện

Mẫu trò chuyện.

Chat template

Ý nghĩa

Một quy tắc định dạng chuyển đổi các tin nhắn hệ thống, người dùng, trợ lý và công cụ thành chuỗi token mà mô hình trò chuyện mong đợi.

Khi dùng

Sử dụng bộ phân tích cú pháp (tokenizer) và mẫu (template) tương thích với mô hình cơ sở đã chọn trong quá trình huấn luyện và suy luận.

Ví dụ

Hiển thị cùng một mẫu trò chuyện đã được phê duyệt trong quá trình tiền xử lý tập dữ liệu và suy luận trong quá trình sản xuất.

Định dạng huấn luyện

Vai trò của hệ thống, người dùng và trợ lý

System, user, and assistant roles

Ý nghĩa

Message-role labels that distinguish durable instructions, user inputs, and model responses in conversational training data. (Các nhãn vai trò tin nhắn phân biệt các hướng dẫn bền vững, đầu vào của người dùng và phản hồi của mô hình trong dữ liệu huấn luyện hội thoại.)

Khi dùng

Chỉ sử dụng các vai trò và thứ tự được hỗ trợ bởi mẫu trò chuyện của mô hình đã chọn.

Ví dụ

Hệ thống: chính sách và vai trò; người dùng: yêu cầu; trợ lý: phản hồi mục tiêu đã được xem xét.

Định dạng huấn luyện

Che giấu phản hồi

Response masking

Ý nghĩa

Loại trừ các token đầu vào được chọn khỏi tính toán độ mất mát để huấn luyện tập trung vào các token phản hồi dự định.

Khi dùng

Sử dụng khi mục tiêu là học các đầu ra của trợ lý mà không coi mỗi token lời nhắc là một mục tiêu.

Ví dụ

Ẩn các token hệ thống và token người dùng khỏi việc bị mất và xác minh các ranh giới của trợ lý sau khi mã hóa token.

Định dạng huấn luyện

Nén chuỗi

Sequence packing

Ý nghĩa

Kết hợp nhiều ví dụ ngắn thành các chuỗi huấn luyện dài hơn để giảm padding và cải thiện hiệu quả sử dụng.

Khi dùng

Chỉ sử dụng khi các ranh giới ví dụ, hành vi chú ý, nhãn và ký hiệu kết thúc vẫn chính xác.

Ví dụ

Đóng gói các đoạn hội thoại ngắn gọn trong giới hạn ngữ cảnh và kiểm tra xem một ví dụ có thể bị rò rỉ vào ví dụ tiếp theo hay không.

Định dạng huấn luyện

Độ dài ngữ cảnh tinh chỉnh.

Fine-tuning context length

Ý nghĩa

Độ dài token tối đa được sử dụng cho mỗi chuỗi huấn luyện sau khi định dạng và mã hóa token.

Khi dùng

Đặt giá trị này theo mô hình cơ sở, tác vụ mục tiêu, ngân sách bộ nhớ, rủi ro cắt xén và mẫu yêu cầu sản xuất.

Ví dụ

Đo phân phối độ dài token và chọn một giới hạn bảo toàn nội dung quan trọng mà không có quá nhiều khoảng trống.

Định dạng huấn luyện

Tập dữ liệu sở thích

Preference dataset

Ý nghĩa

Một tập dữ liệu ghi lại các đánh giá so sánh hoặc phần thưởng cho các kết quả đầu ra khác nhau của mô hình.

Khi dùng

Sử dụng nó để mô hình hóa phần thưởng hoặc tối ưu hóa sở thích với các quy tắc gắn nhãn được ghi lại và kiểm tra chất lượng của người đánh giá.

Ví dụ

Lưu trữ lời nhắc, các phản hồi tiềm năng, kết quả ưu tiên, chính sách giải thích, nhóm người đánh giá và trạng thái đồng ý.

Định dạng huấn luyện

Cặp phản hồi đã chọn và bị từ chối

Chosen and rejected response pair

Ý nghĩa

Hai phản hồi ứng viên được gắn nhãn để chỉ ra phản hồi nào đáp ứng tốt hơn các tiêu chí ưu tiên được xác định.

Khi dùng

Sử dụng các cặp khác nhau một cách có ý nghĩa và áp dụng một tiêu chí đánh giá nhất quán thay vì chỉ dựa vào sở thích cá nhân.

Ví dụ

Được chọn: Trích dẫn chính sách được cung cấp và nêu sự không chắc chắn. Bị từ chối: Tạo ra một thời hạn không được hỗ trợ.

Căn chỉnh sở thích

Phản hồi của con người

Human feedback

Ý nghĩa

Các đánh giá, nhãn, ví dụ hoặc sửa lỗi có cấu trúc do con người cung cấp để hướng dẫn hành vi của mô hình.

Khi dùng

Xác định trình độ của người đánh giá, hướng dẫn, cách xử lý sự bất đồng, quyền riêng tư, bồi thường và đảm bảo chất lượng.

Ví dụ

Sử dụng các người đánh giá đã được hiệu chỉnh và giải quyết các sự khác biệt quan trọng trước khi huấn luyện.

Căn chỉnh sở thích

Học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback - RLHF).

Reinforcement learning from human feedback (RLHF)

Ý nghĩa

Một họ các phương pháp tiếp cận sau đào tạo sử dụng tín hiệu ưu tiên của con người và các kỹ thuật học tăng cường để định hình hành vi của mô hình.

Khi dùng

Chỉ sử dụng với thiết kế phần thưởng rõ ràng, cấu hình huấn luyện ổn định, đánh giá an toàn và quản trị dữ liệu chặt chẽ.

Ví dụ

Huấn luyện và xác thực tín hiệu phần thưởng, tối ưu hóa chính sách một cách thận trọng và so sánh với đường cơ sở SFT.

Căn chỉnh sở thích

Mô hình phần thưởng.

Reward model

Ý nghĩa

Một mô hình đánh giá các đầu ra ứng viên dựa trên các tín hiệu ưu tiên hoặc chất lượng đã học.

Khi dùng

Sử dụng khi quy trình đào tạo hoặc lựa chọn cần một ước tính có thể mở rộng dựa trên các sở thích đã được ghi lại.

Ví dụ

Đánh giá độ chính xác, khả năng hiệu chỉnh, hành vi của nhóm con và khả năng bị khai thác của mô hình phần thưởng trong các so sánh được giữ lại.

Căn chỉnh sở thích

Tối ưu hóa sở thích

Preference optimization

Ý nghĩa

Huấn luyện lại sau khi huấn luyện bằng cách sử dụng các sở thích so sánh, phần thưởng hoặc các tín hiệu phản hồi liên quan để cập nhật hành vi của mô hình.

Khi dùng

Sử dụng nó như một danh mục rộng bao gồm các phương pháp học tăng cường và học tăng cường.

Ví dụ

Xác định tiêu chuẩn đánh giá, hành vi tham khảo, phương pháp tối ưu hóa và đánh giá lưu giữ.

Căn chỉnh sở thích

Học tăng cường từ phản hồi của AI (Reinforcement Learning from AI Feedback - RLAIF).

Reinforcement learning from AI feedback (RLAIF)

Ý nghĩa

Một họ các phương pháp học tăng cường sử dụng phản hồi do hệ thống AI tạo ra hoặc hỗ trợ thay vì chỉ dựa vào các đánh giá trực tiếp của con người.

Khi dùng

Chỉ sử dụng với các tiêu chí phản hồi đã được xác minh, giám sát của con người, kiểm tra thiên vị và các biện pháp bảo vệ chống lại các lỗi tự củng cố.

Ví dụ

Hiệu chỉnh phản hồi của AI so với một tập hợp các đánh giá của chuyên gia trước khi tối ưu hóa chính sách.

Căn chỉnh sở thích

Tinh chỉnh bằng học tăng cường.

Reinforcement fine-tuning

Ý nghĩa

Tinh chỉnh tối ưu hóa hành vi của mô hình từ các tín hiệu phần thưởng do các công cụ đánh giá, môi trường, quy tắc hoặc mô hình phản hồi tạo ra.

Khi dùng

Sử dụng khi kết quả có thể được đánh giá một cách đáng tin cậy và hệ thống đào tạo có thể theo dõi việc "hack" phần thưởng, tính ổn định và khả năng duy trì.

Ví dụ

Chấm điểm kết quả nhiệm vụ có thể xác minh được, tối ưu hóa một cách thận trọng và so sánh với các giá trị cơ sở không thay đổi và SFT.

Căn chỉnh sở thích

Tối ưu hóa ưu tiên trực tiếp (DPO)

Direct preference optimization (DPO)

Ý nghĩa

Một phương pháp huấn luyện dựa trên ưu tiên sử dụng trực tiếp các phản hồi đã chọn và bị từ chối để cập nhật một chính sách liên quan đến một hành vi tham chiếu.

Khi dùng

Sử dụng khi có sẵn các cặp sở thích phù hợp và một triển khai đào tạo tương thích.

Ví dụ

Huấn luyện DPO từ điểm kiểm tra SFT đã được phê duyệt và so sánh độ hữu ích, tính an toàn và khả năng bảo toàn.

Căn chỉnh sở thích

Tối ưu hóa chính sách gần đúng (PPO).

Proximal policy optimization (PPO)

Ý nghĩa

Một thuật toán tối ưu hóa chính sách giới hạn kích thước của các bản cập nhật đồng thời tối ưu hóa một tín hiệu phần thưởng.

Khi dùng

Sử dụng nó trong các quy trình học tăng cường có thể hỗ trợ giám sát phần thưởng, giá trị, triển khai và ổn định.

Ví dụ

Theo dõi phần thưởng, độ lệch so với mô hình tham chiếu, độ dài phản hồi và các chỉ số an toàn trong quá trình PPO.

Căn chỉnh sở thích

Tối ưu hóa chính sách nhóm tương đối (GRPO)

Group relative policy optimization (GRPO)

Ý nghĩa

Một phương pháp học tăng cường so sánh phần thưởng giữa nhiều đầu ra được lấy mẫu cho cùng một lời nhắc để ước tính lợi thế tương đối.

Khi dùng

Chỉ sử dụng khi lấy mẫu theo nhóm, chất lượng phần thưởng, tính ổn định của quá trình huấn luyện và chi phí tính toán phù hợp với nhiệm vụ.

Ví dụ

Lấy một số giải pháp cho mỗi bài toán, chấm điểm chúng bằng các kiểm tra đã xác minh và tối ưu hóa dựa trên phần thưởng tương đối theo nhóm.

Đánh giá và hồi quy

Mất mát xác thực khi tinh chỉnh.

Fine-tuning validation loss

Ý nghĩa

Hàm mất mát được đo trên các ví dụ tinh chỉnh (fine-tuning) không được sử dụng để cập nhật mô hình.

Khi dùng

Sử dụng nó với các chỉ số về nhiệm vụ, an toàn và hành vi vì việc giảm thiểu lỗi không chứng minh được hành vi sản xuất tốt hơn.

Ví dụ

Chọn các điểm kiểm tra ứng viên bằng cách sử dụng tổn thất xác thực và bộ đánh giá theo phong cách sản xuất cố định.

Đánh giá và hồi quy

Đánh giá kiểm tra

Holdout evaluation

Ý nghĩa

Đánh giá trên các ví dụ được loại trừ một cách có chủ ý khỏi quá trình huấn luyện và phản hồi lựa chọn mô hình.

Khi dùng

Sử dụng nó để ước tính hiệu suất ít thiên vị hơn trên các trường hợp chưa thấy và bảo vệ tập dữ liệu khỏi việc tinh chỉnh lặp đi lặp lại.

Ví dụ

Chạy bộ kiểm tra độc lập chỉ sau khi chọn điểm kiểm tra ứng viên.

Đánh giá và hồi quy

Lựa chọn điểm kiểm tra

Checkpoint selection

Ý nghĩa

Chọn trạng thái huấn luyện đã lưu nào cần được cập nhật dựa trên các tiêu chí chất lượng, an toàn, chi phí và lỗi đã được xác định trước.

Khi dùng

Sử dụng bộ đánh giá cố định và tránh chọn chỉ dựa trên hàm mất mát trong quá trình huấn luyện.

Ví dụ

Quảng bá điểm kiểm tra vượt qua các bài kiểm tra về tác vụ, an toàn, đa ngôn ngữ, độ trễ và khả năng ghi nhớ.

Đánh giá và hồi quy

So sánh mô hình cơ sở

Base-model comparison

Ý nghĩa

Một đánh giá được kiểm soát so sánh mô hình đã được tinh chỉnh với mô hình gốc không thay đổi.

Khi dùng

Sử dụng các lời nhắc, truy xuất, giải mã và tập dữ liệu giống nhau để quy kết các thay đổi cho việc tinh chỉnh.

Ví dụ

Báo cáo số lượng thắng, hòa, lỗi, độ trễ và chi phí cho các ứng viên cơ sở và các ứng viên đã được điều chỉnh.

Đánh giá và hồi quy

Quên thảm họa

Catastrophic forgetting

Ý nghĩa

Sự mất mát khả năng đã học trước đó sau khi huấn luyện mạnh mẽ trên dữ liệu hoặc mục tiêu mới.

Khi dùng

Kiểm tra các khả năng chung, ngôn ngữ, hành vi an toàn và các tác vụ ngoài miền sau khi tinh chỉnh.

Ví dụ

Chạy bộ kiểm tra khả năng cơ bản trước và sau khi tinh chỉnh, và ngăn chặn các lỗi nghiêm trọng.

Đánh giá và hồi quy

Hồi quy khả năng

Capability regression

Ý nghĩa

Sự suy giảm có thể đo lường được trong khả năng của một mô hình hiện có sau khi tinh chỉnh hoặc thay đổi triển khai.

Khi dùng

Xác định ngưỡng lỗi cho các tác vụ quan trọng trước khi đào tạo và phát hành.

Ví dụ

Bỏ qua việc phát hành nếu độ chính xác của việc trích xuất đa ngôn ngữ giảm xuống dưới ngưỡng được phê duyệt.

Đánh giá và hồi quy

Lỗi hồi quy về độ an toàn

Safety regression

Ý nghĩa

Sự suy giảm trong hành vi từ chối, quyền riêng tư, công bằng hoặc nội dung gây hại sau khi điều chỉnh.

Khi dùng

Chạy đánh giá đối nghịch và đánh giá chính sách có mục tiêu cho mọi điểm kiểm tra ứng viên.

Ví dụ

So sánh các trường hợp jailbreak, tiết lộ thông tin cá nhân (PII), thiên kiến và tỷ lệ hoàn thành không an toàn với giá trị cơ sở được phê duyệt.

Đánh giá và hồi quy

Lưu trữ dữ liệu huấn luyện

Training-data memorization

Ý nghĩa

Khả năng ghi nhớ và tái tạo có thể có của một mô hình về các ví dụ huấn luyện cụ thể, vượt quá khả năng khái quát hóa mong muốn.

Khi dùng

Kiểm tra khả năng tái tạo các cụm từ bất thường, bí mật, dữ liệu cá nhân và các kết quả gần như giống hệt nhau trước khi phát hành.

Ví dụ

Kiểm tra các tiền tố chưa được xem và chặn việc phát hành nếu mô hình tạo ra các phần tiếp theo nhạy cảm.

Đánh giá và hồi quy

So sánh tinh chỉnh với RAG (Retrieval-Augmented Generation).

Fine-tuning versus RAG

Ý nghĩa

Một quyết định thiết kế giữa việc thay đổi hành vi của mô hình thông qua đào tạo và cung cấp kiến thức bên ngoài tại thời điểm yêu cầu.

Khi dùng

Ưu tiên truy xuất cho các sự kiện hoặc thông tin thay đổi thường xuyên và tinh chỉnh cho hành vi, định dạng hoặc mẫu tác vụ ổn định, sau đó đánh giá một phương pháp kết hợp nếu cần.

Lưu ý

Tinh chỉnh không tự động cập nhật các thông tin thay đổi thường xuyên hoặc cung cấp trích dẫn nguồn.

Ví dụ

Sử dụng RAG cho các chính sách hiện tại và SFT cho cấu trúc phản hồi đã được phê duyệt.

Quyền và hoạt động.

Quyền dữ liệu tinh chỉnh.

Fine-tuning data rights

Ý nghĩa

Các giấy phép, quyền, điều khoản hợp đồng và các quyền khác cần thiết để sử dụng dữ liệu để điều chỉnh mô hình.

Khi dùng

Xác minh quyền ở nguồn và ở mức ví dụ và giữ lại nguồn gốc, hạn chế và quy trình loại bỏ.

Lưu ý

Việc có sẵn trực tuyến, quyền truy cập API hoặc tệp không tự động cấp quyền tinh chỉnh.

Ví dụ

Ghi lại nguồn, chủ sở hữu quyền, giấy phép hoặc quyền, mục đích sử dụng đào tạo được phép, khu vực, thời hạn và thông tin liên hệ để xóa.

Quyền và hoạt động.

Dữ liệu cá nhân trong quá trình tinh chỉnh

Personal data in fine-tuning

Ý nghĩa

Thông tin trong dữ liệu thích ứng có thể xác định hoặc liên kết với một cá nhân.

Khi dùng

Giảm thiểu, ẩn thông tin, xin phép, hạn chế quyền truy cập và xác định chính sách lưu giữ và xóa trước khi huấn luyện.

Ví dụ

Thay thế tên và định danh tài khoản bằng các ký hiệu giữ chỗ được kiểm soát và xác minh tập dữ liệu đã được chuyển đổi.

Quyền và hoạt động.

Bảng đăng ký mô hình

Model registry

Ý nghĩa

Một danh mục được kiểm soát chứa siêu dữ liệu về mô hình, bộ điều chỉnh, điểm kiểm tra, đánh giá, phê duyệt và triển khai.

Khi dùng

Sử dụng nó để theo dõi thành phần nào đã được phê duyệt, triển khai, ngừng sử dụng hoặc đủ điều kiện để hoàn tác.

Ví dụ

Đăng ký bản tóm tắt mô hình, phiên bản cơ sở, bộ điều chỉnh (adapter), tập dữ liệu, đánh giá, chủ sở hữu, phê duyệt và giai đoạn triển khai.

Quyền và hoạt động.

Triển khai bộ chuyển đổi

Adapter serving

Ý nghĩa

Sử dụng một mô hình cơ sở với các bộ điều chỉnh chuyên dụng cho tác vụ hoặc miền có thể chọn được trong thời gian suy luận.

Khi dùng

Sử dụng khi thời gian chạy có thể cô lập các bộ điều chỉnh, ủy quyền lựa chọn, quản lý bộ nhớ và bảo toàn khả năng tương thích phiên bản.

Ví dụ

Định tuyến các yêu cầu tài chính đã được phê duyệt đến bộ điều chỉnh tài chính và ghi lại phiên bản chính xác của nền tảng cộng với phiên bản bộ điều chỉnh.

Quyền và hoạt động.

Chính sách dữ liệu của nhà cung cấp tinh chỉnh.

Fine-tuning provider data policy

Ý nghĩa

Các điều khoản và kiểm soát của nhà cung cấp dịch vụ đối với dữ liệu huấn luyện được tải lên, thời gian lưu trữ, xóa, quyền truy cập mô hình, xử lý địa lý và sử dụng thứ cấp.

Khi dùng

Đánh giá hợp đồng và tài liệu sản phẩm hiện tại trước khi tải lên bất kỳ tập dữ liệu nào và ghi lại cấu hình đã được phê duyệt.

Lưu ý

Chính sách của nhà cung cấp có thể thay đổi; hãy kiểm tra lại chúng trước mỗi chương trình đào tạo và không bao giờ giả định rằng quyền truy cập API cấp quyền sử dụng dữ liệu.

Ví dụ

Xác minh thời gian lưu giữ, quy trình xóa, cài đặt sử dụng huấn luyện, vai trò truy cập, khu vực, mã hóa và quy trình xử lý sự cố.

Quyền và hoạt động.

Phiên bản mô hình đã được tinh chỉnh.

Fine-tuned model versioning

Ý nghĩa

Theo dõi mô hình cơ sở, bộ điều chỉnh hoặc điểm kiểm tra chính xác, dữ liệu, mã và cấu hình đã tạo ra một mô hình được tinh chỉnh.

Khi dùng

Sử dụng các định danh không thể thay đổi để các đánh giá, sự cố, khôi phục và kiểm toán tham chiếu đến cùng một đối tượng.

Ví dụ

Version = base model digest + adapter digest + dataset hash + code commit + training config.

Quyền và hoạt động.

Hoàn tác tinh chỉnh.

Fine-tuning rollback

Ý nghĩa

Khôi phục lưu lượng truy cập về mô hình hoặc bộ điều chỉnh đã được phê duyệt trước đó sau khi phát hiện sự cố.

Khi dùng

Chuẩn bị nó trước khi phát hành với việc lưu trữ dữ liệu, kiểm tra khả năng tương thích, kiểm soát định tuyến và quyền quyết định.

Ví dụ

Giữ kết hợp base-plus-adapter đã được phê duyệt cuối cùng có thể triển khai và thực hành quy trình khôi phục.

Chọn gợi ý, RAG hoặc tinh chỉnh

Bắt đầu với phương pháp đơn giản nhất đáp ứng đáng tin cậy yêu cầu, sau đó đánh giá các kết hợp khi cần thiết.

Bạn cần gì	Cách tiếp cận cần xem xét trước
Cải thiện định dạng hoặc giọng điệu của phản hồi.	Thiết kế lời nhắc hoặc SFT (Fine-tuning)
Trả lời từ các tài liệu hiện tại hoặc riêng tư.	RAG với truy xuất dựa trên nguồn.
Tìm hiểu về hành vi của các tác vụ có thể lặp lại.	Tinh chỉnh với các ví dụ điển hình.
Thích ứng với ngôn ngữ và các mẫu chung của ngành.	Huấn luyện trước liên tục hoặc tinh chỉnh miền
Học hỏi từ các phản hồi được ưu tiên và bị từ chối.	DPO hoặc một phương pháp tối ưu hóa sở thích đã được xác thực khác

So sánh SFT, DPO và GRPO

Các phương pháp yêu cầu dữ liệu khác nhau và tối ưu hóa các tín hiệu khác nhau; chúng không phải là các nhãn có thể thay thế cho việc tinh chỉnh.

Phương pháp	Dữ liệu và mục tiêu điển hình
SFT	Ví dụ hướng dẫn-phản hồi hoặc các ví dụ được gắn nhãn; học cách tái tạo hành vi mục tiêu đã được xem xét.
DPO	Các cặp phản hồi đã chọn/bị từ chối; trực tiếp tăng cường sự ưu tiên tương đối so với hành vi tham chiếu.
GRPO	Nhiều kết quả đầu ra được lấy mẫu và phần thưởng đã được xác minh; tối ưu hóa từ lợi thế tương đối theo nhóm.

Câu hỏi thường gặp

Sự khác biệt giữa huấn luyện trước và tinh chỉnh là gì?

Huấn luyện trước dạy các mẫu tổng quát ở quy mô lớn và tạo ra một mô hình gốc. Tinh chỉnh tiếp tục từ mô hình đó với dữ liệu hẹp hơn và các mục tiêu để thích ứng với một tác vụ, định dạng, miền, sở thích hoặc hành vi an toàn.

Có nên thêm kiến thức hiện tại bằng RAG hay tinh chỉnh không?

Kiến thức thay đổi thường xuyên hoặc phụ thuộc vào nguồn thường phù hợp với RAG vì tài liệu có thể được cập nhật và trích dẫn tại thời điểm yêu cầu. Tinh chỉnh thường phù hợp hơn với hành vi, định dạng hoặc mẫu tác vụ ổn định. Một số hệ thống kết hợp cả hai.

Sự khác biệt giữa LoRA và QLoRA là gì?

LoRA huấn luyện các bản cập nhật có hạng thấp trong khi giữ nguyên các trọng số gốc. QLoRA cũng tải mô hình gốc ở định dạng lượng tử hóa được hỗ trợ để giảm dung lượng bộ nhớ. Cần đánh giá chất lượng và khả năng tương thích cho từng cấu hình cụ thể.

Việc tinh chỉnh có tự động thêm các sự kiện và trích dẫn hiện tại không?

Không. Một mô hình đã được tinh chỉnh vẫn có thể trở nên lỗi thời và không tự động tiết lộ nguồn gốc của một tuyên bố được tạo ra. Sử dụng truy xuất hoặc một kết nối dữ liệu đã được xác minh khi tính mới và trích dẫn là quan trọng.

Nên sử dụng SFT, DPO hoặc GRPO khi nào?

Sử dụng SFT cho các phản hồi mục tiêu đã được xem xét, DPO cho các cặp ưu tiên so sánh và GRPO cho các tác vụ có phần thưởng đáng tin cậy trên nhiều kết quả đầu ra. Chỉ chọn sau khi xác nhận dữ liệu, mục tiêu, đánh giá, an toàn và yêu cầu tính toán.

Điều gì cần được kiểm tra trước khi tải dữ liệu tinh chỉnh lên cho nhà cung cấp?

Xác minh quyền tại nguồn và ở mức ví dụ và giữ lại nguồn gốc, hạn chế và quy trình loại bỏ.

Tài liệu tham khảo chính thức

Hugging Face Transformers — Fine-tuning
Hướng dẫn chính thức về việc tiếp tục đào tạo từ một mô hình đã được đào tạo trước với các tập dữ liệu, mã hóa token, đối số đào tạo, đánh giá và kiểm điểm.
Hugging Face PEFT — LoRA
Hướng dẫn khái niệm chính thức về cấu hình LoRA, thứ hạng, alpha, mô-đun mục tiêu và thích ứng hiệu quả về tham số.
Hugging Face TRL — Quickstart
Tổng quan và ví dụ chính thức về các phương pháp đào tạo sau, bao gồm SFT, mô hình phần thưởng, DPO và GRPO.

Thuật ngữ học và huấn luyện mô hình AI
Đánh giá trước tiên các tập dữ liệu, lô dữ liệu, số lượng vòng lặp, độ mất mát, tối ưu hóa, khả năng khái quát hóa, phần cứng và khả năng tái tạo.
Thuật ngữ thiết kế prompt AI
Kiểm tra xem các hướng dẫn, ví dụ, lược đồ hoặc chuỗi lời nhắc có thể giải quyết yêu cầu hay không trước khi huấn luyện.
Thuật ngữ RAG và tìm kiếm tài liệu
Sử dụng các khái niệm truy xuất khi các câu trả lời yêu cầu kiến thức hiện tại, riêng tư và dựa trên nguồn.
Thuật ngữ xác minh và đánh giá kết quả AI
Kết nối đánh giá mô hình đã được tinh chỉnh với các tập dữ liệu cố định, các tiêu chuẩn, đánh giá của con người, các bài kiểm tra hồi quy, độ trễ và chi phí.