AI Engineering Tools

Kỹ thuật AI tạo sinh

Thuật ngữ học và huấn luyện mô hình AI

Hiểu về dữ liệu huấn luyện, mục tiêu, lô dữ liệu, số lượng vòng lặp, hàm mất mát, gradient, bộ tối ưu hóa, tốc độ học, xác thực, hiện tượng quá khớp, điểm kiểm tra, huấn luyện phân tán và khả năng tái tạo.

61 thuật ngữ

Nền tảng huấn luyện

Huấn luyện mô hình

Model training

Ý nghĩa

Quá trình điều chỉnh các tham số mô hình từ dữ liệu để mô hình có thể thực hiện một hành vi hoặc tác vụ cụ thể.

Khi dùng

Sử dụng thuật ngữ cho toàn bộ quy trình tối ưu hóa, bao gồm chuẩn bị dữ liệu, các lần đào tạo, xác thực và chọn điểm kiểm tra.

Ví dụ

Xác định mục tiêu đào tạo, tập dữ liệu được phê duyệt, kế hoạch xác thực, ngân sách tính toán và tiêu chí dừng trước khi chạy.

Nền tảng huấn luyện

Huấn luyện trước

Pre-training

Ý nghĩa

Huấn luyện quy mô lớn giúp mô hình học các mẫu tổng quát trước khi được điều chỉnh cho một tác vụ hoặc miền cụ thể hơn.

Khi dùng

Sử dụng khi phân biệt giữa việc tạo một mô hình cơ sở và việc tinh chỉnh hoặc căn chỉnh sau đó.

Ví dụ

Huấn luyện trước mô hình gốc trên một tập dữ liệu đa ngôn ngữ được ủy quyền, sau đó đánh giá phạm vi ngôn ngữ.

Nền tảng huấn luyện

Mô hình nền tảng

Foundation model

Ý nghĩa

Một mô hình được huấn luyện trước rộng rãi được thiết kế để hỗ trợ nhiều tác vụ và khả năng thích ứng.

Khi dùng

Sử dụng khi xác định mô hình tổng thể mà sau này các lời nhắc, truy xuất, bộ điều chỉnh hoặc tinh chỉnh dựa vào.

Ví dụ

Ghi lại họ mô hình cơ sở được phê duyệt, phiên bản, giấy phép và lộ trình thích ứng dự kiến.

Nền tảng huấn luyện

Mô hình cơ sở

Base model

Ý nghĩa

Điểm kiểm tra được huấn luyện trước cụ thể được sử dụng làm điểm khởi đầu cho suy luận hoặc điều chỉnh bổ sung.

Khi dùng

Sử dụng chính xác định danh mô hình và phiên bản để có thể tái tạo quá trình đào tạo và triển khai.

Ví dụ

Mô hình cơ sở: ID mô hình đã được phê duyệt và hàm băm sửa đổi không thể thay đổi.

Nền tảng huấn luyện

Tham số mô hình

Model parameter

Ý nghĩa

Một giá trị số bên trong một mô hình, có thể được học trong quá trình huấn luyện hoặc được giữ cố định bởi phương pháp đã chọn.

Khi dùng

Sử dụng khi so sánh các phần tổng thể, cố định và có thể đào tạo của một mô hình.

Ví dụ

Báo cáo tổng số tham số và số lượng tham số được cập nhật bởi phương pháp huấn luyện.

Nền tảng huấn luyện

Học chuyển giao (Transfer learning)

Transfer learning

Ý nghĩa

Tái sử dụng kiến thức đã học được cho một môi trường làm điểm khởi đầu cho một tác vụ hoặc miền liên quan khác.

Khi dùng

Sử dụng khi điều chỉnh một biểu diễn đã được đào tạo trước thay vì đào tạo một mô hình mới từ đầu.

Ví dụ

Bắt đầu từ mô hình ngôn ngữ đã được phê duyệt và điều chỉnh nó để phân loại ý định.

Nền tảng huấn luyện

Mục tiêu huấn luyện

Training objective

Ý nghĩa

Mục tiêu toán học hoặc hành vi mà một lần huấn luyện cố gắng tối ưu hóa.

Khi dùng

Xác định nó trước khi chọn dữ liệu, nhãn, hàm mất mát và các chỉ số đánh giá.

Ví dụ

Mục tiêu: Dự đoán token tiếp theo đồng thời giảm thiểu tổn thất xác thực trên tập dữ liệu miền được phê duyệt.

Nền tảng huấn luyện

Học có giám sát

Supervised learning

Ý nghĩa

Huấn luyện từ các ví dụ ghép nối đầu vào với nhãn hoặc đầu ra dự kiến.

Khi dùng

Sử dụng khi có sẵn các câu trả lời, lớp hoặc giá trị mục tiêu đáng tin cậy.

Ví dụ

Huấn luyện trên các câu hỏi hỗ trợ được ghép nối với các nhãn ý định đã được xem xét.

Nền tảng huấn luyện

Học tự giám sát

Self-supervised learning

Ý nghĩa

Huấn luyện sử dụng cấu trúc của dữ liệu không được gắn nhãn để tạo ra các mục tiêu dự đoán.

Khi dùng

Sử dụng nó để biểu diễn quy mô lớn hoặc học mô hình ngôn ngữ khi việc gắn nhãn thủ công là không thực tế.

Ví dụ

Ẩn hoặc dịch một phần của mỗi chuỗi và huấn luyện mô hình để dự đoán nội dung bị thiếu hoặc tiếp theo.

Dữ liệu huấn luyện

Tập dữ liệu huấn luyện

Training dataset

Ý nghĩa

Các ví dụ được sử dụng để tính toán gradient và cập nhật các tham số của mô hình.

Khi dùng

Xây dựng từ dữ liệu liên quan, được cấp phép, đại diện và được kiểm soát chất lượng.

Lưu ý

Không nên giả định rằng dữ liệu có thể truy cập công khai tự động được phép để huấn luyện mô hình.

Ví dụ

Tạo một tập dữ liệu huấn luyện có phiên bản với siêu dữ liệu về nguồn, giấy phép, sự đồng ý, ngôn ngữ và chất lượng.

Dữ liệu huấn luyện

Tập dữ liệu xác thực

Validation dataset

Ý nghĩa

Một tập dữ liệu được giữ lại trong quá trình phát triển để so sánh các cài đặt và theo dõi khả năng khái quát hóa.

Khi dùng

Sử dụng nó để chọn điểm kiểm tra, dừng sớm và đưa ra các quyết định về siêu tham số mà không cập nhật trọng số từ các ví dụ của nó.

Ví dụ

Đánh giá độ mất mát xác thực ở mỗi epoch và giữ lại điểm kiểm tra tốt nhất đã được phê duyệt.

Dữ liệu huấn luyện

Tập dữ liệu kiểm thử

Test dataset

Ý nghĩa

Một tập dữ liệu riêng biệt được sử dụng để ước tính cuối cùng, ít thiên vị hơn sau khi các lựa chọn phát triển đã hoàn tất.

Khi dùng

Chỉ sử dụng sau khi đã chọn mô hình và siêu tham số để tránh điều chỉnh cho quá trình kiểm tra cuối cùng.

Ví dụ

Khóa tập dữ liệu kiểm tra trước khi thử nghiệm và báo cáo phiên bản của nó cùng với kết quả cuối cùng.

Dữ liệu huấn luyện

Tập dữ liệu huấn luyện

Training corpus

Ý nghĩa

Một tập hợp văn bản, mã, hình ảnh, âm thanh hoặc các tài liệu khác được chuẩn bị để học mô hình.

Khi dùng

Sử dụng thuật ngữ này khi thảo luận về phạm vi bao phủ nguồn, nguồn gốc, bộ lọc và quyền tại quy mô tập dữ liệu.

Ví dụ

Nguồn tài liệu, ngày thu thập, các trường hợp loại trừ, cơ sở quyền và quy trình loại bỏ.

Dữ liệu huấn luyện

Mẫu hoặc ví dụ huấn luyện

Training sample or example

Ý nghĩa

Một đơn vị được cung cấp cho quy trình huấn luyện, chẳng hạn như một hàng đã được gắn nhãn, chuỗi, hình ảnh, cuộc trò chuyện hoặc cặp ưu tiên.

Khi dùng

Sử dụng khi định nghĩa lược đồ, trọng số lấy mẫu, kiểm tra chất lượng và những gì được tính vào kích thước tập dữ liệu.

Ví dụ

Một ví dụ bao gồm dữ liệu đầu vào, mục tiêu, ID nguồn, siêu dữ liệu quyền và trạng thái chất lượng.

Dữ liệu huấn luyện

Label

Label

Ý nghĩa

Một lớp, giá trị, phạm vi, phản hồi hoặc đánh giá mục tiêu liên quan đến một ví dụ huấn luyện có giám sát.

Khi dùng

Xác định các nhãn với một tiêu chuẩn được ghi lại và đo lường sự đồng ý của người đánh giá cho các tác vụ mơ hồ.

Ví dụ

Gán nhãn cho mỗi phiếu với một ý định đã được phê duyệt và ghi lại các trường hợp không chắc chắn để xem xét.

Dữ liệu huấn luyện

Tăng cường dữ liệu

Data augmentation

Ý nghĩa

Tạo thêm các ví dụ huấn luyện bằng cách áp dụng các phép biến đổi được kiểm soát để bảo toàn nhãn hoặc hành vi dự định.

Khi dùng

Sử dụng để cải thiện phạm vi bao phủ đồng thời xác minh rằng các phép biến đổi vẫn thực tế và không thay đổi ý nghĩa mục tiêu.

Ví dụ

Tạo các biến thể diễn giải, sau đó xem xét rằng mỗi biến thể vẫn giữ nguyên ý nghĩa ban đầu.

Dữ liệu huấn luyện

Ô nhiễm dữ liệu

Data contamination

Ý nghĩa

Sự xuất hiện của các ví dụ đánh giá hoặc các biến thể tương tự trong dữ liệu huấn luyện, gây ra việc đánh giá phóng đại khả năng tổng quát hóa.

Khi dùng

Kiểm tra sự trùng lặp chính xác và ngữ nghĩa trước khi huấn luyện và cách ly các tập dữ liệu đánh giá được bảo vệ.

Ví dụ

So sánh các hàm băm và các embedding gần giống trên các tập dữ liệu huấn luyện và đánh giá.

Dữ liệu huấn luyện

Phân tích cú pháp trong quá trình huấn luyện

Training tokenization

Ý nghĩa

Quá trình chuyển đổi nội dung thô thành các đơn vị đầu vào của mô hình và các định danh được sử dụng trong quá trình huấn luyện.

Khi dùng

Giữ lựa chọn tokenizer, từ vựng, chuẩn hóa và các token đặc biệt tương thích với mô hình và quy trình phục vụ.

Ví dụ

Ghi lại phiên bản bộ mã hóa, kích thước từ vựng, các token đặc biệt, khả năng cắt ngắn và độ dài chuỗi tối đa.

Dữ liệu huấn luyện

Chia dữ liệu

Data split

Ý nghĩa

Phân chia các ví dụ thành các tập huấn luyện, xác thực và kiểm tra.

Khi dùng

Chia theo người dùng, thời gian, tài liệu hoặc nhóm để tránh các hàng ngẫu nhiên có thể tạo ra các bản sao gần giống nhau trong các tập con.

Ví dụ

Chia theo tài khoản khách hàng để các cuộc trò chuyện từ một khách hàng không xuất hiện đồng thời trong dữ liệu huấn luyện và dữ liệu kiểm tra.

Dữ liệu huấn luyện

Loại bỏ dữ liệu trùng lặp

Data deduplication

Ý nghĩa

Việc phát hiện và loại bỏ hoặc nhóm các ví dụ huấn luyện giống hệt nhau hoặc gần giống nhau.

Khi dùng

Sử dụng nó để giảm thiểu việc ghi nhớ, sự mất cân bằng dữ liệu, lãng phí tài nguyên tính toán và sự can thiệp giữa tập huấn luyện và tập kiểm tra.

Ví dụ

Loại bỏ các bản sao chính xác, văn bản đã chuẩn hóa và các đoạn văn bản có độ tương đồng cao trước khi chia nhỏ.

Dữ liệu huấn luyện

Dữ liệu huấn luyện tổng hợp

Synthetic training data

Ý nghĩa

Các ví dụ được tạo hoặc chuyển đổi bởi phần mềm hoặc mô hình thay vì được thu thập trực tiếp từ các sự kiện thực tế.

Khi dùng

Sử dụng để xử lý các trường hợp hiếm gặp, định dạng hoặc mô phỏng bảo vệ quyền riêng tư, sau đó xác thực tính chân thực và thiên vị.

Lưu ý

Dữ liệu tổng hợp có thể tái tạo các thành kiến, lỗi hoặc biểu thức được bảo vệ từ nguồn và vẫn cần kiểm tra nguồn gốc và chất lượng.

Ví dụ

Tạo các hộp thoại hỗ trợ các trường hợp đặc biệt, gắn nhãn chúng là tổng hợp và xem xét chúng trước khi huấn luyện.

Dữ liệu huấn luyện

Dữ liệu huấn luyện bí mật

Confidential training data

Ý nghĩa

Bản ghi khách hàng, bí mật thương mại, tài liệu nội bộ, thông tin đăng nhập hoặc các thông tin hạn chế khác được xem xét để huấn luyện.

Khi dùng

Loại trừ theo mặc định trừ khi có ủy quyền rõ ràng, mục đích được ghi lại, kiểm soát truy cập nghiêm ngặt và kế hoạch lưu giữ và xóa đã được phê duyệt.

Lưu ý

Không bao giờ đặt thông tin xác thực, bí mật của khách hàng hoặc bí mật thương mại vào một dịch vụ đào tạo mà không có quyền phê duyệt và xem xét chính sách của nhà cung cấp.

Ví dụ

Mã hóa thông tin xác thực và bí mật thương mại trong quá trình nhập dữ liệu và chuyển các bản ghi không chắc chắn đến người xem có thẩm quyền.

Dữ liệu huấn luyện

Rò rỉ dữ liệu

Data leakage

Ý nghĩa

Việc sử dụng thông tin không mong muốn trong quá trình huấn luyện mà sẽ không có sẵn trong môi trường dự đoán thực tế dự kiến.

Khi dùng

Kiểm tra các tính năng, nhãn, dấu thời gian và tiền xử lý để ngăn chặn điểm đánh giá cao không thực tế.

Ví dụ

Loại bỏ các trường sau khi giải quyết trước khi đào tạo một mô hình dự đoán mức độ ưu tiên của vé khi nhận.

Vòng lặp huấn luyện

Mảng

Batch

Ý nghĩa

Một nhóm dữ liệu được xử lý cùng nhau trong một lần tính toán tiến và lùi.

Khi dùng

Sử dụng lô dữ liệu để cân bằng hiệu quả tính toán, sử dụng bộ nhớ và độ ổn định của gradient.

Ví dụ

Ghép nối mỗi lô với các chuỗi được lấp đầy và một mặt nạ chú ý.

Vòng lặp huấn luyện

Mini-batch

Mini-batch

Ý nghĩa

Một tập hợp con nhỏ hơn của dữ liệu huấn luyện được sử dụng để tính toán một đạo hàm thay vì xử lý toàn bộ tập dữ liệu cùng một lúc.

Khi dùng

Sử dụng nó như đơn vị thực tế tiêu chuẩn cho tối ưu hóa ngẫu nhiên trên các tập dữ liệu lớn.

Ví dụ

Xáo trộn tập dữ liệu huấn luyện và tạo các mini-batch có độ dài chuỗi tương tự.

Vòng lặp huấn luyện

Kích thước mảng

Batch size

Ý nghĩa

Số lượng ví dụ hoặc chuỗi được bao gồm trong một lô.

Khi dùng

Điều chỉnh nó theo độ dài chuỗi, bộ nhớ, hành vi tối ưu hóa và kích thước lô hiệu quả.

Ví dụ

Bắt đầu với kích thước lô trên mỗi thiết bị là 4 và chỉ sử dụng tích lũy gradient khi cần thiết do giới hạn bộ nhớ.

Vòng lặp huấn luyện

Bước huấn luyện / lần lặp

Training step / iteration

Ý nghĩa

Một chu kỳ cập nhật bộ tối ưu hóa, có thể tiêu thụ một hoặc nhiều micro-batch.

Khi dùng

Sử dụng nó để ghi nhật ký, lên lịch, lưu điểm kiểm tra và so sánh thời lượng chạy.

Ví dụ

Ghi lại hàm mất mát (loss) và tốc độ học (learning rate) mỗi 20 bước của trình tối ưu hóa.

Vòng lặp huấn luyện

Epoch

Epoch

Ý nghĩa

Một lần duyệt toàn bộ tập dữ liệu huấn luyện theo quy trình lấy mẫu đã cấu hình.

Khi dùng

Sử dụng số lượng epoch kết hợp với đường cong xác thực thay vì coi số lượng epoch lớn hơn là luôn tốt hơn.

Ví dụ

Với 1.000 ví dụ và kích thước lô là 50, một epoch chứa khoảng 20 lô.

Vòng lặp huấn luyện

Truyền xuôi

Forward pass

Ý nghĩa

Quá trình tính toán gửi các đầu vào của mô hình qua mạng để tạo ra các dự đoán và một giá trị mất mát.

Khi dùng

Sử dụng khi giải thích nửa đầu của mỗi lần lặp đào tạo trước khi tính toán gradient.

Ví dụ

Chạy quá trình truyền xuôi trên các ID token và so sánh các token dự đoán với các nhãn mục tiêu.

Vòng lặp huấn luyện

Hàm mất mát (Loss function)

Loss function

Ý nghĩa

Một hàm đo mức độ khác biệt giữa các dự đoán của mô hình và mục tiêu đào tạo.

Khi dùng

Chọn nó để phù hợp với tác vụ, định dạng nhãn, sự cân bằng của lớp và hành vi mong muốn.

Ví dụ

Theo dõi tổn thất huấn luyện ở mức token và các chỉ số nhiệm vụ ở mức chuỗi riêng biệt.

Vòng lặp huấn luyện

Truyền ngược gradient

Backpropagation

Ý nghĩa

Quá trình truyền ngược các đạo hàm mất mát qua mô hình để tính toán gradient.

Khi dùng

Sử dụng để giải thích cách một tín hiệu lỗi đến các tham số có thể huấn luyện được.

Ví dụ

Truyền ngược gradient đã được chia tỷ lệ, cắt bớt gradient, sau đó cập nhật bộ tối ưu hóa.

Vòng lặp huấn luyện

Độ dốc

Gradient

Ý nghĩa

Một tập hợp các đạo hàm cho biết các thay đổi tham số sẽ ảnh hưởng đến hàm mất mát như thế nào.

Khi dùng

Theo dõi độ lớn gradient để phát hiện sự bất ổn, cập nhật biến mất hoặc gradient tăng đột biến.

Ví dụ

Thông báo khi độ lớn của gradient trở nên vô hạn trước bước tối ưu hóa.

Vòng lặp huấn luyện

Bộ tối ưu hóa.

Optimizer

Ý nghĩa

Một thuật toán cập nhật các tham số có thể huấn luyện bằng cách sử dụng gradient và trạng thái đã cấu hình.

Khi dùng

Chọn và cấu hình nó cùng với tốc độ học, giảm trọng số và cài đặt độ chính xác.

Ví dụ

Sử dụng AdamW với tốc độ học, hệ số giảm trọng số và phiên bản bộ tối ưu hóa được ghi rõ.

Vòng lặp huấn luyện

Tối ưu hóa gradient ngẫu nhiên (SGD)

Stochastic gradient descent (SGD)

Ý nghĩa

Một phương pháp tối ưu hóa cập nhật các tham số từ các gradient được ước tính trên từng ví dụ hoặc mini-batch.

Khi dùng

Sử dụng nó như một khái niệm tối ưu hóa cơ bản và so sánh các lựa chọn về động lượng hoặc lịch trình cho tác vụ.

Ví dụ

Chạy SGD với tốc độ học, động lượng, trình lập lịch và cấu hình lô được ghi lại.

Vòng lặp huấn luyện

AdamW

AdamW

Ý nghĩa

Một bộ tối ưu hóa thích ứng tách biệt việc giảm trọng số khỏi việc cập nhật tham số dựa trên gradient.

Khi dùng

Sử dụng khi được hỗ trợ bởi công thức đào tạo và ghi lại tất cả các siêu tham số của trình tối ưu hóa để có thể tái tạo.

Ví dụ

Ghi lại tốc độ học AdamW, các giá trị beta, epsilon, giảm trọng lượng và phiên bản triển khai.

Vòng lặp huấn luyện

Tốc độ học

Learning rate

Ý nghĩa

Một siêu tham số (hyperparameter) kiểm soát quy mô của việc cập nhật tham số trong quá trình tối ưu hóa.

Khi dùng

Điều chỉnh nó cẩn thận vì các giá trị quá cao có thể làm mất ổn định quá trình huấn luyện và các giá trị quá thấp có thể làm chậm tiến độ.

Lưu ý

Không có tốc độ học nào là đúng tuyệt đối; các giá trị phù hợp phụ thuộc vào mô hình, phương pháp, dữ liệu, kích thước lô và bộ tối ưu hóa.

Ví dụ

So sánh tốc độ học ứng cử viên bằng cùng một tập dữ liệu, seed và lịch trình đánh giá.

Vòng lặp huấn luyện

Lập lịch trình tốc độ học

Learning-rate scheduler

Ý nghĩa

Một quy tắc thay đổi tốc độ học trong quá trình huấn luyện.

Khi dùng

Sử dụng nó để khởi động quá trình huấn luyện, giảm tốc độ cập nhật hoặc phản ứng với một điểm bão hòa theo kế hoạch thử nghiệm.

Ví dụ

Khởi động với một phần số bước đã định, sau đó sử dụng giảm dần theo hàm cosin đến tốc độ cuối cùng.

Vòng lặp huấn luyện

Khởi động

Warmup

Ý nghĩa

Một giai đoạn ban đầu tăng dần tốc độ học từ một giá trị nhỏ.

Khi dùng

Sử dụng nó để giảm sự không ổn định trong quá trình cập nhật ở giai đoạn đầu của quá trình huấn luyện, đặc biệt là trong tối ưu hóa mô hình lớn.

Ví dụ

Ghi lại số bước khởi động (warmup steps) như một phần của cấu hình đào tạo có thể tái tạo.

Khả năng khái quát hóa và chất lượng

Tổn thất huấn luyện

Training loss

Ý nghĩa

Hàm mất mát được tính trên các lô dữ liệu được sử dụng để cập nhật các tham số mô hình.

Khi dùng

Sử dụng nó để theo dõi tiến trình tối ưu hóa, nhưng không coi một giá trị thấp là bằng chứng của khả năng tổng quát hóa.

Ví dụ

Vẽ biểu đồ độ mất huấn luyện được làm mịn theo bước của trình tối ưu hóa và điều tra các điểm tăng đột ngột hoặc các giá trị không hữu hạn.

Khả năng khái quát hóa và chất lượng

Mất mát xác thực

Validation loss

Ý nghĩa

Hàm mất mát được đo trên các ví dụ xác thực (validation) không được sử dụng để cập nhật các tham số.

Khi dùng

So sánh với độ mất mát huấn luyện để phát hiện overfitting và chọn các điểm kiểm tra ứng cử viên.

Ví dụ

Giữ điểm kiểm tra với hành vi xác thực tốt nhất đã được phê duyệt, không nhất thiết là epoch cuối cùng.

Khả năng khái quát hóa và chất lượng

Hội tụ

Convergence

Ý nghĩa

Trạng thái trong đó việc cập nhật huấn luyện tạo ra sự cải thiện nhỏ hơn hoặc ổn định hơn.

Khi dùng

Đánh giá nó dựa trên đường cong huấn luyện và xác thực cùng với các chỉ số đánh giá, không chỉ dựa trên đường cong lỗi huấn luyện.

Ví dụ

Xem xét quá trình chạy là đã hội tụ chỉ sau khi các chỉ số xác thực ổn định trên các điểm kiểm tra.

Khả năng khái quát hóa và chất lượng

Khả năng khái quát hóa

Generalization

Ý nghĩa

Khả năng của một mô hình đã được huấn luyện để hoạt động tốt trên các ví dụ liên quan mà nó không được huấn luyện.

Khi dùng

Đo nó trên các trường hợp thực tế và đại diện.

Ví dụ

So sánh hiệu suất trên người dùng chưa biết, khoảng thời gian, ngôn ngữ và các trường hợp đặc biệt khó.

Khả năng khái quát hóa và chất lượng

Quá khớp.

Overfitting

Ý nghĩa

Một điều kiện mà mô hình khớp với dữ liệu huấn luyện một cách chặt chẽ nhưng hoạt động kém hơn trên dữ liệu chưa được thấy.

Khi dùng

Tìm kiếm sự khác biệt ngày càng lớn giữa hành vi huấn luyện và xác thực và phản hồi bằng dữ liệu, điều chuẩn (regularization) hoặc dừng sớm hơn.

Ví dụ

Dừng khi tổn thất xác thực xấu đi trong khi tổn thất huấn luyện tiếp tục giảm.

Khả năng khái quát hóa và chất lượng

Quá khớp (Underfitting)

Underfitting

Ý nghĩa

Một điều kiện mà mô hình không thể học được cấu trúc đủ để hoạt động tốt ngay cả trên dữ liệu huấn luyện.

Khi dùng

Kiểm tra dung lượng mô hình, chất lượng tính năng hoặc dữ liệu, cài đặt tối ưu hóa và thời lượng huấn luyện.

Ví dụ

Điều tra tình trạng thiếu khớp (underfitting) khi cả chỉ số huấn luyện và xác thực đều kém.

Khả năng khái quát hóa và chất lượng

Điều chuẩn.

Regularization

Ý nghĩa

Các kỹ thuật hạn chế hoặc định hình quá trình học để giảm overfitting và cải thiện hiệu suất trên dữ liệu chưa thấy.

Khi dùng

Chọn điều chuẩn hóa cùng với dung lượng mô hình, khối lượng dữ liệu, tăng cường và dừng sớm.

Ví dụ

So sánh hành vi xác thực với các cài đặt weight decay và dropout đã được ghi lại.

Khả năng khái quát hóa và chất lượng

Giảm độ lớn của trọng số

Weight decay

Ý nghĩa

Một cài đặt chính quy hóa ngăn chặn các giá trị tham số tăng quá mức trong quá trình tối ưu hóa.

Khi dùng

Điều chỉnh nó với trình tối ưu hóa và xác minh các tham số nào bị loại trừ khỏi việc giảm dần.

Ví dụ

Ghi lại tỷ lệ giảm trọng số (weight decay) và các nhóm tham số mà nó áp dụng.

Khả năng khái quát hóa và chất lượng

Loại bỏ (Dropout)

Dropout

Ý nghĩa

Một kỹ thuật chính quy hóa ngẫu nhiên vô hiệu hóa các kích hoạt được chọn trong quá trình huấn luyện.

Khi dùng

Chỉ sử dụng khi kiến trúc và phương pháp đào tạo hỗ trợ điều này, và vô hiệu hóa hành vi đào tạo trong quá trình đánh giá.

Ví dụ

Đặt và ghi lại tỷ lệ dropout được hỗ trợ, sau đó so sánh hiệu suất xác thực.

Khả năng khái quát hóa và chất lượng

Cắt độ dốc

Gradient clipping

Ý nghĩa

Hạn chế độ lớn của gradient hoặc chuẩn trước khi cập nhật trình tối ưu hóa để giảm thiểu các bước không ổn định.

Khi dùng

Sử dụng khi có thể xảy ra hiện tượng tăng đột biến gradient và theo dõi tần suất cắt bớt.

Ví dụ

Giới hạn độ lớn gradient toàn cục ở ngưỡng được ghi lại và ghi lại các bước đã bị cắt.

Khả năng khái quát hóa và chất lượng

Dừng sớm (Early stopping)

Early stopping

Ý nghĩa

Dừng một lần chạy huấn luyện khi một số liệu xác thực được theo dõi không còn cải thiện nữa theo các quy tắc đã định.

Khi dùng

Sử dụng sự kiên nhẫn và các ngưỡng cải thiện tối thiểu để tránh phản ứng với một đánh giá nhiễu.

Ví dụ

Dừng sau ba lần kiểm tra xác thực mà không có cải thiện đáng kể và khôi phục điểm kiểm tra tốt nhất.

Khả năng khái quát hóa và chất lượng

Điểm kiểm tra huấn luyện

Training checkpoint

Ý nghĩa

Một trạng thái huấn luyện đã được lưu, chứa các tham số mô hình và thường là trình tối ưu hóa, trình lập lịch và thông tin tiến trình.

Khi dùng

Sử dụng điểm kiểm tra để khôi phục, so sánh, đánh giá và quảng bá có kiểm soát.

Ví dụ

Lưu các điểm kiểm tra phiên bản với các định danh tập dữ liệu, mã, bộ mã hóa và cấu hình.

Tính toán và khả năng tái tạo

Bộ tăng tốc AI (GPU, TPU, NPU).

AI accelerator (GPU, TPU, NPU)

Ý nghĩa

Phần cứng tính toán chuyên dụng được sử dụng để tăng tốc các phép toán tensor cho việc huấn luyện và suy luận mô hình.

Khi dùng

Chọn phần cứng theo khả năng hỗ trợ của framework, định dạng số, bộ nhớ, kết nối, khả năng và chi phí.

Ví dụ

Ghi lại loại bộ tăng tốc, số lượng, bộ nhớ, thời gian chạy, trình điều khiển và chi phí đào tạo ước tính.

Tính toán và khả năng tái tạo

Bộ nhớ video (VRAM)

Video memory (VRAM)

Ý nghĩa

Memory on an accelerator used for model weights, optimizer states, activations, gradients, and batches. (Bộ nhớ trên bộ tăng tốc được sử dụng cho trọng số mô hình, trạng thái bộ tối ưu hóa, kích hoạt, gradient và lô.)

Khi dùng

Ước tính trước khi huấn luyện và điều chỉnh kích thước lô, độ chính xác, phân vùng hoặc lưu điểm kiểm tra khi cần thiết.

Ví dụ

Đo lượng VRAM tối đa được phân bổ cho chuỗi dài nhất được hỗ trợ và cấu hình lô hiệu quả.

Tính toán và khả năng tái tạo

FP16 và BF16.

FP16 and BF16

Ý nghĩa

Các định dạng số có độ chính xác giảm được sử dụng phổ biến để giảm dung lượng bộ nhớ đào tạo và tăng thông lượng của bộ tăng tốc.

Khi dùng

Chỉ sử dụng các định dạng được hỗ trợ bởi phần cứng và framework, với kiểm tra giá trị hữu hạn và chất lượng.

Ví dụ

So sánh tính ổn định huấn luyện và chất lượng đầu ra của BF16 hoặc FP16 với giá trị cơ sở được phê duyệt.

Tính toán và khả năng tái tạo

Tích lũy độ dốc

Gradient accumulation

Ý nghĩa

Kết hợp các gradient từ nhiều micro-batch trước một lần cập nhật bộ tối ưu hóa.

Khi dùng

Sử dụng nó để đạt được kích thước lô hiệu quả lớn hơn khi bộ nhớ thiết bị bị hạn chế.

Ví dụ

Kích thước lô hiệu quả = lô trên mỗi thiết bị × số bước tích lũy × số thiết bị song song theo dữ liệu.

Tính toán và khả năng tái tạo

Huấn luyện với độ chính xác hỗn hợp

Mixed-precision training

Ý nghĩa

Huấn luyện sử dụng nhiều độ chính xác số khác nhau để cải thiện tốc độ hoặc hiệu quả bộ nhớ đồng thời duy trì tính ổn định cần thiết.

Khi dùng

Sử dụng các quy trình FP16 hoặc BF16 được hỗ trợ với giám sát về độ mất mát và giá trị hữu hạn.

Ví dụ

Bật BF16 trên phần cứng tương thích và xác minh tính nhất quán của hàm mất so với lần chạy cơ sở.

Tính toán và khả năng tái tạo

Kiểm tra điểm độ dốc

Gradient checkpointing

Ý nghĩa

Một kỹ thuật tiết kiệm bộ nhớ tính toán lại các giá trị kích hoạt được chọn trong quá trình lan truyền ngược thay vì lưu trữ tất cả.

Khi dùng

Sử dụng khi bộ nhớ là hạn chế và việc tính toán bổ sung là chấp nhận được.

Ví dụ

Bật kiểm tra gradient để phù hợp với các chuỗi dài hơn, sau đó đo lường sự chậm lại của quá trình đào tạo.

Tính toán và khả năng tái tạo

Huấn luyện phân tán

Distributed training

Ý nghĩa

Huấn luyện phối hợp tính toán hoặc trạng thái mô hình trên nhiều bộ tăng tốc hoặc máy tính.

Khi dùng

Sử dụng khi một thiết bị không thể đáp ứng các yêu cầu về kích thước mô hình hoặc thời gian đào tạo.

Ví dụ

Ghi lại chiến lược song song hóa dữ liệu, kích thước thế giới, chính sách phân vùng, cấu hình mạng và quy trình khôi phục.

Tính toán và khả năng tái tạo

Tính song song của dữ liệu

Data parallelism

Ý nghĩa

Sao chép một mô hình trên nhiều máy chủ xử lý các lô dữ liệu khác nhau và đồng bộ hóa các bản cập nhật.

Khi dùng

Sử dụng khi mô hình vừa đủ trên mỗi máy chủ và cần nhiều thông lượng lô hơn.

Ví dụ

Ghi lại số lượng worker, kích thước lô toàn cục (global batch size), đồng bộ hóa gradient và hành vi phục hồi khi có lỗi.

Tính toán và khả năng tái tạo

Song song hóa mô hình

Model parallelism

Ý nghĩa

Phân chia tính toán hoặc tham số của mô hình trên nhiều thiết bị vì một thiết bị không thể chứa hoặc xử lý toàn bộ mô hình một cách hiệu quả.

Khi dùng

Sử dụng tensor, pipeline hoặc các phương pháp chia theo kiến trúc và hỗ trợ của framework.

Ví dụ

Mô tả chiến lược phân vùng, chi phí truyền thông, định dạng điểm kiểm tra và khả năng tương thích khi triển khai.

Tính toán và khả năng tái tạo

Giá trị khởi tạo ngẫu nhiên.

Random seed

Ý nghĩa

Một giá trị được sử dụng để khởi tạo các hoạt động giả ngẫu nhiên như xáo trộn, lấy mẫu, bỏ qua và khởi tạo tham số.

Khi dùng

Ghi lại nó để có thể lặp lại trong khi nhận ra rằng phần cứng phân tán và một số kernel có thể vẫn không xác định.

Ví dụ

So sánh các kết quả quan trọng trên nhiều seed được ghi lại thay vì chỉ dựa vào một lần chạy thành công.

Tính toán và khả năng tái tạo

Khả năng tái tạo huấn luyện

Training reproducibility

Ý nghĩa

Khả năng lặp lại một lần chạy đủ gần để giải thích và so sánh kết quả của nó.

Khi dùng

Dữ liệu phiên bản, mã, mô hình, bộ phân tích cú pháp, phụ thuộc, hạt giống, cấu hình và chi tiết phần cứng.

Ví dụ

Lưu trữ một tệp kê khai (manifest) chứa ID commit, hàm băm tập dữ liệu, seed, khóa gói và URI điểm kiểm tra.

Mảng, mini-mảng, bước và epoch

Các đơn vị này mô tả các phần khác nhau của một lần huấn luyện và không nên được sử dụng thay thế cho nhau.

Thuật ngữMeaning (ý nghĩa)
MảngMột nhóm được xử lý cùng nhau trong một lần tính toán tiến/lùi.
Mini-batchMột tập hợp con nhỏ hơn được sử dụng thay vì toàn bộ tập dữ liệu.
Bước huấn luyệnMột lần cập nhật bộ tối ưu hóa, có thể sau nhiều micro-batch tích lũy.
EpochMột lần duyệt qua tập dữ liệu huấn luyện; 1.000 ví dụ với kích thước batch là 50 tương đương khoảng 20 batch mỗi epoch.

Câu hỏi thường gặp

Tại sao dữ liệu huấn luyện, xác thực và kiểm tra phải được tách biệt?

Dữ liệu huấn luyện cập nhật các tham số, dữ liệu xác thực hướng dẫn các lựa chọn phát triển và dữ liệu kiểm tra ước tính hiệu suất cuối cùng. Kết hợp các ví dụ tương tự hoặc gần giống nhau trong số chúng có thể làm tăng kết quả và che giấu khả năng khái quát hóa kém.

Kích thước lô, số lượng bước huấn luyện và số lượng epoch có liên quan như thế nào?

Một epoch xử lý tập dữ liệu huấn luyện một lần. Nếu không có tích lũy gradient, số lượng lô xấp xỉ trên mỗi epoch là kích thước tập dữ liệu chia cho kích thước lô. Với tích lũy và nhiều worker, phân biệt kích thước lô trên mỗi thiết bị, kích thước lô hiệu quả và kích thước lô toàn cục.

Điều gì xảy ra khi độ mất mát trong quá trình huấn luyện giảm xuống nhưng độ mất mát xác thực tăng lên?

Đây là một dấu hiệu thường gặp của hiện tượng overfitting (quá khớp). Xem xét sự trùng lặp và chất lượng dữ liệu, sau đó hãy cân nhắc việc dừng sớm, sử dụng kỹ thuật regularization, tăng cường dữ liệu, khả năng của mô hình, và các chỉ số đánh giá cho nhiều tác vụ thay vì chỉ dựa vào một đường cong lỗi.

Có phải GPU luôn cần thiết để huấn luyện mô hình không?

Không. Các mô hình nhỏ và thử nghiệm có thể chạy trên CPU, trong khi các mô hình mạng nơ-ron lớn thường được hưởng lợi từ GPU, TPU hoặc NPU. Lựa chọn phụ thuộc vào hỗ trợ của framework, kích thước mô hình, độ dài chuỗi, thời gian và ngân sách.

Có thể sử dụng dữ liệu công khai để huấn luyện không?

Khả năng truy cập công khai không đủ để thiết lập quyền đào tạo. Kiểm tra bản quyền, giấy phép, hợp đồng, quyền riêng tư, sự đồng ý, bảo mật, quy tắc thu thập và điều khoản của nhà cung cấp, đồng thời lưu giữ thông tin về nguồn gốc và quy trình loại bỏ.

Tài liệu tham khảo chính thức

  • Google Machine Learning Glossary

    Từ điển chính thức về đào tạo, tập dữ liệu xác thực, tập kiểm tra, lô, epoch, tổn thất, quá khớp và các nguyên tắc cơ bản khác của học máy.

  • Hugging Face Transformers — Fine-tuning

    Hướng dẫn chính thức về mã hóa token, đối số đào tạo, tập dữ liệu, epoch, kích thước lô, tốc độ học, đánh giá và kiểm điểm.

  • Hugging Face Transformers — Trainer

    Mô tả chính thức về một vòng lặp đào tạo bao gồm phân nhóm, truyền xuôi, tổn thất, lan truyền ngược, gradient và cập nhật tham số.

Hướng dẫn thuật ngữ liên quan