Kỹ thuật AI tạo sinh

Thuật ngữ kỹ thuật prompt đa phương thức AI

Tìm hiểu cách cấu trúc, gắn kết, so sánh và xác minh các yêu cầu AI kết hợp văn bản với hình ảnh, tài liệu, âm thanh hoặc video.

17 thuật ngữ

Media inputs (đầu vào đa phương tiện)

Prompt đa phương thức

Multimodal prompt

Ý nghĩa

Một yêu cầu kết hợp văn bản với một hoặc nhiều loại phương tiện như hình ảnh, tài liệu, âm thanh hoặc video.

Khi dùng

Sử dụng khi tác vụ phụ thuộc vào thông tin được biểu đạt trên nhiều phương thức.

Ví dụ

So sánh hình ảnh biểu đồ với dự báo bằng văn bản và xác định các tuyên bố được hỗ trợ và các tuyên bố mâu thuẫn.

Media inputs (đầu vào đa phương tiện)

Đầu vào hình ảnh

Image input

Ý nghĩa

Một bức ảnh, ảnh chụp màn hình, bản quét, sơ đồ hoặc hình ảnh khác được cung cấp để phân tích mô hình.

Khi dùng

Chỉ định thuộc tính hoặc vùng hiển thị chính xác mà mô hình nên kiểm tra.

Ví dụ

Trong ảnh chụp màn hình đính kèm, chỉ đọc biểu ngữ lỗi và liệt kê mã và thông báo của nó.

Media inputs (đầu vào đa phương tiện)

Dữ liệu đầu vào

Document input

Ý nghĩa

Một tệp như PDF, bản trình bày hoặc báo cáo được cung cấp với cả cấu trúc văn bản và hình ảnh.

Khi dùng

Nêu rõ liệu tác vụ có cần bảo toàn tham chiếu đến trang, phần, bảng hoặc chú thích hay không.

Ví dụ

Trích xuất các điều khoản thanh toán từ hợp đồng và trích dẫn trang và phần cho mỗi mục.

Media inputs (đầu vào đa phương tiện)

Đầu vào âm thanh

Audio input

Ý nghĩa

Âm thanh, âm nhạc, âm thanh môi trường hoặc bản ghi âm khác được cung cấp để chuyển đổi hoặc phân tích.

Khi dùng

Xác định ngôn ngữ, nhãn người nói, dấu thời gian và yêu cầu về độ không chắc chắn trước khi phiên âm.

Ví dụ

Chuyển tự bản ghi cuộc họp bằng tiếng Hàn, gắn nhãn người nói khi có thể phân biệt được và ghi thời gian cho mỗi quyết định.

Media inputs (đầu vào đa phương tiện)

Đầu vào video

Video input

Ý nghĩa

Một đầu vào hình ảnh theo thời gian có thể chứa giọng nói, văn bản, chuyển động và thay đổi cảnh.

Khi dùng

Yêu cầu bằng chứng về thời gian và phân biệt những gì được nhìn thấy, nghe hoặc suy luận.

Ví dụ

Tại mỗi lần thay đổi cảnh, hãy cung cấp dấu thời gian, hành động hiển thị và tuyên bố được nói.

Cấu trúc lời nhắc

Đầu vào xen kẽ

Interleaved input

Ý nghĩa

Một chuỗi trong đó văn bản và các mục phương tiện xen kẽ để hướng dẫn hoặc nhãn ở gần mục liên quan.

Khi dùng

Sử dụng nó để so sánh, trình bày từng bước hoặc các yêu cầu liên quan đến nhiều mục nội dung.

Ví dụ

Image A -> its question -> Image B -> its question -> final comparison criteria

Cấu trúc lời nhắc

Thứ tự đa phương thức

Modality ordering

Ý nghĩa

Thứ tự trình bày văn bản, hình ảnh, tài liệu, âm thanh và video.

Khi dùng

Giữ các hướng dẫn liên quan gần với nội dung của chúng và thử các thứ tự khác nhau cho các quy trình làm việc quan trọng.

Ví dụ

Cung cấp hình ảnh, sau đó là hướng dẫn trích xuất, sau đó là lược đồ đầu ra.

Cấu trúc lời nhắc

Chi tiết và độ phân giải hình ảnh

Image detail and resolution

Ý nghĩa

Lượng chi tiết hình ảnh có sẵn để đọc văn bản nhỏ, đối tượng hoặc mối quan hệ không gian.

Khi dùng

Sử dụng độ phân giải phù hợp và cắt vùng liên quan khi các chi tiết nhỏ quan trọng.

Lưu ý

Độ phân giải cao hơn có thể làm tăng chi phí xử lý và vẫn không thể khôi phục chi tiết bị thiếu trong hình ảnh gốc.

Ví dụ

Đính kèm một ảnh chụp cận cảnh của nhãn mã thay vì một ảnh chụp toàn bộ thiết bị từ xa.

Liên kết bằng chứng

Liên kết thị giác

Visual grounding

Ý nghĩa

Liên kết một câu lệnh hoặc kết quả trích xuất với nội dung có thể quan sát được trong hình ảnh hoặc video.

Khi dùng

Yêu cầu điều này khi người dùng phải xác minh nguồn gốc của một kết luận.

Ví dụ

Đối với mỗi lỗi, mô tả bằng chứng trực quan và xác định vị trí gần đúng của nó.

Liên kết bằng chứng

Tham chiếu vùng và hộp giới hạn.

Region reference and bounding box

Ý nghĩa

Một tham chiếu văn bản, dựa trên tọa độ hoặc dạng hộp đến một khu vực cụ thể của hình ảnh.

Khi dùng

Sử dụng các vùng để phân biệt các đối tượng lặp lại và hỗ trợ đánh giá hoặc chú thích sau này.

Lưu ý

Định dạng và độ chính xác của dữ liệu khác nhau giữa các mô hình và API; hãy xác thực chúng trước khi tự động hóa.

Ví dụ

Trả về mỗi nhãn được phát hiện với hộp được chuẩn hóa `[x_min, y_min, x_max, y_max]`.

Liên kết bằng chứng

Tham chiếu thời gian và dấu thời gian

Temporal reference and timestamp

Ý nghĩa

Một vị trí hoặc khoảng thời gian xác định vị trí xảy ra sự kiện trong âm thanh hoặc video.

Khi dùng

Sử dụng nó để phân tích cảnh, xem xét bằng chứng, chỉnh sửa và căn chỉnh bản ghi âm.

Ví dụ

Liệt kê các sự cố an toàn theo thời gian bắt đầu, thời gian kết thúc, hành động quan sát được và độ tin cậy.

Các tác vụ phân tích

Hướng dẫn OCR.

OCR instruction

Ý nghĩa

Một yêu cầu để phát hiện và chuyển đổi văn bản hiển thị từ một hình ảnh hoặc tài liệu đã quét.

Khi dùng

Chỉ định ngôn ngữ, bảo toàn bố cục, xử lý văn bản không rõ ràng và liệu việc chuẩn hóa có được phép hay không.

Ví dụ

Chuyển tự hóa đơn từng dòng; sử dụng "[illegible]" thay vì đoán các ký tự bị thiếu.

Các tác vụ phân tích

Giải thích biểu đồ và bảng.

Chart and table interpretation

Ý nghĩa

Đọc các giá trị, nhãn, xu hướng và mối quan hệ từ dữ liệu được trực quan hóa hoặc dữ liệu dạng bảng.

Khi dùng

Yêu cầu mô hình phân biệt các giá trị được đọc trực tiếp với các kết luận được tính toán hoặc suy luận.

Ví dụ

Trích xuất chú giải và đơn vị trục trước, sau đó báo cáo sự thay đổi lớn nhất theo năm.

Các tác vụ phân tích

So sánh nhiều hình ảnh

Multi-image comparison

Ý nghĩa

Phân tích sự tương đồng, khác biệt hoặc thay đổi giữa hai hoặc nhiều hình ảnh.

Khi dùng

Gán nhãn cho mỗi hình ảnh và xác định các tiêu chí so sánh ổn định trước khi yêu cầu kết luận.

Ví dụ

So sánh Hình A và Hình B chỉ về bố cục, văn bản hiển thị, các điều khiển bị thiếu và các thay đổi màu sắc.

Các tác vụ phân tích

Lập luận đa phương thức

Cross-modal reasoning

Ý nghĩa

Kết hợp bằng chứng từ các phương thức khác nhau để trả lời một câu hỏi hoặc đưa ra kết luận.

Khi dùng

Sử dụng khi không có một phương thức nào chứa toàn bộ câu trả lời.

Ví dụ

Sử dụng số lượng được nói, hình ảnh hóa đơn và văn bản chính sách để xác định bất kỳ sự không nhất quán nào.

Liên kết bằng chứng

Tham chiếu bằng chứng đa phương thức

Multimodal evidence reference

Ý nghĩa

Một con trỏ tương tự như trích dẫn đến trang, khu vực, khung hình hoặc dấu thời gian hỗ trợ một câu trả lời.

Khi dùng

Yêu cầu trích dẫn trong các đầu ra có thể được xem xét và bảo toàn chúng trong các bước quy trình làm việc sau.

Ví dụ

Khẳng định: tổng là 48.20; bằng chứng: trang 1, hàng tổng ở góc dưới bên phải; độ tin cậy: cao.

Độ tin cậy.

Suy luận trực quan không được hỗ trợ

Unsupported visual inference

Ý nghĩa

Một kết luận vượt quá những gì tài liệu được cung cấp có thể hỗ trợ một cách rõ ràng hoặc nghe được.

Khi dùng

Hướng dẫn mô hình đánh dấu sự không chắc chắn và nói khi một thuộc tính không thể được xác định.

Lưu ý

Không suy luận các đặc điểm nhạy cảm, danh tính, ý định hoặc tình trạng y tế chỉ dựa trên hình thức bên ngoài.

Ví dụ

Chỉ báo cáo các hư hỏng có thể nhìn thấy; không suy đoán nguyên nhân trừ khi phương tiện trực tiếp cho thấy điều đó.

Đầu vào đa phương thức so với tạo nội dung

Thiết kế prompt đa phương thức	Gợi ý (prompting) cho tạo nội dung bằng AI.
Cung cấp hình ảnh, tài liệu, âm thanh hoặc video để hiểu và phân tích.	Mô tả hình ảnh, video, giọng nói, âm nhạc hoặc hiệu ứng cần tạo
Tập trung vào việc định vị, vùng, dấu thời gian, trích xuất, so sánh và độ không chắc chắn.	Tập trung vào chủ thể, bố cục, máy ảnh, chuyển động, phong cách, âm thanh và các ràng buộc tiêu cực.

Câu hỏi thường gặp

Một yêu cầu tạo ảnh có phải là một yêu cầu đa phương thức không?

Một yêu cầu chỉ sử dụng văn bản để tạo hình ảnh thường là một lời nhắc tạo đa phương tiện. Nó trở thành đa phương thức khi yêu cầu cũng cung cấp một hình ảnh hoặc một đầu vào đa phương tiện khác để phân tích, so sánh, chỉnh sửa hoặc hướng dẫn.

Chi tiết hình ảnh không chắc chắn nên được xử lý như thế nào?

Yêu cầu mô hình phân biệt bằng chứng được quan sát trực tiếp với các phép tính hoặc suy luận, trích dẫn một trang, khu vực, khung hình hoặc dấu thời gian, và chỉ ra khi nội dung không hỗ trợ một kết luận.

Có thể sử dụng đầu ra đa phương tiện mà không cần xác minh của con người không?

Việc sử dụng hỗ trợ có rủi ro thấp có thể cho phép kiểm tra tự động, nhưng các quyết định quan trọng nên xác minh chất lượng nguồn, độ chính xác của việc trích xuất, khả năng suy luận không được hỗ trợ, xử lý các đặc điểm nhạy cảm và các hạn chế cụ thể của mô hình.

Tài liệu tham khảo chính thức

Google Cloud — Design multimodal prompts
Hướng dẫn chính thức về việc kết hợp văn bản với đầu vào hình ảnh và video, sắp xếp các phần của lời nhắc, khắc phục sự cố và kiểm soát đầu ra.
Google Cloud — Overview of prompting strategies
Tổng quan chính thức về nội dung lời nhắc, cấu trúc, ví dụ, định dạng đầu ra, lặp lại và đánh giá.

Thuật ngữ thiết kế prompt AI
Đánh giá vai trò, hướng dẫn, ví dụ, ràng buộc và lược đồ đầu ra trước khi thêm đầu vào đa phương tiện.
Thuật ngữ kỹ thuật ngữ cảnh AI
Chuẩn bị và tổng hợp các tài liệu lớn, âm thanh, video, lịch sử và bằng chứng hỗ trợ.
Các điều khoản về gợi ý (prompt) cho tạo ảnh bằng AI.
Sử dụng hướng dẫn riêng này khi mục tiêu là tạo ra một hình ảnh thay vì phân tích nó.
Các điều khoản về gợi ý (prompt) cho tạo video bằng AI.
Sử dụng hướng dẫn riêng này cho camera, chuyển động, thời gian, tính liên tục và các ràng buộc tạo video.

Thuật ngữ kỹ thuật prompt đa phương thức AI

Prompt đa phương thức

Ý nghĩa

Khi dùng

Ví dụ

Đầu vào hình ảnh

Ý nghĩa

Khi dùng

Ví dụ

Dữ liệu đầu vào

Ý nghĩa

Khi dùng

Ví dụ

Đầu vào âm thanh

Ý nghĩa

Khi dùng

Ví dụ

Đầu vào video

Ý nghĩa

Khi dùng

Ví dụ

Đầu vào xen kẽ

Ý nghĩa

Khi dùng

Ví dụ

Thứ tự đa phương thức

Ý nghĩa

Khi dùng

Ví dụ

Chi tiết và độ phân giải hình ảnh

Ý nghĩa

Khi dùng

Lưu ý

Ví dụ

Liên kết thị giác

Ý nghĩa

Khi dùng

Ví dụ

Tham chiếu vùng và hộp giới hạn.

Ý nghĩa

Khi dùng

Lưu ý

Ví dụ

Tham chiếu thời gian và dấu thời gian

Ý nghĩa

Khi dùng

Ví dụ

Hướng dẫn OCR.

Ý nghĩa

Khi dùng

Ví dụ

Giải thích biểu đồ và bảng.

Ý nghĩa

Khi dùng

Ví dụ

So sánh nhiều hình ảnh

Ý nghĩa

Khi dùng

Ví dụ

Lập luận đa phương thức

Ý nghĩa

Khi dùng

Ví dụ

Tham chiếu bằng chứng đa phương thức

Ý nghĩa

Khi dùng

Ví dụ

Suy luận trực quan không được hỗ trợ

Ý nghĩa

Khi dùng

Lưu ý

Ví dụ

Đầu vào đa phương thức so với tạo nội dung

Câu hỏi thường gặp

Tài liệu tham khảo chính thức

Hướng dẫn thuật ngữ liên quan