Cách tính năng Tự động tối ưu hoá câu lệnh giúp cải thiện chất lượng cho API Prompt GenAI của Bộ công cụ học máy

Tự động tối ưu hoá câu lệnh (APO)

Để giúp bạn đưa các trường hợp sử dụng Prompt API trong Bộ công cụ học máy vào giai đoạn phát hành chính thức, chúng tôi rất vui mừng được thông báo về tính năng Tối ưu hoá câu lệnh tự động (APO) nhắm đến các mô hình trên thiết bị trên Vertex AI. Tự động tối ưu hoá câu lệnh là một công cụ giúp bạn tự động tìm câu lệnh tối ưu cho các trường hợp sử dụng của mình.

Kỷ nguyên AI trên thiết bị không còn là một lời hứa hẹn, mà đã trở thành hiện thực trong quá trình sản xuất. Với việc phát hành Gemini Nano phiên bản 3, chúng tôi đang mang đến cho người dùng khả năng hiểu ngôn ngữ và đa phương thức chưa từng có. Thông qua nhóm mô hình Gemini Nano, chúng tôi có phạm vi hỗ trợ rộng rãi cho các thiết bị trong Hệ sinh thái Android. Tuy nhiên, đối với các nhà phát triển đang xây dựng thế hệ ứng dụng thông minh tiếp theo, việc tiếp cận một mô hình mạnh mẽ chỉ là bước đầu tiên. Thách thức thực sự nằm ở khả năng tuỳ chỉnh: Làm thế nào để điều chỉnh mô hình nền tảng nhằm đạt được hiệu suất ở cấp độ chuyên gia cho trường hợp sử dụng cụ thể của bạn mà không phá vỡ các quy tắc ràng buộc của phần cứng di động?

Trong thế giới phía máy chủ, các LLM lớn hơn thường có khả năng cao và cần ít sự thích ứng với miền hơn. Ngay cả khi cần, các lựa chọn nâng cao hơn như tinh chỉnh LoRA (Thích ứng thứ hạng thấp) cũng có thể là lựa chọn khả thi. Tuy nhiên, kiến trúc độc đáo của Android AICore ưu tiên một mô hình hệ thống dùng chung, tiết kiệm bộ nhớ. Điều này có nghĩa là việc triển khai bộ chuyển đổi LoRA tuỳ chỉnh cho từng ứng dụng riêng lẻ sẽ gặp phải thách thức trên các dịch vụ hệ thống dùng chung này.

Nhưng có một con đường khác cũng có thể mang lại hiệu quả không kém. Bằng cách tận dụng tính năng Tự động tối ưu hoá câu lệnh (APO) trên Vertex AI, nhà phát triển có thể đạt được chất lượng gần bằng với việc tinh chỉnh, đồng thời hoạt động liền mạch trong môi trường thực thi gốc của Android. Bằng cách tập trung vào chỉ dẫn hệ thống vượt trội, APO cho phép nhà phát triển điều chỉnh hành vi của mô hình với độ mạnh mẽ và khả năng mở rộng cao hơn so với các giải pháp tinh chỉnh truyền thống.

Lưu ý: Gemini Nano V3 là phiên bản tối ưu hoá chất lượng của mô hình Gemma 3N được đánh giá cao. Mọi hoạt động tối ưu hoá câu lệnh được thực hiện trên mô hình Gemma 3N nguồn mở cũng sẽ áp dụng cho Gemini Nano V3. Trên các thiết bị được hỗ trợ, API GenAI của Bộ công cụ học máy tận dụng mô hình nano-v3 để tối đa hoá chất lượng cho nhà phát triển Android

APO không coi câu lệnh là một văn bản tĩnh, mà là một nền tảng có thể lập trình và tối ưu hoá. Công cụ này tận dụng các mô hình phía máy chủ (như Gemini Pro và Flash) để đề xuất câu lệnh, đánh giá các biến thể và tìm ra câu lệnh tối ưu cho nhiệm vụ cụ thể của bạn. Quy trình này sử dụng 3 cơ chế kỹ thuật cụ thể để tối đa hoá hiệu suất:

1. Phân tích lỗi tự động: APO phân tích các mẫu lỗi từ dữ liệu huấn luyện để tự động xác định các điểm yếu cụ thể trong câu lệnh ban đầu.
2. Chắt lọc chỉ dẫn ngữ nghĩa: Phương pháp này phân tích các ví dụ huấn luyện khổng lồ để chắt lọc "ý định thực sự" của một nhiệm vụ, từ đó tạo ra các chỉ dẫn phản ánh chính xác hơn sự phân bổ dữ liệu thực tế.
3. Kiểm thử ứng viên song song: Thay vì kiểm thử từng ý tưởng một, APO tạo và kiểm thử nhiều ứng viên câu lệnh song song để xác định mức chất lượng tối đa trên toàn cục.

Lý do APO có thể đạt được chất lượng tinh chỉnh

Nhiều người lầm tưởng rằng việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đặt câu lệnh. Đối với các mô hình nền tảng hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể tự tạo ra tác động:

• Duy trì các chức năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một bản phân phối dữ liệu cụ thể. Điều này thường dẫn đến tình trạng "quên thảm hại", tức là mô hình hiểu rõ hơn về cú pháp cụ thể của bạn nhưng lại kém hơn về logic và độ an toàn chung. APO không can thiệp vào trọng số, giúp giữ nguyên các chức năng của mô hình cơ sở.
• Làm theo chỉ dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện nghiêm ngặt để làm theo các chỉ dẫn phức tạp của hệ thống. APO khai thác điều này bằng cách tìm ra cấu trúc chỉ dẫn chính xác giúp khai phá các khả năng tiềm ẩn của mô hình, thường là khám phá ra những chiến lược mà các kỹ sư con người khó có thể tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc trong môi trường thực tế. Quá trình xác thực của chúng tôi cho thấy độ chính xác tăng từ 5% đến 8% một cách nhất quán trong nhiều trường hợp sử dụng.Trong nhiều tính năng được triển khai trên thiết bị, APO đã giúp cải thiện đáng kể chất lượng.

Quy trình làm việc liền mạch, toàn diện cho nhà phát triển

Nhiều người lầm tưởng rằng việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đặt câu lệnh. Đối với các mô hình nền tảng hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể tự tạo ra tác động:

• Duy trì các chức năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một bản phân phối dữ liệu cụ thể. Điều này thường dẫn đến tình trạng "quên thảm hại", tức là mô hình hiểu rõ hơn về cú pháp cụ thể của bạn nhưng lại kém hơn về logic và độ an toàn chung. APO không can thiệp vào trọng số, giúp giữ nguyên các chức năng của mô hình cơ sở.
• Làm theo chỉ dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện nghiêm ngặt để làm theo các chỉ dẫn phức tạp của hệ thống. APO khai thác điều này bằng cách tìm ra cấu trúc chỉ dẫn chính xác giúp khai phá các khả năng tiềm ẩn của mô hình, thường là khám phá ra những chiến lược mà các kỹ sư con người khó có thể tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc trong môi trường thực tế. Quá trình xác thực của chúng tôi cho thấy độ chính xác tăng từ 5% đến 8% một cách nhất quán trong nhiều trường hợp sử dụng.Trong nhiều tính năng được triển khai trên thiết bị, APO đã giúp cải thiện đáng kể chất lượng.

Kết luận

Việc phát hành tính năng Tự động tối ưu hoá câu lệnh (APO) đánh dấu một bước ngoặt cho AI tạo sinh trên thiết bị. Bằng cách thu hẹp khoảng cách giữa mô hình nền tảng và hiệu suất ở cấp độ chuyên gia, chúng tôi đang cung cấp cho nhà phát triển các công cụ để xây dựng ứng dụng di động mạnh mẽ hơn. Cho dù bạn mới bắt đầu với tính năng Tối ưu hoá không cần dữ liệu huấn luyện hay đang mở rộng quy mô sản xuất bằng cách tinh chỉnh Dựa trên dữ liệu, thì lộ trình đạt được trí tuệ nhân tạo chất lượng cao trên thiết bị giờ đây đã rõ ràng hơn. Hãy ra mắt các trường hợp sử dụng trên thiết bị ngay hôm nay bằng Prompt API của Bộ công cụ học máy và tính năng Tự động tối ưu hoá câu lệnh của Vertex AI. 

Đường liên kết có liên quan: 

• Prompt API của Bộ công cụ học máy,
• Tài liệu về Trình tối ưu hoá câu lệnh của Vertex AI
• Bài đăng thông báo về Gemma 3N trên blog