Cách tính năng Tự động tối ưu hoá câu lệnh giúp cải thiện chất lượng cho GenAI Prompt API của Bộ công cụ học máy

Tối ưu hoá câu lệnh tự động (APO)

Để hỗ trợ thêm cho các trường hợp sử dụng Prompt API trong Bộ công cụ học máy vào quy trình sản xuất, chúng tôi rất vui mừng được giới thiệu Tính năng Tối ưu hoá câu lệnh tự động (APO) nhắm đến các mô hình trên thiết bị trên Vertex AI. Tự động tối ưu hoá câu lệnh là một công cụ giúp bạn tự động tìm ra câu lệnh tối ưu cho các trường hợp sử dụng của mình.

Kỷ nguyên của AI trên thiết bị không còn là lời hứa mà đã trở thành hiện thực. Với việc phát hành Gemini Nano phiên bản 3, chúng tôi đang cung cấp khả năng hiểu ngôn ngữ và đa phương thức chưa từng có cho người dùng. Thông qua nhóm mô hình Gemini Nano, chúng tôi có phạm vi hỗ trợ rộng rãi cho các thiết bị trong Hệ sinh thái Android. Nhưng đối với những nhà phát triển đang xây dựng thế hệ ứng dụng thông minh tiếp theo, việc có quyền truy cập vào một mô hình mạnh mẽ chỉ là bước đầu tiên. Thách thức thực sự nằm ở khả năng tuỳ chỉnh: Làm cách nào để điều chỉnh một mô hình cơ sở cho hiệu suất ở cấp độ chuyên gia cho trường hợp sử dụng cụ thể của bạn mà không vi phạm các hạn chế của phần cứng di động?

Trong thế giới phía máy chủ, các LLM lớn hơn có xu hướng có khả năng cao và ít cần điều chỉnh miền hơn. Ngay cả khi cần, các lựa chọn nâng cao hơn như tinh chỉnh LoRA (Thích ứng cấp thấp) cũng có thể là những lựa chọn khả thi. Tuy nhiên, cấu trúc riêng biệt của Android AICore ưu tiên một mô hình hệ thống dùng chung, tiết kiệm bộ nhớ. Điều này có nghĩa là việc triển khai các bộ điều hợp LoRA tuỳ chỉnh cho từng ứng dụng riêng lẻ sẽ gặp phải những thách thức đối với các dịch vụ hệ thống dùng chung này.

Tuy nhiên, có một cách khác cũng hiệu quả không kém. Bằng cách tận dụng tính năng Tối ưu hoá câu lệnh tự động (APO) trên Vertex AI, nhà phát triển có thể đạt được chất lượng gần bằng với việc tinh chỉnh, đồng thời làm việc liền mạch trong môi trường thực thi Android gốc. Bằng cách tập trung vào hướng dẫn hệ thống vượt trội, APO cho phép nhà phát triển điều chỉnh hành vi của mô hình với độ mạnh mẽ và khả năng mở rộng cao hơn so với các giải pháp tinh chỉnh truyền thống.

Lưu ý: Gemini Nano V3 là phiên bản được tối ưu hóa chất lượng của mẫu Gemma 3N được đánh giá cao. Bất kỳ tối ưu hóa nhanh nào được thực hiện trên mẫu Gemma 3N mã nguồn mở cũng sẽ được áp dụng cho Gemini Nano V3. Trên các thiết bị được hỗ trợ , API ML Kit GenAI tận dụng mô hình nano-v3 để tối đa hóa chất lượng cho các nhà phát triển Android.

APO coi lời nhắc không phải là văn bản tĩnh, mà là một bề mặt có thể lập trình và tối ưu hóa. Nó tận dụng các mô hình phía máy chủ (như Gemini Pro và Flash) để đề xuất các gợi ý, đánh giá các biến thể và tìm ra gợi ý tối ưu cho nhiệm vụ cụ thể của bạn. Quy trình này sử dụng ba cơ chế kỹ thuật cụ thể để tối đa hóa hiệu suất:

1. Phân tích lỗi tự động: APO phân tích các mẫu lỗi từ dữ liệu huấn luyện để tự động xác định các điểm yếu cụ thể trong lời nhắc ban đầu.
2. Chưng cất hướng dẫn ngữ nghĩa: Nó phân tích các ví dụ huấn luyện khổng lồ để chưng cất "ý định thực sự" của một nhiệm vụ, tạo ra các hướng dẫn phản ánh chính xác hơn sự phân bố dữ liệu thực tế.
3. Kiểm tra ứng viên song song: Thay vì kiểm tra từng ý tưởng một, APO tạo ra và kiểm tra nhiều ứng viên gợi ý song song để xác định mức chất lượng tối ưu toàn cầu.

Vì sao APO có thể tiếp cận việc tinh chỉnh chất lượng

Một quan niệm sai lầm phổ biến là việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc chỉ nhắc nhở đơn thuần. Đối với các mẫu đế hiện đại như Gemini Nano v3, việc ứng dụng công nghệ kịp thời có thể tự nó mang lại hiệu quả đáng kể:

• Bảo toàn các khả năng chung: Tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải được lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến "sự quên lãng thảm khốc", trong đó mô hình trở nên tốt hơn về cú pháp cụ thể của bạn nhưng lại kém hơn về logic tổng quát và tính an toàn. APO giữ nguyên trọng lượng, bảo toàn khả năng của mô hình cơ bản.
• Tuân thủ hướng dẫn & Khám phá chiến lược: Gemini Nano v3 đã được huấn luyện nghiêm ngặt để tuân theo các hướng dẫn hệ thống phức tạp. APO khai thác điều này bằng cách tìm ra cấu trúc hướng dẫn chính xác giúp mở khóa các khả năng tiềm ẩn của mô hình, thường khám phá ra các chiến lược mà các kỹ sư con người có thể khó tìm ra. 

Để kiểm chứng phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc sản xuất khác nhau. Quá trình xác thực của chúng tôi đã cho thấy mức tăng độ chính xác nhất quán 5-8% trên nhiều trường hợp sử dụng khác nhau.Trên nhiều tính năng được triển khai trên thiết bị, APO đã mang lại những cải tiến đáng kể về chất lượng.

Quy trình làm việc liền mạch, hoàn chỉnh dành cho nhà phát triển

Một quan niệm sai lầm phổ biến là việc tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc chỉ nhắc nhở đơn thuần. Đối với các mẫu đế hiện đại như Gemini Nano v3, việc ứng dụng công nghệ kịp thời có thể tự nó mang lại hiệu quả đáng kể:

• Bảo toàn các khả năng chung: Tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải được lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến "sự quên lãng thảm khốc", trong đó mô hình trở nên tốt hơn về cú pháp cụ thể của bạn nhưng lại kém hơn về logic tổng quát và tính an toàn. APO giữ nguyên trọng lượng, bảo toàn khả năng của mô hình cơ bản.
• Tuân thủ hướng dẫn & Khám phá chiến lược: Gemini Nano v3 đã được huấn luyện nghiêm ngặt để tuân theo các hướng dẫn hệ thống phức tạp. APO khai thác điều này bằng cách tìm ra cấu trúc hướng dẫn chính xác giúp mở khóa các khả năng tiềm ẩn của mô hình, thường khám phá ra các chiến lược mà các kỹ sư con người có thể khó tìm ra. 

Để kiểm chứng phương pháp này, chúng tôi đã đánh giá APO trên nhiều khối lượng công việc sản xuất khác nhau. Quá trình xác thực của chúng tôi đã cho thấy mức tăng độ chính xác nhất quán 5-8% trên nhiều trường hợp sử dụng khác nhau.Trên nhiều tính năng được triển khai trên thiết bị, APO đã mang lại những cải tiến đáng kể về chất lượng.

Kết luận

Việc phát hành Tối ưu hóa lời nhắc tự động (APO) đánh dấu một bước ngoặt cho AI tạo sinh trên thiết bị. Bằng cách thu hẹp khoảng cách giữa các mô hình cơ bản và hiệu năng cấp chuyên gia, chúng tôi cung cấp cho các nhà phát triển công cụ để xây dựng các ứng dụng di động mạnh mẽ hơn. Cho dù bạn mới bắt đầu với Tối ưu hóa không cần dữ liệu huấn luyện hoặc mở rộng quy mô sản xuất với Dựa trên dữ liệu Nhờ sự tinh chỉnh này, con đường dẫn đến trí tuệ nhân tạo chất lượng cao trên thiết bị giờ đây đã trở nên rõ ràng hơn.Đưa các trường hợp sử dụng trên thiết bị của bạn vào sản xuất ngay hôm nay với API Prompt của ML Kit và Tối ưu hóa Prompt tự động của Vertex AI. 

Các liên kết liên quan: 

• ML Kit Prompt API,
• Tài liệu về Trình tối ưu hoá câu lệnh của Vertex AI
• Blog thông báo về Gemma 3N