Cara Pengoptimalan Perintah Otomatis Meningkatkan Kualitas untuk GenAI Prompt API ML Kit

Pengoptimalan Perintah Otomatis (APO)

Untuk lebih membantu mewujudkan kasus penggunaan ML Kit Prompt API Anda ke produksi, dengan senang hati kami mengumumkan Pengoptimalan Perintah Otomatis (APO) yang menargetkan model Di Perangkat di Vertex AI. Pengoptimalan Perintah Otomatis adalah alat yang membantu Anda menemukan perintah optimal untuk kasus penggunaan Anda secara otomatis.

Era AI On-Device bukan lagi sekadar janji, melainkan kenyataan produksi. Dengan rilis Gemini Nano v3, kami menempatkan kemampuan multimodal dan pemahaman bahasa yang belum pernah ada sebelumnya langsung ke tangan pengguna. Melalui rangkaian model Gemini Nano, kami memiliki cakupan luas perangkat yang didukung di seluruh Ekosistem Android. Namun, bagi developer yang membangun aplikasi cerdas generasi berikutnya, akses ke model yang canggih hanyalah langkah pertama. Tantangan sebenarnya terletak pada penyesuaian: Bagaimana cara menyesuaikan model dasar agar memiliki performa tingkat ahli untuk kasus penggunaan spesifik Anda tanpa melanggar batasan hardware seluler?

Di dunia sisi server, LLM yang lebih besar cenderung sangat mumpuni dan memerlukan lebih sedikit adaptasi domain. Bahkan jika diperlukan, opsi yang lebih canggih seperti penyesuaian LoRA (Low-Rank Adaptation) dapat menjadi opsi yang layak. Namun, arsitektur unik Android AICore memprioritaskan model sistem bersama yang efisien memori. Artinya, men-deploy adaptor LoRA kustom untuk setiap aplikasi individual menimbulkan tantangan pada layanan sistem bersama ini.

Namun, ada jalur alternatif yang dapat memberikan dampak yang sama. Dengan memanfaatkan Pengoptimalan Perintah Otomatis (APO) di Vertex AI, developer dapat mencapai kualitas yang mendekati penyesuaian, sekaligus bekerja dengan lancar dalam lingkungan eksekusi Android native. Dengan berfokus pada petunjuk sistem yang unggul, APO memungkinkan developer menyesuaikan perilaku model dengan keandalan dan skalabilitas yang lebih besar daripada solusi penyesuaian tradisional.

Catatan: Gemini Nano V3 adalah versi yang dioptimalkan kualitasnya dari model Gemma 3N yang sangat terkenal. Setiap optimasi cepat yang dilakukan pada model open source Gemma 3N juga akan berlaku untuk Gemini Nano V3. Pada perangkat yang didukung, API ML Kit GenAI memanfaatkan model nano-v3 untuk memaksimalkan kualitas bagi Pengembang Android.

APO memperlakukan prompt bukan sebagai teks statis, tetapi sebagai permukaan yang dapat diprogram dan dioptimalkan. Sistem ini memanfaatkan model sisi server (seperti Gemini Pro dan Flash) untuk menyarankan perintah, mengevaluasi berbagai variasi, dan menemukan perintah yang optimal untuk tugas spesifik Anda. Proses ini menggunakan tiga mekanisme teknis spesifik untuk memaksimalkan kinerja:

1. Analisis Kesalahan Otomatis: APO menganalisis pola kesalahan dari data pelatihan untuk secara otomatis mengidentifikasi kelemahan spesifik dalam prompt awal.
2. Penyulingan Instruksi Semantik: Ini menganalisis contoh pelatihan dalam jumlah besar untuk menyaring "maksud sebenarnya" dari suatu tugas, menciptakan instruksi yang lebih akurat mencerminkan distribusi data nyata.
3. Pengujian Kandidat Paralel: Alih-alih menguji satu ide pada satu waktu, APO menghasilkan dan menguji banyak kandidat prompt secara paralel untuk mengidentifikasi nilai maksimum global demi kualitas.

Mengapa APO Dapat Mendekati Kualitas Penyesuaian yang Halus

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, rekayasa perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan umum: Penyesuaian halus ( PEFT/LoRA) memaksa bobot model untuk mengindeks secara berlebihan pada distribusi data tertentu. Hal ini seringkali menyebabkan "pelupaan katastropik," di mana model menjadi lebih baik dalam sintaks spesifik Anda tetapi memburuk dalam logika umum dan keamanan. APO tidak mengubah bobotnya, sehingga mempertahankan kemampuan model dasar.
• Kemampuan Mengikuti Instruksi & Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti instruksi sistem yang kompleks. APO memanfaatkan hal ini dengan menemukan struktur instruksi tepat yang membuka kemampuan laten model, sering kali menemukan strategi yang mungkin sulit ditemukan oleh insinyur manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami telah menunjukkan peningkatan akurasi yang konsisten sebesar 5-8% di berbagai kasus penggunaan.Di berbagai fitur di perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Alur Kerja Developer End-to-End yang Lancar

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, rekayasa perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan umum: Penyesuaian halus ( PEFT/LoRA) memaksa bobot model untuk mengindeks secara berlebihan pada distribusi data tertentu. Hal ini seringkali menyebabkan "pelupaan katastropik," di mana model menjadi lebih baik dalam sintaks spesifik Anda tetapi memburuk dalam logika umum dan keamanan. APO tidak mengubah bobotnya, sehingga mempertahankan kemampuan model dasar.
• Kemampuan Mengikuti Instruksi & Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti instruksi sistem yang kompleks. APO memanfaatkan hal ini dengan menemukan struktur instruksi tepat yang membuka kemampuan laten model, sering kali menemukan strategi yang mungkin sulit ditemukan oleh insinyur manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami telah menunjukkan peningkatan akurasi yang konsisten sebesar 5-8% di berbagai kasus penggunaan.Di berbagai fitur di perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Kesimpulan

Peluncuran Pengoptimalan Perintah Otomatis (APO) menandai titik balik bagi AI generatif di perangkat. Dengan menjembatani kesenjangan antara model dasar dan performa tingkat pakar, kami memberi developer alat untuk membangun aplikasi seluler yang lebih andal. Baik Anda baru memulai dengan Pengoptimalan Zero-Shot atau melakukan penskalaan ke produksi dengan penyempurnaan Didorong Data, jalur menuju kecerdasan di perangkat berkualitas tinggi kini lebih jelas. Luncurkan kasus penggunaan di perangkat Anda ke produksi hari ini dengan Prompt API ML Kit dan Pengoptimalan Perintah Otomatis Vertex AI. 

Link yang relevan: 

• ML Kit Prompt API,
• Dokumentasi Pengoptimal Prompt AI Vertex
• Blog Pengumuman Gemma 3N