Google AI Edge SDK memungkinkan akses eksperimental bagi developer yang ingin menguji peningkatan kualitas aplikasi mereka dengan kemampuan AI di perangkat melalui Gemini Nano.
Arsitektur melalui AICore
Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan, yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.
Menjaga privasi dan keamanan data pengguna
AI generatif di perangkat mengeksekusi perintah secara lokal, sehingga tidak perlu melakukan panggilan server. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, memungkinkan fungsi offline, dan mengurangi biaya inferensi.
AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:
- Pengikatan Paket Terbatas: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap modifikasi pada daftar yang diizinkan ini hanya dapat terjadi selama update OTA Android penuh.
- Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Layanan Compute Pribadi harus secara eksplisit menunjukkan sifatnya yang berfokus pada privasi.
Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan catatan apa pun tentang data input atau output yang dihasilkan setelah diproses untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.
Manfaat mengakses model dasar AI dengan AICore
AICore memungkinkan OS Android menyediakan dan mengelola model dasar AI. Hal ini secara signifikan mengurangi biaya penggunaan model besar ini di aplikasi Anda, terutama karena hal berikut:
- Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update di masa mendatang. Anda tidak perlu khawatir tentang mendownload atau mengupdate model besar melalui jaringan, atau dampak pada anggaran memori disk dan runtime aplikasi Anda.
- Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu mengkhawatirkan antarmuka hardware yang mendasarinya.
Fungsi yang didukung
- Perangkat yang Didukung: Gemini Nano dengan Google AI Edge SDK tersedia untuk eksperimen di perangkat seri Pixel 9.
- Modalitas yang Didukung: AICore mendukung modalitas teks untuk Gemini Nano.
Dukungan perangkat dan modalitas tambahan adalah area investasi aktif.
Kasus penggunaan
Karena keterbatasan resource perangkat seluler dibandingkan dengan server cloud, model AI generatif di perangkat dirancang dengan fokus pada efisiensi dan ukuran. Pengoptimalan ini memprioritaskan tugas tertentu yang terdefinisi dengan baik daripada aplikasi yang lebih umum. Kasus penggunaan yang sesuai meliputi:
- Penyusunan Ulang Teks: Mengubah gaya bahasa dan gaya teks (misalnya, dari kasual menjadi formal).
- Smart Reply: Membuat respons yang relevan secara kontekstual dalam rangkaian pesan chat.
- Proofreading (Membaca draf): Mengidentifikasi dan memperbaiki kesalahan ejaan dan tata bahasa.
- Ringkasan: Meringkas dokumen panjang menjadi ringkasan yang singkat (paragraf atau poin butir).
Untuk performa yang optimal, lihat dokumentasi strategi perintah. Untuk mempelajari kasus penggunaan ini secara langsung, download aplikasi contoh kami dan mulai bereksperimen dengan Gemini Nano.
Gemini Nano digunakan oleh beberapa aplikasi Google. Contohnya antara lain:
- Talkback: Aplikasi aksesibilitas Android Talkback memanfaatkan kemampuan input multimodal Gemini Nano untuk meningkatkan kualitas deskripsi gambar bagi pengguna tunanetra.
- Perekam Suara Pixel: Aplikasi Perekam Suara Pixel menggunakan Gemini Nano dan AICore untuk mendukung fitur ringkasan di perangkat. Tim Perekam Suara mengadopsi model Gemini Nano terbaru untuk mendukung rekaman yang lebih panjang dan memberikan ringkasan berkualitas lebih tinggi.
- Gboard: Smart Reply Gboard memanfaatkan Gemini Nano di perangkat dengan AICore untuk memberikan Smart Reply yang akurat.