Gemini Nano memungkinkan Anda memberikan pengalaman AI generatif yang kaya tanpa memerlukan koneksi jaringan atau mengirim data ke cloud. AI di perangkat adalah solusi yang bagus untuk kasus penggunaan yang mengutamakan latensi rendah, biaya rendah, dan pengamanan privasi.
Untuk kasus penggunaan di perangkat, Anda dapat memanfaatkan model fondasi Gemini Nano Google. Gemini Nano berjalan di layanan sistem AICore Android, yang memanfaatkan hardware perangkat untuk memungkinkan latensi inferensi rendah dan membuat model selalu terbaru.
Akses ke Gemini Nano saat ini tersedia melalui:
- ML Kit GenAI API, yang menyediakan antarmuka tingkat tinggi untuk fitur termasuk: ringkasan, pemeriksaan tata bahasa, penulisan ulang, dan deskripsi gambar.
- Google AI Edge SDK, yang memungkinkan akses eksperimental bagi developer yang ingin menguji peningkatan aplikasi mereka dengan kemampuan AI di perangkat.
Arsitektur
Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.
Menjaga privasi dan keamanan data pengguna
AI generatif di perangkat mengeksekusi perintah secara lokal, sehingga menghilangkan panggilan server. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, mengaktifkan fungsi offline, dan mengurangi biaya inferensi.
AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:
Pemikatan Paket yang Dibatasi: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap modifikasi pada daftar yang diizinkan ini hanya dapat dilakukan selama update OTA Android penuh.
Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Layanan Compute Pribadi harus secara eksplisit menunjukkan sifatnya yang berfokus pada privasi.
Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan data input atau output yang dihasilkan setelah memprosesnya untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.
Manfaat mengakses model dasar AI dengan AICore
AICore memungkinkan Android OS menyediakan dan mengelola model dasar AI. Hal ini secara signifikan mengurangi biaya penggunaan model besar ini di aplikasi Anda, terutama karena hal berikut:
Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update mendatang. Anda tidak perlu khawatir untuk mendownload atau mengupdate model besar melalui jaringan, atau memengaruhi anggaran memori disk dan runtime aplikasi Anda.
Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu khawatir dengan antarmuka hardware yang mendasarinya.
Fungsi yang didukung
- Perangkat yang Didukung: Gemini Nano dengan Google AI Edge SDK saat ini tersedia untuk eksperimen di perangkat seri Pixel 9.
- Modalitas yang Didukung: AICore saat ini mendukung modalitas teks untuk Gemini Nano.
Dukungan perangkat dan modalitas tambahan adalah area investasi aktif.
Kasus penggunaan
Karena keterbatasan resource perangkat seluler dibandingkan dengan server cloud, model AI generatif di perangkat dirancang dengan fokus pada efisiensi dan ukuran. Pengoptimalan ini memprioritaskan tugas tertentu yang telah ditentukan dengan baik daripada aplikasi yang lebih umum. Kasus penggunaan yang sesuai mencakup:
- Penyusunan Ulang Teks: Mengubah gaya bahasa dan gaya teks (misalnya, kasual menjadi formal).
- Smart Reply: Membuat respons yang relevan secara kontekstual dalam rangkaian pesan chat.
- Pemeriksaan tata bahasa: Identifikasi dan perbaiki kesalahan ejaan dan tata bahasa.
- Ringkasan: Meringkas dokumen panjang menjadi ringkasan yang ringkas (paragraf atau poin penting).
Untuk performa yang optimal, lihat dokumentasi strategi perintah. Untuk mempelajari kasus penggunaan ini secara langsung, download aplikasi contoh kami dan mulai bereksperimen dengan Gemini Nano.
Gemini Nano digunakan oleh beberapa aplikasi Google. Contohnya antara lain:
- Talkback: Aplikasi aksesibilitas Android, Talkback, memanfaatkan kemampuan input multimodal Gemini Nano untuk meningkatkan deskripsi gambar bagi pengguna yang mengalami gangguan penglihatan.
- Pixel Voice Recorder: Aplikasi Pixel Voice Recorder menggunakan Gemini Nano dan AICore untuk mendukung fitur ringkasan di perangkat. Tim Perekam menggunakan model Gemini Nano terbaru untuk mendukung rekaman yang lebih lama dan memberikan ringkasan berkualitas lebih tinggi.
- Gboard: Balasan pintar Gboard memanfaatkan Gemini Nano di perangkat dengan AICore untuk memberikan balasan pintar yang akurat.