Gemini Nano dengan Google AI Edge SDK

Di perangkat yang didukung Android yang didukung, Anda dapat memberikan pengalaman AI generatif yang kaya tanpa memerlukan koneksi jaringan atau mengirim data ke cloud. AI di perangkat adalah solusi yang bagus untuk kasus penggunaan yang memerlukan latensi rendah, biaya rendah, dan perlindungan privasi.

Untuk kasus penggunaan di perangkat, Anda dapat memanfaatkan model fondasi Gemini Nano Google. Meskipun lebih kecil dari model Gemini lainnya yang menjalankan inferensi di cloud, Anda dapat menyesuaikan Gemini Nano untuk melakukan tugas khusus serta model yang lebih besar. Gemini Nano berjalan di layanan sistem AICore Android, yang memanfaatkan hardware perangkat untuk memungkinkan latensi inferensi rendah dan membuat model selalu terbaru.

Akses ke Gemini Nano API dan AICore disediakan oleh Google AI Edge SDK. Google AI Edge adalah rangkaian alat komprehensif untuk ML di perangkat. Pelajari Google AI Edge lebih lanjut.

Arsitektur

Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan, yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.

Menjaga kerahasiaan dan keamanan data pengguna

AI generatif di perangkat mengeksekusi perintah secara lokal, sehingga menghilangkan panggilan server. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, mengaktifkan fungsi offline, dan mengurangi biaya inferensi.

AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:

Pemikatan Paket yang Dibatasi: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap modifikasi pada daftar yang diizinkan ini hanya dapat dilakukan selama update OTA Android penuh.

Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Layanan Compute Pribadi harus secara eksplisit menunjukkan sifatnya yang berfokus pada privasi.

Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan catatan data input atau output yang dihasilkan setelah memprosesnya untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.

Manfaat mengakses model dasar AI dengan AICore

AICore memungkinkan Android OS menyediakan dan mengelola model dasar AI. Hal ini secara signifikan mengurangi biaya penggunaan model besar ini di aplikasi Anda, terutama karena hal berikut:

Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update mendatang. Anda tidak perlu khawatir untuk mendownload atau mengupdate model besar melalui jaringan, atau memengaruhi anggaran memori disk dan runtime aplikasi Anda.

Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu khawatir dengan antarmuka hardware yang mendasarinya.

Fungsi yang didukung

AICore mendukung perangkat dan modalitas berikut:

• Perangkat yang Didukung: AICore saat ini tersedia di perangkat seri Pixel 9, perangkat Google Pixel 8 Series termasuk Pixel 8¹ dan Pixel 8a², perangkat Samsung S24 Series, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro, dan Xiaomi MIX Flip.
• Modalitas yang Didukung: AICore saat ini mendukung modalitas teks untuk Gemini Nano.

Dukungan perangkat dan modalitas tambahan adalah area investasi aktif.

Kasus penggunaan

Karena keterbatasan resource perangkat seluler dibandingkan dengan server cloud, model AI generatif di perangkat dirancang dengan fokus pada efisiensi dan ukuran. Pengoptimalan ini memprioritaskan tugas tertentu yang telah ditentukan dengan baik daripada aplikasi yang lebih umum. Kasus penggunaan yang sesuai mencakup:

• Penyusunan Ulang Teks: Mengubah nuansa dan gaya teks (misalnya, kasual menjadi formal).
• Smart Reply: Membuat respons yang relevan secara kontekstual dalam rangkaian pesan chat.
• Pemeriksaan tata bahasa: Identifikasi dan perbaiki kesalahan ejaan dan tata bahasa.
• Ringkasan: Meringkas dokumen panjang menjadi ringkasan yang ringkas (paragraf atau poin butir).

Untuk performa yang optimal, lihat dokumentasi strategi perintah. Untuk menjelajahi kasus penggunaan ini secara langsung, download aplikasi contoh kami dan mulai bereksperimen dengan Gemini Nano.

Gemini Nano digunakan oleh beberapa aplikasi Google. Contohnya antara lain:

• Talkback: Aplikasi aksesibilitas Android Talkback memanfaatkan kemampuan input multimodal Gemini Nano untuk meningkatkan deskripsi gambar bagi pengguna yang mengalami gangguan penglihatan.
• Pixel Voice Recorder: Aplikasi Pixel Voice Recorder menggunakan Gemini Nano dan AICore untuk mendukung fitur ringkasan di perangkat. Tim Perekam Suara menggunakan model Gemini Nano terbaru untuk mendukung rekaman yang lebih lama dan memberikan ringkasan berkualitas lebih tinggi.
• Gboard: Smart Reply Gboard memanfaatkan Gemini Nano di perangkat dengan AICore untuk memberikan smart reply yang akurat.