Gemini Nano

Gemini Nano memungkinkan Anda menghadirkan pengalaman AI generatif yang kaya tanpa memerlukan koneksi jaringan atau mengirim data ke cloud. AI di perangkat adalah solusi yang tepat untuk kasus penggunaan yang mengutamakan biaya rendah dan perlindungan privasi.

Untuk kasus penggunaan di perangkat, Anda dapat memanfaatkan model dasar Gemini Nano Google. Gemini Nano berjalan di layanan sistem AICore Android, yang memanfaatkan hardware perangkat untuk memungkinkan latensi inferensi rendah dan menjaga model tetap terbaru.

API GenAI ML Kit

API GenAI ML Kit memanfaatkan kemampuan Gemini Nano untuk membantu aplikasi Anda menjalankan tugas. API ini memberikan kualitas siap pakai untuk kasus penggunaan populer melalui antarmuka tingkat tinggi. API GenAI ML Kit dibangun di atas AICore, layanan sistem Android yang memungkinkan eksekusi model dasar GenAI di perangkat untuk memfasilitasi fitur seperti fungsi aplikasi yang ditingkatkan dan privasi pengguna yang lebih baik dengan memproses data secara lokal. Pelajari lebih lanjut.

Fitur utama

API GenAI ML Kit mendukung fitur berikut:

  • Prompt: Membuat konten teks berdasarkan prompt multimodal atau khusus teks.
  • Ringkasan: Meringkas artikel atau percakapan sebagai daftar berbutir.
  • Pemeriksaan tata bahasa: Memeriksa tata bahasa pesan chat singkat.
  • **Penulisan ulang**: Menulis ulang pesan chat singkat dengan gaya atau nada yang berbeda.
  • Deskripsi Gambar: Membuat deskripsi singkat gambar tertentu.
  • Pengenalan Ucapan: Mentranskripsikan audio yang diucapkan menjadi teks.

Arsitektur melalui AICore

Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan, yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.

Diagram yang menunjukkan cara aplikasi Android menggunakan Google AI Edge SDK untuk mengakses AICore, tempat Gemini Nano, LoRA, dan fitur keamanan dikelola dan dijalankan pada akselerator hardware.
Gambar 1. AICore berfungsi sebagai antarmuka antara aplikasi Anda dan model Gemini Nano, mengelola update dan keamanan model sekaligus memanfaatkan hardware di perangkat.

Menjaga privasi dan keamanan data pengguna

AI generatif di perangkat menjalankan prompt secara lokal, sehingga tidak perlu melakukan panggilan server. Meskipun hal ini menghilangkan latensi jaringan, kecepatan inferensi bergantung pada hardware perangkat. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, memungkinkan fungsi offline, dan mengurangi biaya inferensi.

AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:

  • Pengikatan Paket Terbatas: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap modifikasi pada daftar yang diizinkan ini hanya dapat terjadi selama update OTA Android penuh.
  • Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Private Compute Services harus secara eksplisit menunjukkan sifatnya yang berpusat pada privasi.

Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan catatan data input atau output yang dihasilkan setelah memprosesnya untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.

Diagram arsitektur mendetail AICore yang menunjukkan alur permintaan: Permukaan API, pemrosesan input dengan sinyal keamanan, konfigurasi fitur, runtime dengan bobot model dan LoRA, serta pemrosesan output dengan sinyal keamanan. Dasbor ini juga menampilkan download model melalui Private Compute Services.
Gambar 2. Arsitektur AICore mengelola keamanan input dan output, pemrosesan permintaan, dan bobot model untuk menyediakan lingkungan yang aman bagi AI di perangkat.

Manfaat mengakses model dasar AI dengan AICore

AICore memungkinkan OS Android menyediakan dan mengelola model dasar AI. Hal ini secara signifikan mengurangi biaya penggunaan model besar ini di aplikasi Anda, terutama karena hal berikut:

  • Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update mendatang. Anda tidak perlu khawatir mendownload atau mengupdate model besar melalui jaringan, maupun dampak pada anggaran memori runtime dan disk aplikasi Anda.
  • Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu khawatir tentang antarmuka hardware yang mendasarinya.