Gemini Nano

Gemini Nano giúp bạn mang đến trải nghiệm AI tạo sinh phong phú mà không cần kết nối mạng hoặc gửi dữ liệu lên đám mây. AI trên thiết bị là một giải pháp tuyệt vời cho những trường hợp sử dụng mà bạn quan tâm nhất đến chi phí thấp và các biện pháp bảo vệ quyền riêng tư.

Đối với các trường hợp sử dụng trên thiết bị, bạn có thể tận dụng mô hình nền tảng Gemini Nano của Google. Gemini Nano chạy trong dịch vụ hệ thống AICore của Android, tận dụng phần cứng thiết bị để giảm độ trễ suy luận và luôn cập nhật mô hình.

API GenAI của Bộ công cụ học máy

Các API GenAI của Bộ công cụ học máy khai thác sức mạnh của Gemini Nano để giúp ứng dụng của bạn thực hiện các tác vụ AI tạo sinh trên thiết bị. Các API này được xây dựng dựa trên AICore, một dịch vụ hệ thống Android cho phép thực thi các mô hình nền tảng AI tạo sinh trên thiết bị để hỗ trợ các tính năng như chức năng của ứng dụng nâng cao và cải thiện quyền riêng tư của người dùng bằng cách xử lý dữ liệu cục bộ. Tìm hiểu thêm.

Các tính năng chính

Bộ công cụ học máy sắp xếp các tính năng AI tạo sinh thành các danh mục sau:

Tác nhân và nội dung tạo tuỳ chỉnh

Làm việc trực tiếp với mô hình nền tảng Gemini Nano cho các trường hợp sử dụng tuỳ chỉnh:

  • Truy cập trực tiếp vào mô hình (bằng cách sử dụng lớp GenerativeModel): Tạo văn bản hoặc kết quả có cấu trúc được nhập từ câu lệnh đa phương thức hoặc chỉ có văn bản tuỳ chỉnh, hoặc quản lý nhật ký trò chuyện nhiều lượt của riêng bạn trực tiếp bằng cách sử dụng đối tượng List<Content> có vai trò USER và MODEL và giá trị sessionId.
  • Quy trình làm việc dựa trên tác nhân (sử dụng lớp AgentRunner): Được xây dựng dựa trên lớp GenerativeModel, tự động hoá việc quản lý phiên nhiều lượt (bao gồm cả nhật ký trò chuyện trong bộ nhớ) và vòng lặp gọi công cụ nhiều bước.

Giọng nói và âm thanh

Chép lời, dịch và tổng hợp âm thanh lời nói trên thiết bị:

Nhiệm vụ về văn bản và hình ảnh

Sử dụng các API dành riêng cho tác vụ được tối ưu hoá cho các tác vụ thị giác, viết và tìm kiếm phổ biến thông qua giao diện cấp cao:

  • Mô tả hình ảnh: Tạo nội dung mô tả ngắn về một hình ảnh nhất định.
  • Tóm tắt: Tóm tắt bài viết hoặc cuộc trò chuyện dưới dạng danh sách có dấu đầu dòng.
  • Hiệu đính: Hiệu đính tin nhắn trò chuyện ngắn.
  • Viết lại: Viết lại tin nhắn trò chuyện ngắn theo nhiều giọng điệu hoặc phong cách khác nhau.
  • Tìm kiếm ngữ nghĩa: Tạo các mục nhúng vectơ cho văn bản và hình ảnh bằng API Nhúng và ghép nối các mục đó với AppSearch của AndroidX để tìm nội dung theo ý nghĩa.

Kiến trúc thông qua AICore

Là một mô-đun cấp hệ thống, bạn truy cập vào AICore thông qua một loạt API để chạy suy luận trên thiết bị. Ngoài ra, AICore còn có một số tính năng an toàn tích hợp sẵn, đảm bảo đánh giá kỹ lưỡng dựa trên các bộ lọc an toàn của chúng tôi. Sơ đồ sau đây trình bày cách một ứng dụng truy cập vào AICore để chạy Gemini Nano trên thiết bị.

Biểu đồ cho thấy cách một ứng dụng Android sử dụng SDK Google AI Edge để truy cập vào AICore, nơi Gemini Nano, LoRA và các tính năng an toàn được quản lý và chạy trên trình tăng tốc phần cứng.
Hình 1. AICore đóng vai trò là giao diện giữa ứng dụng của bạn và mô hình Gemini Nano, quản lý các bản cập nhật và tính an toàn của mô hình, đồng thời tận dụng phần cứng trên thiết bị.

Bảo vệ quyền riêng tư và tính bảo mật cho dữ liệu người dùng

AI tạo sinh trên thiết bị thực thi các câu lệnh ngay trên thiết bị, giúp loại bỏ các lệnh gọi đến máy chủ. Mặc dù cách này giúp loại bỏ độ trễ mạng, nhưng tốc độ suy luận phụ thuộc vào phần cứng của thiết bị. Phương pháp này giúp tăng cường quyền riêng tư bằng cách lưu giữ dữ liệu nhạy cảm trên thiết bị, cho phép sử dụng chức năng khi không có mạng và giảm chi phí suy luận.

AICore tuân thủ các nguyên tắc của Lõi điện toán riêng tư, với các đặc điểm chính sau:

  • Liên kết gói bị hạn chế: AICore được tách biệt khỏi hầu hết các gói khác, ngoại trừ một số gói hệ thống cụ thể. Mọi nội dung sửa đổi đối với danh sách cho phép này chỉ có thể diễn ra trong quá trình cập nhật qua mạng không dây (OTA) đầy đủ của Android.
  • Truy cập Internet gián tiếp: AICore không có quyền truy cập Internet trực tiếp. Tất cả yêu cầu qua Internet, bao gồm cả việc tải mô hình xuống, đều được định tuyến thông qua tệp APK đồng hành Dịch vụ điện toán riêng tư nguồn mở. Các API trong Dịch vụ điện toán riêng tư phải thể hiện rõ ràng bản chất tập trung vào quyền riêng tư.

Ngoài ra, AICore được xây dựng để tách biệt từng yêu cầu và không lưu trữ bất kỳ bản ghi nào về dữ liệu đầu vào hoặc kết quả đầu ra sau khi xử lý để bảo vệ quyền riêng tư của người dùng. Hãy đọc bài đăng trên blog Giới thiệu về quyền riêng tư và sự an toàn cho Gemini Nano để tìm hiểu thêm.

Sơ đồ kiến trúc chi tiết của AICore cho thấy quy trình yêu cầu: Nền tảng API, xử lý dữ liệu đầu vào bằng tín hiệu an toàn, cấu hình tính năng, thời gian chạy với trọng số mô hình và LoRA, cũng như xử lý dữ liệu đầu ra bằng tín hiệu an toàn. Trang này cũng cho thấy các lượt tải mô hình xuống thông qua Dịch vụ điện toán riêng tư.
Hình 2. Kiến trúc AICore quản lý tính an toàn của dữ liệu đầu vào và đầu ra, quá trình xử lý yêu cầu và trọng số mô hình để cung cấp một môi trường an toàn cho AI trên thiết bị.

Lợi ích của việc truy cập vào các mô hình nền tảng AI bằng AICore

AICore cho phép hệ điều hành Android cung cấp và quản lý các mô hình nền tảng AI. Điều này giúp giảm đáng kể chi phí sử dụng các mô hình lớn này trong ứng dụng của bạn, chủ yếu là do những lý do sau:

  • Dễ triển khai: AICore quản lý việc phân phối Gemini Nano và xử lý các bản cập nhật trong tương lai. Bạn không cần lo lắng về việc tải xuống hoặc cập nhật các mô hình lớn qua mạng, cũng như không cần lo lắng về tác động đến ngân sách bộ nhớ thời gian chạy và ổ đĩa của ứng dụng.
  • Suy luận nhanh hơn: AICore tận dụng phần cứng trên thiết bị để suy luận nhanh hơn. Ứng dụng của bạn sẽ đạt được hiệu suất tốt nhất trên từng thiết bị và bạn không cần phải lo lắng về giao diện phần cứng cơ bản.

Trường hợp nên sử dụng suy luận kết hợp

Mặc dù Gemini Nano là lựa chọn lý tưởng cho các nhiệm vụ ngoại tuyến và nhạy cảm về quyền riêng tư, nhưng mô hình này có các quy tắc ràng buộc trên thiết bị, chẳng hạn như giới hạn về mã thông báo, giới hạn về phần cứng của thiết bị và ranh giới về khả năng của mô hình. Trong những trường hợp này, bạn có thể sử dụng suy luận kết hợp để cân bằng khối lượng công việc AI giữa thiết bị cục bộ và đám mây.

Để đảm bảo trải nghiệm người dùng nhất quán trên tất cả thiết bị và xử lý các truy vấn phức tạp, bạn có thể sử dụng Firebase AI Logic Hybrid API. Điều này cho phép ứng dụng của bạn làm những việc sau:

  • Dự phòng linh hoạt: Tự động định tuyến các yêu cầu đến mô hình Gemini Flash hoặc Gemini Pro trên đám mây khi Gemini Nano không hoạt động hoặc không được hỗ trợ trên thiết bị của người dùng.
  • Thực thi bảo mật: Bảo vệ suy luận trên đám mây bằng Kiểm tra ứng dụng Firebase (và các nhà cung cấp dịch vụ chứng thực được hỗ trợ, chẳng hạn như Play Integrity) và giữ các câu lệnh nhạy cảm của hệ thống ở phía máy chủ.