Gemini Nano với SDK Google AI Edge

Trên các thiết bị chạy Android được hỗ trợ, bạn có thể mang đến trải nghiệm AI tạo sinh phong phú mà không cần kết nối mạng hoặc gửi dữ liệu lên đám mây. AI trên thiết bị là một giải pháp tuyệt vời cho các trường hợp sử dụng mà độ trễ thấp, chi phí thấp và biện pháp bảo vệ quyền riêng tư là mối lo ngại chính của bạn.

Đối với các trường hợp sử dụng trên thiết bị, bạn có thể tận dụng mô hình nền tảng Gemini Nano của Google. Mặc dù nhỏ hơn các mô hình Gemini khác chạy suy luận trên đám mây, nhưng bạn có thể tinh chỉnh Gemini Nano để thực hiện các tác vụ chuyên biệt cũng như các tác vụ lớn hơn. Gemini Nano chạy trong dịch vụ hệ thống AICore của Android, tận dụng phần cứng thiết bị để cho phép độ trễ suy luận thấp và luôn cập nhật mô hình.

SDK AI Edge của Google cung cấp quyền truy cập vào API Gemini Nano và AICore. Google AI Edge là một bộ công cụ toàn diện dành cho công nghệ học máy trên thiết bị. Tìm hiểu thêm về Google AI Edge.

Kiến trúc

Là một mô-đun cấp hệ thống, bạn truy cập vào AICore thông qua một loạt API để chạy quy trình suy luận trên thiết bị. Ngoài ra, AICore có một số tính năng an toàn tích hợp, đảm bảo việc đánh giá kỹ lưỡng theo các bộ lọc an toàn của chúng tôi. Sơ đồ sau đây trình bày cách một ứng dụng truy cập vào AICore để chạy Gemini Nano trên thiết bị.

Bảo vệ quyền riêng tư và tính bảo mật cho dữ liệu người dùng

AI tạo sinh trên thiết bị thực thi các lời nhắc cục bộ, loại bỏ các lệnh gọi máy chủ. Phương pháp này tăng cường quyền riêng tư bằng cách lưu giữ dữ liệu nhạy cảm trên thiết bị, cho phép chức năng ngoại tuyến và giảm chi phí suy luận.

AICore tuân thủ các nguyên tắc của Lõi điện toán riêng tư, với các đặc điểm chính sau:

Giới hạn liên kết gói: AICore được tách biệt với hầu hết các gói khác, ngoại trừ một số gói hệ thống cụ thể. Mọi nội dung sửa đổi đối với danh sách cho phép này chỉ có thể xảy ra trong quá trình cập nhật OTA đầy đủ của Android.

Quyền truy cập Internet gián tiếp: AICore không có quyền truy cập Internet trực tiếp. Tất cả yêu cầu Internet, bao gồm cả việc tải mô hình xuống, đều được định tuyến thông qua tệp APK đồng hành Dịch vụ điện toán riêng tư nguồn mở. Các API trong Dịch vụ điện toán riêng tư phải thể hiện rõ bản chất tập trung vào quyền riêng tư.

Ngoài ra, AICore được xây dựng để tách biệt từng yêu cầu và không lưu trữ bất kỳ bản ghi nào về dữ liệu đầu vào hoặc kết quả đầu ra sau khi xử lý để bảo vệ quyền riêng tư của người dùng. Hãy đọc bài đăng trên blog Giới thiệu về quyền riêng tư và sự an toàn của Gemini Nano để tìm hiểu thêm.

Lợi ích của việc truy cập vào các mô hình nền tảng AI bằng AICore

AICore cho phép hệ điều hành Android cung cấp và quản lý các mô hình nền tảng AI. Điều này giúp giảm đáng kể chi phí sử dụng các mô hình lớn này trong ứng dụng, chủ yếu là do:

Dễ dàng triển khai: AICore quản lý việc phân phối Gemini Nano và xử lý các bản cập nhật trong tương lai. Bạn không cần lo lắng về việc tải xuống hoặc cập nhật các mô hình lớn qua mạng, cũng như không ảnh hưởng đến ngân sách bộ nhớ thời gian chạy và ổ đĩa của ứng dụng.

Tính năng suy luận tăng tốc: AICore tận dụng phần cứng trên thiết bị để tăng tốc suy luận. Ứng dụng của bạn sẽ đạt được hiệu suất tốt nhất trên mỗi thiết bị và bạn không cần phải lo lắng về các giao diện phần cứng cơ bản.

Chức năng được hỗ trợ

AICore hỗ trợ các thiết bị và phương thức sau:

• Thiết bị được hỗ trợ: AICore hiện có trên các thiết bị dòng Pixel 9, thiết bị dòng Google Pixel 8 bao gồm Pixel 8¹ và Pixel 8a², thiết bị dòng Samsung S24, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro và Xiaomi MIX Flip.
• Chế độ được hỗ trợ: AICore hiện hỗ trợ chế độ văn bản cho Gemini Nano.

Hỗ trợ thêm về thiết bị và phương thức là những lĩnh vực mà chúng tôi đang tích cực đầu tư.

Trường hợp sử dụng

Do các hạn chế về tài nguyên của thiết bị di động so với máy chủ đám mây, nên các mô hình AI tạo sinh trên thiết bị được thiết kế tập trung vào hiệu quả và kích thước. Tính năng tối ưu hoá này ưu tiên các tác vụ cụ thể, được xác định rõ ràng hơn so với các ứng dụng chung chung hơn. Sau đây là một số trường hợp sử dụng phù hợp:

• Diễn đạt lại văn bản: Sửa đổi giọng điệu và kiểu văn bản (ví dụ: từ thân mật sang trang trọng).
• Trả lời thông minh: Tạo các câu trả lời phù hợp theo ngữ cảnh trong một chuỗi tin nhắn trò chuyện.
• Hiệu đính: Xác định và sửa lỗi chính tả và ngữ pháp.
• Tóm tắt: Thu gọn các tài liệu dài thành bản tóm tắt ngắn gọn (đoạn văn hoặc dấu đầu dòng).

Để đạt được hiệu suất tối ưu, hãy tham khảo tài liệu về chiến lược nhắc. Để tự mình khám phá những trường hợp sử dụng này, hãy tải ứng dụng mẫu của chúng tôi xuống và bắt đầu thử nghiệm với Gemini Nano.

Một số ứng dụng của Google sử dụng Gemini Nano. Một số ví dụ bao gồm:

• TalkBack: Ứng dụng hỗ trợ tiếp cận TalkBack của Android tận dụng các tính năng nhập đa phương thức của Gemini Nano để cải thiện nội dung mô tả hình ảnh cho người dùng khiếm thị.
• Máy ghi âm Pixel: Ứng dụng Máy ghi âm Pixel sử dụng Gemini Nano và AICore để hỗ trợ tính năng tóm tắt trên thiết bị. Nhóm Trình ghi âm đã sử dụng mô hình Gemini Nano mới nhất để hỗ trợ các bản ghi âm dài hơn và cung cấp bản tóm tắt chất lượng cao hơn.
• Gboard: Tính năng trả lời thông minh của Gboard tận dụng Gemini Nano trên thiết bị với AICore để đưa ra câu trả lời thông minh chính xác.