Gemini Nano

Gemini Nano giúp bạn mang đến trải nghiệm AI tạo sinh phong phú mà không cần kết nối mạng hoặc gửi dữ liệu lên đám mây. AI trên thiết bị là một giải pháp tuyệt vời cho những trường hợp sử dụng mà bạn lo ngại chủ yếu về chi phí thấp và các biện pháp bảo vệ quyền riêng tư.

Đối với các trường hợp sử dụng trên thiết bị, bạn có thể tận dụng mô hình cơ sở Gemini Nano của Google. Gemini Nano chạy trong dịch vụ hệ thống AICore của Android, tận dụng phần cứng của thiết bị để giảm độ trễ suy luận và giúp mô hình luôn được cập nhật.

API GenAI của Bộ công cụ học máy

Các API GenAI của Bộ công cụ học máy khai thác sức mạnh của Gemini Nano để giúp các ứng dụng của bạn thực hiện các tác vụ. Các API này cung cấp chất lượng sẵn có cho các trường hợp sử dụng phổ biến thông qua một giao diện cấp cao. Các API GenAI của Bộ công cụ học máy được xây dựng dựa trên AICore, một dịch vụ hệ thống Android cho phép thực thi các mô hình nền tảng AI tạo sinh trên thiết bị để hỗ trợ các tính năng như chức năng của ứng dụng nâng cao và cải thiện quyền riêng tư của người dùng bằng cách xử lý dữ liệu cục bộ. Tìm hiểu thêm.

Các tính năng chính

Các API GenAI của Bộ công cụ học máy hỗ trợ những tính năng sau:

• Câu lệnh: Tạo nội dung văn bản dựa trên câu lệnh tuỳ chỉnh chỉ có văn bản hoặc câu lệnh đa phương thức.
• Tóm tắt: Tóm tắt bài viết hoặc cuộc trò chuyện dưới dạng danh sách có dấu đầu dòng.
• Hiệu đính: Hiệu đính tin nhắn trò chuyện ngắn.
• Viết lại: Viết lại tin nhắn trò chuyện ngắn theo nhiều giọng điệu hoặc phong cách.
• Nội dung mô tả hình ảnh: Tạo một nội dung mô tả ngắn về một hình ảnh nhất định.
• Nhận dạng lời nói: Chuyển lời nói thành văn bản.

android skills add ml-kit-genai-prompt-api

Cấu trúc thông qua AICore

Là một mô-đun cấp hệ thống, bạn truy cập vào AICore thông qua một loạt API để chạy suy luận trên thiết bị. Ngoài ra, AICore có một số tính năng an toàn tích hợp, đảm bảo đánh giá kỹ lưỡng dựa trên các bộ lọc an toàn của chúng tôi. Sơ đồ sau đây trình bày cách một ứng dụng truy cập vào AICore để chạy Gemini Nano trên thiết bị.

Bảo vệ quyền riêng tư và tính bảo mật cho dữ liệu người dùng

AI tạo sinh trên thiết bị thực thi các câu lệnh ngay trên thiết bị, giúp loại bỏ các lệnh gọi máy chủ. Mặc dù việc này giúp loại bỏ độ trễ mạng, nhưng tốc độ suy luận phụ thuộc vào phần cứng của thiết bị. Phương pháp này giúp tăng cường quyền riêng tư bằng cách lưu giữ dữ liệu nhạy cảm trên thiết bị, cho phép sử dụng chức năng ngoại tuyến và giảm chi phí suy luận.

AICore tuân thủ các nguyên tắc của Lõi điện toán riêng tư, với những đặc điểm chính sau:

• Liên kết gói bị hạn chế: AICore tách biệt với hầu hết các gói khác, với một số ít trường hợp ngoại lệ đối với các gói hệ thống cụ thể. Mọi nội dung sửa đổi đối với danh sách cho phép này chỉ có thể diễn ra trong quá trình cập nhật qua mạng không dây Android đầy đủ.
• Truy cập Internet gián tiếp: AICore không có quyền truy cập trực tiếp vào Internet. Tất cả các yêu cầu trên Internet, bao gồm cả yêu cầu tải mô hình xuống, đều được định tuyến thông qua APK đồng hành Dịch vụ điện toán riêng tư nguồn mở. Các API trong Private Compute Services phải thể hiện rõ bản chất tập trung vào quyền riêng tư của chúng.

Ngoài ra, AICore được xây dựng để tách biệt từng yêu cầu và không lưu trữ bất kỳ bản ghi nào về dữ liệu đầu vào hoặc đầu ra thu được sau khi xử lý dữ liệu đó nhằm bảo vệ quyền riêng tư của người dùng. Hãy đọc bài đăng trên blog Giới thiệu về quyền riêng tư và sự an toàn cho Gemini Nano để tìm hiểu thêm.

Lợi ích của việc truy cập vào các mô hình nền tảng AI bằng AICore

AICore cho phép hệ điều hành Android cung cấp và quản lý các mô hình nền tảng AI. Điều này giúp giảm đáng kể chi phí sử dụng các mô hình lớn này trong ứng dụng của bạn, chủ yếu là do những lý do sau:

• Dễ dàng triển khai: AICore quản lý việc phân phối Gemini Nano và xử lý các bản cập nhật trong tương lai. Bạn không cần lo lắng về việc tải xuống hoặc cập nhật các mô hình lớn qua mạng, cũng như không ảnh hưởng đến ngân sách bộ nhớ thời gian chạy và đĩa của ứng dụng.
• Suy luận tăng tốc: AICore tận dụng phần cứng trên thiết bị để tăng tốc quá trình suy luận. Ứng dụng của bạn sẽ đạt được hiệu suất tốt nhất trên mỗi thiết bị và bạn không cần lo lắng về các giao diện phần cứng cơ bản.

Trường hợp nên sử dụng suy luận kết hợp

Mặc dù Gemini Nano phù hợp với các tác vụ không cần mạng và nhạy cảm với quyền riêng tư, nhưng mô hình này có những hạn chế trên thiết bị như giới hạn mã thông báo, giới hạn phần cứng của thiết bị và ranh giới về khả năng của mô hình. Trong những trường hợp này, bạn có thể sử dụng suy luận kết hợp để cân bằng khối lượng công việc AI giữa thiết bị cục bộ và đám mây.

Để đảm bảo trải nghiệm nhất quán cho người dùng trên tất cả các thiết bị và xử lý các truy vấn phức tạp, bạn có thể sử dụng Firebase AI Logic Hybrid API. Điều này cho phép ứng dụng của bạn làm những việc sau:

• Chuyển đổi dự phòng một cách linh hoạt: Tự động định tuyến các yêu cầu đến mô hình Gemini Flash hoặc Gemini Pro trên đám mây khi Gemini Nano không hoạt động hoặc không được hỗ trợ trên thiết bị của người dùng.
• Thực thi bảo mật: Bảo vệ suy luận trên đám mây bằng Kiểm tra ứng dụng Firebase (và các nhà cung cấp dịch vụ chứng thực được hỗ trợ, chẳng hạn như Play Integrity) và giữ các lời nhắc nhạy cảm của hệ thống ở phía máy chủ.