Google AI Edge SDK cho phép nhà phát triển truy cập thử nghiệm để kiểm tra khả năng cải tiến ứng dụng bằng các tính năng AI trên thiết bị thông qua Gemini Nano.
Cấu trúc thông qua AICore
Là một mô-đun cấp hệ thống, bạn có thể truy cập vào AICore thông qua một loạt API để chạy suy luận trên thiết bị. Ngoài ra, AICore còn có một số tính năng an toàn tích hợp, đảm bảo đánh giá kỹ lưỡng dựa trên các bộ lọc an toàn của chúng tôi. Sơ đồ sau đây trình bày cách một ứng dụng truy cập vào AICore để chạy Gemini Nano trên thiết bị.
Bảo vệ quyền riêng tư và tính bảo mật cho dữ liệu người dùng
AI tạo sinh trên thiết bị thực thi các câu lệnh cục bộ, loại bỏ các lệnh gọi máy chủ. Phương pháp này giúp tăng cường quyền riêng tư bằng cách lưu giữ dữ liệu nhạy cảm trên thiết bị, cho phép chức năng ngoại tuyến và giảm chi phí suy luận.
AICore tuân thủ các nguyên tắc của Lõi điện toán riêng tư, với những đặc điểm chính sau:
- Liên kết gói bị hạn chế: AICore được tách biệt với hầu hết các gói khác, với một số ít trường hợp ngoại lệ đối với các gói hệ thống cụ thể. Mọi nội dung sửa đổi đối với danh sách cho phép này chỉ có thể xảy ra trong quá trình cập nhật OTA Android đầy đủ.
- Quyền truy cập Internet gián tiếp: AICore không có quyền truy cập trực tiếp vào Internet. Tất cả các yêu cầu trên Internet, bao gồm cả yêu cầu tải mô hình xuống, đều được định tuyến thông qua APK đồng hành Dịch vụ điện toán riêng tư nguồn mở. Các API trong Private Compute Services phải thể hiện rõ bản chất tập trung vào quyền riêng tư của chúng.
Ngoài ra, AICore được xây dựng để tách biệt từng yêu cầu và không lưu trữ bất kỳ bản ghi nào về dữ liệu đầu vào hoặc đầu ra kết quả sau khi xử lý để bảo vệ quyền riêng tư của người dùng. Hãy đọc bài đăng trên blog Giới thiệu về quyền riêng tư và an toàn cho Gemini Nano để tìm hiểu thêm.
Lợi ích khi truy cập vào các mô hình nền tảng AI bằng AI Core
AICore cho phép hệ điều hành Android cung cấp và quản lý các mô hình nền tảng AI. Điều này giúp giảm đáng kể chi phí sử dụng các mô hình lớn này trong ứng dụng của bạn, chủ yếu là do những lý do sau:
- Dễ dàng triển khai: AICore quản lý việc phân phối Gemini Nano và xử lý các bản cập nhật trong tương lai. Bạn không cần lo lắng về việc tải xuống hoặc cập nhật các mô hình lớn qua mạng, cũng như không ảnh hưởng đến ngân sách bộ nhớ thời gian chạy và đĩa của ứng dụng.
- Suy luận tăng tốc: AICore tận dụng phần cứng trên thiết bị để tăng tốc suy luận. Ứng dụng của bạn sẽ có hiệu suất tốt nhất trên mỗi thiết bị và bạn không cần lo lắng về các giao diện phần cứng cơ bản.
Chức năng được hỗ trợ
- Thiết bị được hỗ trợ: Bạn có thể thử nghiệm Gemini Nano bằng Google AI Edge SDK trên các thiết bị dòng Pixel 9.
- Các phương thức được hỗ trợ: AICore hỗ trợ phương thức văn bản cho Gemini Nano.
Chúng tôi đang tích cực đầu tư vào việc hỗ trợ thêm thiết bị và phương thức.
Trường hợp sử dụng
Do những hạn chế về tài nguyên của thiết bị di động so với máy chủ đám mây, các mô hình AI tạo sinh trên thiết bị được thiết kế chú trọng đến hiệu suất và kích thước. Việc tối ưu hoá này ưu tiên các tác vụ cụ thể, được xác định rõ ràng hơn là các ứng dụng tổng quát hơn. Các trường hợp sử dụng phù hợp bao gồm:
- Diễn đạt lại văn bản: Sửa đổi giọng điệu và phong cách của văn bản (ví dụ: từ thân mật sang trang trọng).
- Tính năng Trả lời thông minh: Tạo câu trả lời phù hợp với ngữ cảnh trong một chuỗi trò chuyện.
- Hiệu đính: Xác định và sửa lỗi chính tả và ngữ pháp.
- Tóm tắt: Rút gọn tài liệu dài thành bản tóm tắt ngắn gọn (đoạn văn hoặc dấu đầu dòng).
Để đạt được hiệu suất tối ưu, hãy tham khảo tài liệu về chiến lược tạo câu lệnh. Để tự mình khám phá những trường hợp sử dụng này, hãy tải ứng dụng mẫu của chúng tôi xuống và bắt đầu thử nghiệm Gemini Nano.
Một số ứng dụng của Google sử dụng Gemini Nano. Một số ví dụ bao gồm:
- TalkBack: Ứng dụng hỗ trợ tiếp cận TalkBack của Android tận dụng các khả năng nhập đa phương thức của Gemini Nano để cải thiện nội dung mô tả hình ảnh cho người dùng khiếm thị.
- Máy ghi âm Pixel: Ứng dụng Máy ghi âm Pixel sử dụng Gemini Nano và AICore để hỗ trợ tính năng tóm tắt trên thiết bị. Nhóm Máy ghi âm đã áp dụng mô hình Gemini Nano mới nhất để hỗ trợ các bản ghi âm dài hơn và cung cấp bản tóm tắt chất lượng cao hơn.
- Bàn phím Google (Gboard): Tính năng trả lời thông minh của Gboard tận dụng mô hình Gemini Nano trên thiết bị có AICore để đưa ra câu trả lời thông minh chính xác.