จาก Agent ในแอปไปจนถึงระบบอัจฉริยะของ Android: มีอะไรใหม่ในแอปอัจฉริยะที่ Android Developer Summit

ในยุคของระบบอัจฉริยะ ผู้ใช้ไม่ได้เพียงแค่แตะผ่านแอปเท่านั้น แต่ยังแสดงเป้าหมายระดับสูงและคาดหวังให้ AI Agent อย่าง Gemini ทำเวิร์กโฟลว์หลายขั้นตอนให้เสร็จสมบูรณ์ ซึ่งบางครั้งอาจครอบคลุมหลายแอปในอุปกรณ์ เรากำลังเปิดตัววิธีใหม่ๆ ในการสร้างประสบการณ์การใช้งานที่ชาญฉลาดและทำงานแบบ Agentic ในแอป Android เพื่อช่วยให้คุณเข้าถึงผู้ใช้ได้ทุกที่ทุกเวลา ดังนี้

• เชื่อมต่อกับระบบอัจฉริยะของ Android: แชร์ความสามารถของแอปกับตัวแทนระบบด้วย Android MCP หากต้องการให้ผู้ใช้เชื่อมต่อกับแอปของคุณโดยตรงผ่านแอป Gemini และ Google Search บน Android ให้เข้าร่วมโปรแกรมพรีวิวแพลตฟอร์มแอปที่เชื่อมต่อ
• เพิ่มความอัจฉริยะให้กับแอป: สร้างฟีเจอร์และ Agent อัจฉริยะในอุปกรณ์ด้วย GenAI API ของ ML Kit และนำโมเดล ML ที่กำหนดเองมาใช้กับ LiteRT ในบริการ Google Play ใช้ประโยชน์จากโมเดล Gemini บนระบบคลาวด์ด้วย Firebase AI Logic และเปิดใช้ Agent เพื่อสร้าง Compose UI แบบเนทีฟด้วยโปรแกรมแสดงผล A2UI Compose

คุณได้เห็น API และเครื่องมือสำหรับนักพัฒนาซอฟต์แวร์ใหม่ๆ เหล่านี้ไปบ้างแล้วในคีย์โน้ตของ Android Developer Summit ตอนนี้คุณสามารถเรียนรู้จากแหล่งข้อมูลเจาะลึกใหม่ๆ ที่จะช่วยคุณสร้างแอปอัจฉริยะ ซึ่งรวมถึงเซสชันแบบออนดีมานด์ใหม่ 10 เซสชันเกี่ยวกับประสบการณ์อัจฉริยะใหม่ๆ

เชื่อมต่อกับระบบอัจฉริยะของ Android

ระบบ Android Intelligence เป็นรากฐานของระบบที่ออกแบบมาเพื่อปกป้องผู้ใช้ขณะเชื่อมต่อ AI Agent กับแอปในอุปกรณ์ Android โดยจะให้ทั้งความช่วยเหลือตามคำสั่งและความช่วยเหลือเชิงรุกแก่ผู้ใช้ในระบบนิเวศของอุปกรณ์ Android ซึ่งครอบคลุมทั้งโทรศัพท์ อุปกรณ์ที่สวมใส่ได้ แว่นตา XR ทีวี และรถยนต์ 

• ความช่วยเหลือตามพรอมต์: เมื่อผู้ใช้ขอให้ Agent บรรลุเป้าหมายอย่างจริงจัง (เช่น "ตรวจสอบปฏิทิน จองรถ และส่งข้อความหา Jingyu เกี่ยวกับเวลาถึงโดยประมาณ") Agent จะจัดระเบียบเครื่องมือในแอปต่างๆ เพื่อให้บรรลุเป้าหมาย หากต้องการการดำเนินการที่รวดเร็วและเชื่อถือได้มากที่สุด คุณสามารถใช้เซิร์ฟเวอร์ MCP ระยะไกลหรือ Android MCP ในเครื่อง นอกจากนี้ เอเจนต์ยังสามารถกลับไปใช้เฟรมเวิร์กการควบคุมคอมพิวเตอร์ของ Android เพื่อดำเนินการให้เสร็จสมบูรณ์โดยไม่ต้องผสานรวมฝั่งแอป
• การให้ความช่วยเหลือเชิงรุก: ระบบจะคาดการณ์ความต้องการของผู้ใช้และแสดงชิปคำแนะนำตามบริบทโดยตรงบนหน้าจอล็อก การแจ้งเตือน แป้นพิมพ์เสมือน และภายในแอป 

เราให้คุณควบคุมวิธีที่แอปผสานรวมกับระบบอัจฉริยะของ Android โดยการจัดหา API และเครื่องมือที่อิงตามมาตรฐาน MCP ที่คุ้นเคย Android MCP ซึ่งขับเคลื่อนโดยไลบรารี AppFunctions Jetpack เป็นเฟรมเวิร์กการเรียกใช้เครื่องมือแบบรวมของเรา ซึ่งช่วยให้คุณเชื่อมต่อกับ AI Agent ที่มีคุณสมบัติเหมาะสมได้โดยตรงบนอุปกรณ์ ไม่ว่าจะเป็น Agent ของระบบหรือ Agent ในแอปในอุปกรณ์ของคุณเอง เซิร์ฟเวอร์ MCP ระยะไกลช่วยให้คุณเข้าถึงได้จากหลายแพลตฟอร์ม 

Android MCP เป็นโซลูชันที่มาพร้อมกับ Android ซึ่งจะช่วยเสริมการทำงานของ MCP ระยะไกล และเป็นเส้นทางการผสานรวมที่แนะนำเมื่อเส้นทางของผู้ใช้ใช้การเข้ารหัสจากต้นทางถึงปลายทางหรือข้อมูลอุปกรณ์ในเครื่องที่มีความละเอียดอ่อน, ต้องใช้เซ็นเซอร์และฮาร์ดแวร์ของอุปกรณ์, ต้องดำเนินการในเครื่อง หรือเมื่อไม่มีปลายทางเซิร์ฟเวอร์ที่พร้อมใช้งาน 

ดูข้อมูลเพิ่มเติมเกี่ยวกับระบบอัจฉริยะของ Android และการผสานรวมกับ Gemini ในฐานะตัวแทนระบบได้โดยดูการพูดคุยนี้ 

นำระบบอัจฉริยะมาใช้ในแอป ตั้งแต่ Agent ในอุปกรณ์ไปจนถึงโปรแกรมแสดงผล Compose ของ A2UI

ด้วยความสามารถใหม่ๆ ที่มีใน Gemini Nano 4 เช่น การเรียกใช้ฟังก์ชัน เรากำลังขยาย GenAI API ของ ML Kit เพื่อสร้างเวิร์กโฟลว์แบบ Agentic ในอุปกรณ์ทั้งหมด เรามีองค์ประกอบพื้นฐานให้คุณโดยตรงด้วยการเข้าถึงโมเดลโดยตรงของ ML Kit ผ่าน Prompt API และ Agentic API ใหม่ที่เรียกใช้ฟังก์ชันให้คุณโดยอัตโนมัติ บันทึกประวัติการสนทนา จัดการลูปการเรียบเรียง และมีมาตรการป้องกันอัตโนมัติ ดูตัวอย่างโค้ด Jetpacker ใน GitHub และดูวิดีโอนี้เพื่อข้อมูลเจาะลึกวิธีปลดล็อกความสามารถด้าน Agentic AI ในแอปด้วย GenAI API ของ ML Kit

นอกจาก Agentic API ใหม่แล้ว เรายังนำความสามารถใหม่ๆ มาไว้ในอุปกรณ์ด้วย ดังนี้

• ดูภาพรวมของ GenAI API ใน ML Kit ในอุปกรณ์ ตั้งแต่ฟีเจอร์ Prompt API เช่น โหมดการคิดและคำสั่งของระบบ ไปจนถึง API เวอร์ชันอัลฟ่าใหม่อย่าง Embeddings API ซึ่งทำงานด้วย EmbeddingGemma 2 นอกจากนี้ คุณจะได้เรียนรู้เกี่ยวกับการเพิ่มประสิทธิภาพระบบ Android เบื้องหลัง และดู Use Case ของ GenAI ทั่วไปในอุปกรณ์ที่ใช้งานจริงอยู่แล้ว
• เจาะลึกสถาปัตยกรรมโมเดลของ Gemini Nano 4 ที่สร้างขึ้นบน Gemma 4 Gemini Nano 4 ขับเคลื่อนด้วยการฝังต่อเลเยอร์, การฝึกที่คำนึงถึงการควอนไทซ์ และการคาดการณ์แบบหลายโทเค็น จึงช่วยเพิ่มความเร็วในการอนุมานได้ถึง 3 เท่า พร้อมลดการใช้งานหน่วยความจำได้สูงสุด 4 เท่าเมื่อเทียบกับโมเดล Gemini Nano เวอร์ชันก่อนหน้าภายใต้การเปรียบเทียบการทดสอบภายใน
• คุณสามารถเรียกใช้โมเดล ML ที่กำหนดเองด้วยประสิทธิภาพ GPU ที่เร็วขึ้นโดยใช้ LiteRT ในบริการ Google Play ซึ่งจะนำรันไทม์ออกจาก APK ของคุณ ทำให้ APK มีขนาดเล็กลงประมาณ 8 MB ตอนนี้พร้อมให้บริการบน Wear OS และ Android Automotive OS ด้วย ไม่ว่าคุณจะใช้ ML Kit API แบบพร้อมใช้งานหรือนำโมเดล Edge ที่กำหนดเองมาเอง โปรดอ่านประกาศและดูการพูดคุยนี้
• ดูว่า API เหล่านี้ทำงานร่วมกันอย่างไรในแอปที่ใช้งานจริง ตั้งแต่ครูสอนภาษา XR ที่ใช้ API การจดจำคำพูด, การแปลคำพูด และการอ่านออกเสียงข้อความของ ML Kit บนโทรศัพท์และแว่นตาอัจฉริยะ ไปจนถึงผู้ช่วยขับรถ AI ของ Formula E ที่สร้างขึ้นด้วย Gemini Nano, การเข้าถึงโมเดลโดยตรงของ ML Kit และชุดพัฒนา Agent (ADK) 

สำหรับเวิร์กโฟลว์ที่ครอบคลุมทั้งการประมวลผลในระบบคลาวด์และในเครื่อง Firebase AI Logic มีโซลูชันแบบผสมที่ใช้งานง่าย คุณสามารถเรียกใช้โมเดลระบบคลาวด์ขั้นสูงอย่าง Gemini 4 ขณะใช้การอนุมานในอุปกรณ์ด้วย Gemini Nano ได้เมื่อพร้อมใช้งาน หากต้องการปกป้องแอปและจัดการค่าใช้จ่ายในเวอร์ชันที่ใช้งานจริง ให้ใช้ Firebase App Check, เทมเพลตพรอมต์เซิร์ฟเวอร์ใหม่ และเพดานการใช้จ่ายของ Firebase 

ดังที่แสดงในการสาธิตคีย์โน้ตด้วยผู้ช่วยการจองแบบเรียลไทม์ของ Jetpacker ตอนนี้โปรแกรมแสดงผล Jetpack Compose A2UI เผยแพร่แล้วในเวอร์ชันอัลฟ่าเพื่อช่วยให้ Agent "พูด UI" ได้ Agent ของคุณสามารถสตรีม UI การเขียนแบบเนทีฟที่สมบูรณ์และโต้ตอบได้โดยตรงจากโปรโตคอล JSON เริ่มต้นใช้งานโปรแกรมแสดงผล A2UI Compose และแสดงความคิดเห็นให้เราทราบ ดูการพูดคุยนี้เพื่อดูวิธีนำไปใช้ในแอป 

เข้าถึงผู้ใช้ใน Gemini และ Search ด้วยแพลตฟอร์มแอปที่เชื่อมต่อ

ผู้ใช้ในแพลตฟอร์มต่างๆ ของ Google กำลังเปลี่ยนจากการถามคำถามไปเป็นการดำเนินการ เราได้เปิดตัวแพลตฟอร์มแอปที่เชื่อมต่อเพื่อให้คุณเข้าถึงผู้ใช้ที่มีความตั้งใจซื้อสูงใน Gemini และ Search โดยผสานรวม MCP ของ Android สำหรับการดำเนินการในอุปกรณ์แบบเนทีฟเข้ากับเซิร์ฟเวอร์ MCP ระยะไกลเพื่อการเข้าถึงข้ามแพลตฟอร์ม คุณสามารถเริ่มสร้างและทดสอบในเครื่องได้แล้ววันนี้ด้วยโหมดนักพัฒนาแอป Gemini เมื่อพร้อมสำหรับเวอร์ชันที่ใช้งานจริงแล้ว ให้เข้าร่วมคิวรอเวอร์ชันตัวอย่าง โดยขณะนี้จำนวนผู้ใช้เวอร์ชันตัวอย่างจะจำกัดเฉพาะแอปที่พร้อมใช้งานจริงซึ่งได้รับเลือกในหมวดหมู่ที่รองรับ และจะมีการเปิดให้เข้าถึงแบบให้บริการเองในวงกว้างมากขึ้นในภายหลัง

หากต้องการดูคำแนะนำทีละขั้นตอนในการสร้าง ทดสอบ และเผยแพร่แอปที่เชื่อมต่อแอปแรก โปรดดูวิดีโอขยายแอปไปยัง Gemini และ Search ด้วยแพลตฟอร์มแอปที่เชื่อมต่อ

เริ่มสร้างแอปอัจฉริยะด้วยการอัปเดตล่าสุด

หากต้องการเริ่มสร้าง ให้สร้าง Agent ในอุปกรณ์ด้วยเวิร์กโฟลว์ Agentic ของ ML Kit ควบคู่ไปกับการเข้าถึงโมเดลโดยตรงด้วยทักษะใหม่ๆ ของ Android  อย่าลืมเลือกใช้โปรแกรมเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ AICore เมื่อทดสอบความสามารถใหม่ๆ ในโมเดลเวอร์ชันตัวอย่าง เพิ่มฟีเจอร์อัจฉริยะลงในแอปด้วย ML Kit API และเรียกใช้โมเดล ML ที่กำหนดเองด้วย LiteRT ในบริการ Google Play เรียกใช้การอนุมานด้วยโมเดล Gemini ในระบบคลาวด์ด้วย Firebase AI Logic โดยตรง และสตรีม UI ของ Compose แบบเนทีฟจาก JSON โดยใช้โปรแกรมแสดงผล Jetpack Compose A2UI สุดท้าย ให้ผสานรวมกับระบบอัจฉริยะของ Android, สร้างต้นแบบด้วย Android MCP โดยใช้ทักษะและ Agent ตัวอย่างของ AppFunctions และลงชื่อสมัครใช้เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของแพลตฟอร์มแอปที่เชื่อมต่อ

เราจะตั้งตารอดูผลงานของคุณ