สร้างแอป Android อัจฉริยะ: บทนำเกี่ยวกับ Jetpacker

โดยปกติแล้วการสร้างฟีเจอร์ GenAI ในแอปของคุณหมายถึงการเลือกโมเดล, API และสถาปัตยกรรมต่างๆ ดังนี้

• ตำแหน่งการดำเนินการ: โมเดลของคุณทำงานที่ใด ในอุปกรณ์ ในระบบคลาวด์ หรือทั้ง 2 อย่าง
• ความซับซ้อน: การตั้งค่าของคุณซับซ้อนเพียงใด คุณกำลังทำการเรียกใช้การอนุมานครั้งเดียวหรือต้องการโฟลว์ที่ทำงานแบบ Agent มากกว่า
• ในแอปหรือระบบ Android: คุณควรสร้างฟีเจอร์ในแอป Android หรือฟีเจอร์นี้เหมาะที่จะเป็นการผสานรวมระบบ Android มากกว่า

ในซีรีส์บล็อกโพสต์นี้ เราจะช่วยคุณเลือกตัวเลือกเหล่านี้ เราจะพาคุณไปดูการเดินทางโดยเริ่มจากแอปบนอุปกรณ์เคลื่อนที่พื้นฐานและเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ อัจฉริยะ และทำงานแบบ Agent

Jetpacker: แอปการเดินทางแบบสาธิต

Jetpacker เป็นแอปสาธิตทางเทคนิค ที่ทีมของเราสร้างขึ้นตั้งแต่ต้นสำหรับงาน Google I/O ในปีนี้ (สร้างโดยใช้ Antigravity) โดยหลักๆ แล้ว Jetpacker จะช่วยให้ผู้ใช้วางแผน สำรวจ และสนุกกับการผจญภัยครั้งใหญ่ครั้งต่อไป แอปจะแสดงภาพรวมการเดินทาง กำหนดการเดินทางแต่ละรายการ และรายละเอียดของกิจกรรมแต่ละรายการในการเดินทางนั้นๆ แน่นอนว่าแอปนี้สร้างขึ้นตามแนวทางปฏิบัติแนะนำทั้งหมดของการพัฒนา Android ซึ่งรวมถึงการออกแบบ Material UI ที่สวยงามและสื่อความหมาย

และที่สำคัญที่สุด แอปนี้เป็นโอเพนซอร์สอย่างสมบูรณ์

วันนี้เราจะเผยแพร่ซีรีส์ บล็อกโพสต์ทางเทคนิคที่เจาะลึกฟีเจอร์แต่ละอย่าง เราจะให้ขั้นตอนการติดตั้งใช้งานโดยละเอียด, ตัวอย่างโค้ด และข้อมูลเชิงลึกด้านสถาปัตยกรรมเพื่อช่วยคุณสร้างแอปพลิเคชัน Android อัจฉริยะของคุณเอง

ความชาญฉลาดในอุปกรณ์

การใช้โมเดลในอุปกรณ์ไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับการอนุมานในระบบคลาวด์ หมายความว่าคุณไม่ต้องกังวลเรื่องการเชื่อมต่ออินเทอร์เน็ต และช่วยให้ผู้ใช้มั่นใจได้ว่าข้อมูลส่วนตัวจะได้รับการประมวลผลในอุปกรณ์ โดยไม่มีการส่งข้อมูลไปยังระบบคลาวด์

ใน Jetpacker เราเลือกการอนุมานในอุปกรณ์สำหรับฟีเจอร์ 3 อย่าง ได้แก่

• ฟีเจอร์ภาพรวมการเดินทาง จะเปลี่ยนกำหนดการเดินทางที่ซับซ้อนและมีหลายวันให้เป็นข้อมูลสรุปที่กระชับและนำไปใช้ได้จริง ฟีเจอร์นี้ใช้ประโยชน์จาก Gemini Nano ผ่าน ML Kit GenAI API เพื่อประมวลผลข้อมูลในอุปกรณ์ เราถือว่าฟีเจอร์นี้เป็นฟีเจอร์ที่ควรมีซึ่งเราไม่ต้องการให้มีค่าใช้จ่ายเพิ่มเติมในระบบคลาวด์ จึงทำให้การอนุมานในอุปกรณ์เป็นตัวเลือกที่เหมาะสม
• ฟีเจอร์เครื่องมือติดตามค่าใช้จ่าย จะแยก Structured Data จากรูปภาพใบเสร็จโดยอัตโนมัติเพื่อช่วยให้ผู้ใช้ติดตามค่าใช้จ่ายในการเดินทางได้ ฟีเจอร์นี้ใช้ความสามารถในการประมวลผลข้อมูลหลายรูปแบบของ Gemini Nano 4 ผ่าน ML Kit GenAI API เราเลือกโซลูชันในอุปกรณ์เพื่อให้ข้อมูลที่ละเอียดอ่อนด้านความเป็นส่วนตัวในรูปภาพใบเสร็จไม่หลุดออกจากอุปกรณ์ของผู้ใช้
• ฟีเจอร์ไดอารีเสียง จะบันทึก ถอดเสียง และจัดหมวดหมู่บันทึกเสียงเป็นกิจกรรมการเดินทางที่เกี่ยวข้อง ฟีเจอร์นี้ขับเคลื่อนโดย ML Kit Speech Recognition และ GenAI Prompt API เราเลือกโซลูชันในอุปกรณ์ด้วยเหตุผลด้านความเป็นส่วนตัวและการเชื่อมต่อ

การอนุมานในระบบคลาวด์และแบบไฮบริด

บางครั้ง Use Case ของคุณอาจต้องใช้โมเดล AI ที่มีความรู้เกี่ยวกับโลกมากขึ้น หรือมีหน้าต่างบริบทที่ใหญ่ขึ้น และมีความสามารถมากขึ้นในการจัดการงานที่ซับซ้อน ในกรณีดังกล่าว เราสามารถเปลี่ยนจากการเรียกใช้โมเดลในอุปกรณ์เป็นการใช้โมเดลในระบบคลาวด์แทนได้

หรือหากต้องการใช้ประโยชน์จากทั้ง 2 อย่าง คุณสามารถใช้การอนุมานแบบไฮบริดเพื่อเลือก โมเดลในระบบคลาวด์หรือในอุปกรณ์แบบไดนามิกในขณะรันไทม์ ซึ่งจะช่วยให้เราลดค่าใช้จ่าย ได้ด้วยการย้ายการอนุมานไปยังอุปกรณ์เมื่อพร้อมใช้งาน แต่ในขณะเดียวกันก็รองรับอุปกรณ์ Android ทั้งหมด ที่เรียกใช้แอป

ใน Jetpacker เราได้ติดตั้งใช้งานฟีเจอร์หลายอย่างโดยใช้การอนุมานในระบบคลาวด์หรือแบบไฮบริด ดังนี้

• ฟีเจอร์ถามและตอบเกี่ยวกับสถานที่ จะตอบคำถามของผู้ใช้เกี่ยวกับสถานที่ที่เฉพาะเจาะจงโดยอ้างอิงคำตอบจากข้อมูลในโลกจริง ฟีเจอร์นี้ใช้ Firebase AI Logic ที่ผสานรวมกับ Google Maps และ บริบทของเว็บ การใช้โมเดลในระบบคลาวด์เป็นสิ่งจำเป็นในที่นี้เนื่องจากโมเดลมีความรู้เกี่ยวกับโลกมากกว่า
• ฟีเจอร์การร่างรีวิว ช่วยให้ผู้ใช้เขียนรีวิวโดยละเอียดสำหรับสถานที่ที่เคยไป ฟีเจอร์นี้ใช้ประโยชน์จากทั้งโมเดลในอุปกรณ์และโมเดลในระบบคลาวด์ผ่าน Hybrid Inference API ใหม่ของ Firebase AI Logic เราต้องการให้ฟีเจอร์นี้พร้อมใช้งานสำหรับผู้ใช้แอปทุกคน จึงใช้โมเดลในระบบคลาวด์เป็นตัวเลือกสำรองเมื่อโมเดลในอุปกรณ์ไม่พร้อมใช้งาน
• ฟีเจอร์การแปลแชทอัตโนมัติ จะแปลข้อความแชทแบบไดนามิกแบบเรียลไทม์เพื่อช่วยให้การสื่อสารเป็นไปอย่างราบรื่น ซึ่งแสดงให้เห็นตรรกะการอนุมานแบบไฮบริดที่กำหนดเอง อีกครั้งที่เราต้องการให้ฟีเจอร์นี้พร้อมใช้งานสำหรับผู้ใช้แอปทุกคน แต่ในขณะเดียวกันก็มีข้อควรพิจารณาที่เฉพาะเจาะจงเกี่ยวกับเวลาที่จะเลือกใช้ฟีเจอร์ในอุปกรณ์เทียบกับฟีเจอร์ในระบบคลาวด์

การผสานรวมระบบ

แม้จะไม่ใช่ฟีเจอร์ที่คุณเห็นในแอปเอง แต่การผสานรวมระบบ Android จะเปิดความสามารถหลักของแอปให้กับระบบปฏิบัติการ Android โดยตรง ฟีเจอร์นี้ใช้ AppFunctions API เพื่อผสานรวมกับความชาญฉลาดระดับระบบ

เวิร์กโฟลว์แบบ Agent ในแอป (เร็วๆ นี้!)

ความสามารถแบบ Agent จะแนะนำ ความเป็นอิสระในระดับที่สูงขึ้น ซึ่งช่วยให้โมเดลทำหน้าที่เป็น Agent ได้ Agent จะทำงานเพื่อให้บรรลุเป้าหมายที่เฉพาะเจาะจงผ่านลูปการจัดระเบียบที่ช่วยให้ Agent ให้เหตุผล ใช้เครื่องมือ และปรับ เส้นทางได้ แทนที่จะเป็นการเรียกใช้การอนุมานครั้งเดียว Agent อัจฉริยะเหล่านี้สามารถทำงานในระบบคลาวด์ ในอุปกรณ์โดยตรง หรือในการตั้งค่าแบบผสม ทั้งนี้ขึ้นอยู่กับข้อกำหนดของคุณ

สำหรับ Jetpacker เราได้เพิ่มผู้ช่วยการจอง ที่เปลี่ยนเวิร์กโฟลว์การจองแบบครบวงจรให้เป็นระบบอัตโนมัติภายในแอปพลิเคชันโดยตรงเพื่อเพิ่มประสิทธิภาพการจอง ฟีเจอร์นี้สร้างขึ้นโดยใช้ A2UI และ ADK ที่ทำงานในระบบคลาวด์ แอป Android ทำหน้าที่เป็นส่วนหน้าของระบบแบบหลาย Agent ที่ทำงานในระบบคลาวด์

ดูข้อมูลเพิ่มเติม

ดูส่วนอื่นๆ ของซีรีส์บล็อกโพสต์นี้

ส่วนที่ 1 (บล็อกโพสต์นี้): บทนำของแอปและภาพรวมระดับสูง
ส่วนที่ 2: ความชาญฉลาดในอุปกรณ์ เจาะลึก ML Kit’s GenAI API และ Gemini Nano เพื่อสร้างฟีเจอร์ที่ให้ความสำคัญกับความเป็นส่วนตัวเป็นอันดับแรก เช่น การสรุปกำหนดการเดินทาง การแยกวิเคราะห์ใบเสร็จ และการประมวลผลเสียงในอุปกรณ์
ส่วนที่ 3: การให้เหตุผลแบบไฮบริดและในระบบคลาวด์ สำรวจวิธีใช้ Firebase AI Logic เพื่ออ้างอิงคำตอบของ LLM จากข้อมูลในโลกจริง เช่น Google Maps และบริบทของเว็บ
ส่วนที่ 4: การผสานรวมระบบ การผสานรวมกับระบบความชาญฉลาดของ Android โดยใช้ AppFunctions
ส่วนที่ 5 (เร็วๆ นี้): เวิร์กโฟลว์แบบ Agent ในแอป ขยายแอปด้วยผู้ช่วยการจองแบบครบวงจรที่ขับเคลื่อนโดย A2UI และ ADK

สนใจข้อมูลเพิ่มเติมเกี่ยวกับการพัฒนา Android ไหม ติดตามนักพัฒนาแอป Android บน YouTube หรือ LinkedIn