Google Assistant สำหรับ Android

Google Assistant ช่วยให้ควบคุมแอป Android ด้วยเสียงได้ ผู้ใช้สามารถใช้ Assistant เพื่อเปิดแอป ทำงาน เข้าถึงเนื้อหา และอื่นๆ ได้โดยใช้เสียงพูดคำสั่งต่างๆ เช่น "Ok Google เริ่มวิ่งใน แอปตัวอย่าง"

ในฐานะนักพัฒนาแอป Android คุณสามารถใช้เฟรมเวิร์กการพัฒนาและ เครื่องมือทดสอบของ Assistant เพื่อเปิดใช้การควบคุมแอปด้วยเสียงอย่างละเอียดบน อุปกรณ์ที่ใช้ Android เช่น อุปกรณ์เคลื่อนที่ รถยนต์ และอุปกรณ์ที่สวมใส่ได้

การดำเนินการของแอป

App Actions ของ Assistant ช่วยให้ผู้ใช้เปิดและควบคุมแอป Android ได้ด้วยเสียง





App Actions ช่วยให้ควบคุมด้วยเสียงได้ลึกซึ้งยิ่งขึ้น ทำให้ผู้ใช้เปิดแอปและ ทำงานต่างๆ ได้ เช่น

  • การเปิดตัวฟีเจอร์จาก Assistant: เชื่อมต่อความสามารถของแอปกับคำค้นหาของผู้ใช้ที่ตรงกับรูปแบบความหมายที่กำหนดไว้ล่วงหน้าหรือ Intent ในตัว
  • การแสดงข้อมูลแอปในแพลตฟอร์มต่างๆ ของ Google: จัดเตรียมวิดเจ็ต Android ให้ Assistant แสดง เพื่อให้คำตอบแบบอินไลน์ การยืนยันแบบง่ายๆ และการโต้ตอบสั้นๆ แก่ผู้ใช้โดยไม่ต้องเปลี่ยนบริบท
  • แนะนำทางลัดเสียงจาก Assistant: ใช้ Assistant เพื่อแนะนำงานในบริบทที่เหมาะสมให้ผู้ใช้ค้นพบหรือเล่นซ้ำ

App Actions ใช้Intent ในตัว (BII) เพื่อเปิดใช้กรณีการใช้งานเหล่านี้และอีกหลายสิบกรณีในหมวดหมู่ของงานยอดนิยม ดูรายละเอียดเกี่ยวกับการรองรับ BII ในแอปได้ที่ภาพรวมการกระทําของแอป ในหน้านี้

การพัฒนาแอปสำหรับหลายอุปกรณ์

คุณสามารถใช้การดำเนินการของแอปเพื่อควบคุมด้วยเสียงบนพื้นผิวของอุปกรณ์ นอกเหนือจากอุปกรณ์เคลื่อนที่ ตัวอย่างเช่น เมื่อ BII ได้รับการเพิ่มประสิทธิภาพสำหรับกรณีการใช้งานอัตโนมัติ ผู้ขับขี่ จะสามารถทำงานต่อไปนี้ได้โดยใช้เสียง

ภาพรวมการดำเนินการของแอป

คุณใช้ App Actions เพื่อให้ผู้ใช้ควบคุมแอปด้วยเสียงได้ลึกซึ้งยิ่งขึ้นโดย อนุญาตให้ผู้ใช้ใช้เสียงเพื่อทำงานที่เฉพาะเจาะจงในแอปของคุณ หาก ผู้ใช้ติดตั้งแอปของคุณไว้ ก็เพียงแค่ระบุความตั้งใจโดยใช้วลี ที่มีชื่อแอปของคุณ เช่น "Ok Google เริ่มออกกำลังกายใน แอปตัวอย่าง" App Actions รองรับ BII ที่จำลองวิธีทั่วไปที่ผู้ใช้ แสดงงานที่ต้องการทำหรือข้อมูลที่ต้องการค้นหา เช่น

  • เริ่มออกกำลังกาย ส่งข้อความ และการดำเนินการอื่นๆ ที่เฉพาะเจาะจงตามหมวดหมู่
  • การเปิดฟีเจอร์ของแอป
  • การค้นหาผลิตภัณฑ์หรือเนื้อหาโดยใช้การค้นหาในแอป

การดำเนินการของแอปช่วยให้ Assistant สามารถแนะนำความสามารถด้านเสียงของคุณในเชิงรุกเป็น ทางลัดแก่ผู้ใช้โดยอิงตามบริบทของผู้ใช้ ฟังก์ชันนี้ช่วยให้ผู้ใช้ค้นพบและเล่นซ้ำการกระทำในแอปของคุณได้อย่างง่ายดาย คุณยังแนะนำทางลัดเหล่านี้ในแอปได้ด้วย App Actions SDK โปรโมตในแอป

คุณเปิดใช้การรองรับ App Actions ได้โดยการประกาศแท็ก <capability> ใน shortcuts.xml ความสามารถจะบอก Google ว่าจะเข้าถึงฟังก์ชันการทำงานในแอปของคุณในเชิงความหมายได้อย่างไรโดยใช้ BII และเปิดใช้การรองรับเสียงสำหรับฟีเจอร์ของคุณ Assistant จะตอบสนองความตั้งใจของผู้ใช้ด้วยการเปิดแอปไปยัง เนื้อหาหรือการดำเนินการที่ระบุ สำหรับการใช้งานบางกรณี คุณสามารถระบุวิดเจ็ต Android เพื่อแสดงใน Assistant เพื่อตอบคำค้นหาของผู้ใช้ได้

App Actions รองรับใน Android 5 (API ระดับ 21) ขึ้นไป ผู้ใช้จะเข้าถึง App Actions ได้ในโทรศัพท์ Android เท่านั้น Assistant ใน Android Go ไม่รองรับ App Actions

วิธีการทำงานของ App Actions

App Actions จะขยายฟังก์ชันการทำงานในแอปไปยัง Assistant เพื่อให้ผู้ใช้เข้าถึงฟีเจอร์ของแอปด้วยเสียงได้ เมื่อผู้ใช้เรียกใช้ App Action Assistant จะจับคู่คำค้นหากับ BII ที่ประกาศไว้ในshortcuts.xmlรีซอร์ส โดยจะเปิดแอปในหน้าจอที่ขอหรือแสดงวิดเจ็ต Android

คุณประกาศ BII ในแอปโดยใช้องค์ประกอบความสามารถของ Android เมื่อคุณอัปโหลดแอปโดยใช้ Google Play Console Google จะลงทะเบียนความสามารถที่ประกาศไว้ในแอปและทำให้ผู้ใช้เข้าถึงได้จาก Assistant

เช่น คุณอาจให้ความสามารถในการเริ่มออกกำลังกายในแอป เมื่อผู้ใช้พูดว่า "Ok Google เริ่มวิ่งในแอป Example" จะเกิดขั้นตอนต่อไปนี้

  • Assistant จะทำการวิเคราะห์ภาษาธรรมชาติในคำค้นหา โดยจับคู่ ความหมายของคำขอกับรูปแบบที่กำหนดไว้ล่วงหน้าของ BII ในกรณีนี้ actions.intent.START_EXERCISE BII จะตรงกับการค้นหา
  • Assistant จะตรวจสอบว่ามีการลงทะเบียน BII สำหรับแอปของคุณไว้ก่อนหน้านี้หรือไม่ และใช้การกำหนดค่าดังกล่าวเพื่อพิจารณาวิธีเปิดใช้
  • Assistant จะสร้าง Intent ของ Android เพื่อเปิดปลายทางในแอปของคำขอ โดยใช้ข้อมูลที่คุณระบุใน <capability> Assistant ดึงพารามิเตอร์ของคำค้นหาและส่งเป็นข้อมูลพิเศษใน Intent ของ Android ที่สร้างขึ้น
  • Assistant จะดำเนินการตามคำขอของผู้ใช้โดยการเปิดใช้ Android Intent ที่สร้างขึ้น คุณกำหนดค่า intent เพื่อเปิดหน้าจอในแอปหรือเพื่อ แสดงวิดเจ็ตภายใน Assistant
เมื่อผู้ใช้ป้อนคำค้นหาใน Google Assistant ผู้ช่วยจะตอบกลับ โดยเปิดปลายทางของแอปสำหรับผู้ใช้
รูปที่ 1 ตัวอย่างโฟลว์คำค้นหาของผู้ใช้ใน App Actions

หลังจากผู้ใช้ทํางานเสร็จแล้ว คุณจะใช้ไลบรารีการผสานรวมทางลัดของ Google เพื่อส่งทางลัดแบบไดนามิกของ การกระทําและพารามิเตอร์ไปยัง Google ซึ่งจะช่วยให้ Assistant แนะนํา ทางลัดแก่ผู้ใช้ในเวลาที่เกี่ยวข้องตามบริบทได้

การใช้คลังนี้จะทำให้ทางลัดของคุณมีสิทธิ์ได้รับการค้นพบและเล่นซ้ำในแพลตฟอร์มต่างๆ ของ Google เช่น Assistant เช่น คุณอาจพุชทางลัดไปยัง Google สำหรับแต่ละจุดหมายที่ผู้ใช้ขอในแอปแชร์รถเพื่อเล่นซ้ำอย่างรวดเร็วในภายหลังเป็นคำแนะนำทางลัด

สร้างการดำเนินการของแอป

App Actions สร้างขึ้นจากฟังก์ชันการทำงานที่มีอยู่แล้วในแอป Android ของคุณ กระบวนการนี้จะคล้ายกันสำหรับ App Action แต่ละรายการที่คุณใช้ App Actions จะนำผู้ใช้ไปยังเนื้อหาหรือฟีเจอร์ที่เฉพาะเจาะจงในแอปโดยตรงโดยใช้capabilityองค์ประกอบ ที่คุณระบุใน shortcuts.xml

เมื่อสร้างการกระทําของแอป ขั้นตอนแรกคือการระบุกิจกรรมที่คุณต้องการอนุญาตให้ผู้ใช้เข้าถึงจาก Assistant จากนั้นใช้ข้อมูลดังกล่าว ค้นหา BII ที่ตรงกันมากที่สุดจาก ข้อมูลอ้างอิง BII ของ App Actions

BII จำลองวิธีทั่วไปบางอย่างที่ผู้ใช้แสดงงานที่ต้องการทำโดยใช้แอปหรือข้อมูลที่ต้องการค้นหา ตัวอย่างเช่น BII มีไว้สําหรับการกระทําต่างๆ เช่น การเริ่มออกกําลังกาย การส่งข้อความ และการค้นหาภายใน แอป BII เป็นวิธีที่ดีที่สุดในการเริ่มต้นใช้ App Actions เนื่องจาก BII จะจำลอง รูปแบบทั่วไปของคําค้นหาของผู้ใช้ในหลายภาษา ซึ่งช่วยให้คุณ เปิดใช้เสียงในแอปได้อย่างรวดเร็ว

เมื่อระบุฟังก์ชันการทำงานในแอปและ BII ที่จะใช้แล้ว ให้เพิ่มหรือ อัปเดตไฟล์ทรัพยากร shortcuts.xml ในแอป Android ที่แมป BII กับฟังก์ชันการทำงานของแอป App Actions ที่กำหนดเป็นองค์ประกอบ capability ใน shortcuts.xml จะอธิบายวิธีที่ BII แต่ละรายการแก้ไขการดำเนินการ รวมถึงพารามิเตอร์ที่ดึงออกมาและส่งไปยังแอปของคุณ

ส่วนสำคัญของการพัฒนา App Actions คือการแมปพารามิเตอร์ BII กับ Fulfillment ที่คุณกำหนด โดยทั่วไป กระบวนการนี้จะอยู่ในรูปแบบของการแมป อินพุตที่คาดไว้ของฟังก์ชันการทำงานในแอปกับพารามิเตอร์เชิงความหมายของ BII

ทดสอบการดำเนินการของแอป

ในระหว่างการพัฒนาและการทดสอบ คุณจะใช้ปลั๊กอิน Google Assistant สำหรับ Android Studio เพื่อสร้างตัวอย่างการทำงานของ App Actions ใน Assistant สำหรับ บัญชี Google ปลั๊กอินนี้ช่วยให้คุณทดสอบวิธีที่ App Action จัดการพารามิเตอร์ต่างๆ ก่อนส่งเพื่อการติดตั้งใช้งาน เมื่อสร้างตัวอย่างการทำงานของแอปในเครื่องมือทดสอบแล้ว คุณจะทริกเกอร์การทำงานของแอปในอุปกรณ์ทดสอบได้โดยตรงจากหน้าต่างเครื่องมือทดสอบ

แอปสื่อ

นอกจากนี้ Assistant ยังมีฟีเจอร์ในตัวที่ช่วยให้เข้าใจคำสั่งของแอปสื่อ เช่น "Ok Google เปิดเพลงของบียอนเซ่" และรองรับการควบคุมสื่อ เช่น หยุดชั่วคราว ข้าม กรอไปข้างหน้า และกดชอบ

ขั้นตอนถัดไป

ทำตามเส้นทางของ App Actions เพื่อสร้าง App Action โดยใช้แอป Android ตัวอย่าง ของเรา จากนั้นทำตามคำแนะนำเพื่อสร้าง App Actions สำหรับแอปของคุณเอง นอกจากนี้ คุณยังดู แหล่งข้อมูลเพิ่มเติมเหล่านี้เพื่อสร้าง App Actions ได้ด้วย