Google Assistant สำหรับ Android

Google Assistant ช่วยให้ควบคุมแอป Android ด้วยเสียงได้ ผู้ใช้สามารถใช้ Assistant เพื่อเปิดแอป ทำงาน เข้าถึงเนื้อหา และอื่นๆ ได้โดยใช้เสียงพูด เช่น "Ok Google เริ่มวิ่งใน แอปตัวอย่าง"

ในฐานะนักพัฒนาแอป Android คุณสามารถใช้เฟรมเวิร์กการพัฒนาและ เครื่องมือทดสอบของ Assistant เพื่อเปิดใช้การควบคุมแอปด้วยเสียงอย่างละเอียดบน อุปกรณ์ที่ใช้ Android เช่น อุปกรณ์เคลื่อนที่ รถยนต์ และอุปกรณ์ที่สวมใส่ได้ ได้อย่างง่ายดาย

การดำเนินการของแอป

การดำเนินการของแอปของ Assistant ช่วยให้ผู้ใช้เปิดและควบคุมแอป Android ด้วยเสียงได้





การดำเนินการของแอป ช่วยให้ควบคุมด้วยเสียงได้ลึกซึ้งยิ่งขึ้น ทำให้ผู้ใช้เปิดแอปและ ทำงานต่างๆ ได้ เช่น

  • การเปิดตัวฟีเจอร์จาก Assistant: เชื่อมต่อความสามารถของแอปกับคำค้นหาของผู้ใช้ที่ตรงกับรูปแบบความหมายที่กำหนดไว้ล่วงหน้าหรือ Intent ในตัว
  • การแสดงข้อมูลแอปในแพลตฟอร์มต่างๆ ของ Google: ระบุวิดเจ็ต Android ให้ Assistant แสดง เพื่อให้คำตอบแบบอินไลน์ การยืนยันอย่างง่าย และการโต้ตอบสั้นๆ แก่ผู้ใช้โดยไม่ต้องเปลี่ยนบริบท
  • แนะนำทางลัดเสียงจาก Assistant: ใช้ Assistant เพื่อแนะนำงานในบริบทที่เหมาะสมให้ผู้ใช้ค้นพบหรือเล่นซ้ำ

การดำเนินการของแอปใช้Intent ในตัว (BII) เพื่อเปิดใช้กรณีการใช้งานเหล่านี้และอีกหลายสิบกรณีในหมวดหมู่ของงานยอดนิยม ดูรายละเอียดเกี่ยวกับการรองรับ BII ในแอปได้ที่ภาพรวมการดำเนินการของแอป ในหน้านี้

การพัฒนาแอปสำหรับหลายอุปกรณ์

คุณสามารถใช้การดำเนินการของแอปเพื่อควบคุมด้วยเสียงบนพื้นผิวของอุปกรณ์ นอกเหนือจากอุปกรณ์เคลื่อนที่ ตัวอย่างเช่น เมื่อ BII ได้รับการเพิ่มประสิทธิภาพสำหรับกรณีการใช้งานอัตโนมัติ ผู้ขับขี่ สามารถทำงานต่อไปนี้ได้โดยใช้เสียง

ภาพรวมการดำเนินการของแอป

คุณใช้การดำเนินการของแอปเพื่อเสนอการควบคุมแอปด้วยเสียงที่ละเอียดยิ่งขึ้นแก่ผู้ใช้โดยอนุญาตให้ผู้ใช้ใช้เสียงเพื่อทำงานที่เฉพาะเจาะจงในแอปของคุณ หากผู้ใช้ติดตั้งแอปของคุณไว้ ก็เพียงแค่ระบุความตั้งใจโดยใช้วลีที่มีชื่อแอปของคุณ เช่น "Ok Google เริ่มการออกกำลังกายในแอปตัวอย่าง" การดำเนินการของแอป รองรับ BII ที่จำลองวิธีทั่วไปที่ผู้ใช้ แสดงงานที่ต้องการทำหรือข้อมูลที่ต้องการค้นหา เช่น

  • เริ่มออกกำลังกาย ส่งข้อความ และการดำเนินการอื่นๆ ที่เฉพาะเจาะจงตามหมวดหมู่
  • การเปิดฟีเจอร์ของแอป
  • การค้นหาผลิตภัณฑ์หรือเนื้อหาโดยใช้การค้นหาในแอป

การดำเนินการของแอปช่วยให้ Assistant สามารถแนะนำความสามารถด้านเสียงของคุณในเชิงรุกเป็น ทางลัดแก่ผู้ใช้โดยอิงตามบริบทของผู้ใช้ ฟังก์ชันนี้ช่วยให้ผู้ใช้ค้นพบและเล่นซ้ำการดำเนินการของแอปของคุณได้อย่างง่ายดาย คุณยังแนะนำทางลัดเหล่านี้ในแอปได้ด้วย SDK โปรโมชันในแอปของ App Actions

คุณเปิดใช้การรองรับการดำเนินการของแอปได้โดยประกาศแท็ก <capability> ใน shortcuts.xml ความสามารถจะบอก Google ว่าจะเข้าถึงฟังก์ชันการทำงานในแอปของคุณในเชิงความหมายโดยใช้ BII ได้อย่างไร และเปิดใช้การรองรับเสียงสำหรับฟีเจอร์ของคุณ Assistant จะตอบสนองความตั้งใจของผู้ใช้ด้วยการเปิดแอปไปยัง เนื้อหาหรือการดำเนินการที่ระบุ สำหรับการใช้งานบางกรณี คุณสามารถระบุวิดเจ็ต Android เพื่อแสดงใน Assistant เพื่อตอบคำค้นหาของผู้ใช้ได้

การดำเนินการของแอป รองรับใน Android 5 (ระดับ API 21) ขึ้นไป ผู้ใช้จะเข้าถึงการดำเนินการของแอปได้ในโทรศัพท์ Android เท่านั้น Assistant ใน Android Go ไม่รองรับการดำเนินการของแอป

โดยอิงตามปัจจัยดังกล่าว

วิธีการทำงานของการดำเนินการของแอป

การดำเนินการของแอปจะขยายฟังก์ชันการทำงานในแอปไปยัง Assistant เพื่อให้ผู้ใช้เข้าถึงฟีเจอร์ของแอปได้ด้วยเสียง เมื่อผู้ใช้เรียกใช้ App Action Assistant จะจับคู่คำค้นหากับ BII ที่ประกาศไว้ในshortcuts.xmlรีซอร์ส โดยจะเปิดแอปในหน้าจอที่ขอหรือแสดงวิดเจ็ต Android

คุณประกาศ BII ในแอปโดยใช้องค์ประกอบความสามารถของ Android เมื่อคุณอัปโหลดแอปโดยใช้ Google Play Console Google จะลงทะเบียนความสามารถที่ประกาศไว้ในแอปและทำให้ผู้ใช้เข้าถึงความสามารถเหล่านั้นได้จาก Assistant

เช่น คุณอาจให้ความสามารถในการเริ่มออกกำลังกายในแอป เมื่อผู้ใช้พูดว่า "Ok Google เริ่มวิ่งในแอป Example" จะเกิดขั้นตอนต่อไปนี้

  • Assistant จะทำการวิเคราะห์ภาษาธรรมชาติในคำค้นหา โดยจับคู่ความหมายของคำขอให้ตรงกับรูปแบบที่กำหนดไว้ล่วงหน้าของ BII ในกรณีนี้ actions.intent.START_EXERCISE BII จะตรงกับการค้นหา
  • Assistant จะตรวจสอบว่ามีการลงทะเบียน BII สำหรับแอปของคุณไว้ก่อนหน้านี้หรือไม่ และใช้การกำหนดค่าดังกล่าวเพื่อพิจารณาวิธีเปิดใช้
  • Assistant จะสร้าง Intent ของ Android เพื่อเปิดปลายทางในแอปของคำขอ โดยใช้ข้อมูลที่คุณระบุใน <capability> Assistant จะดึงพารามิเตอร์ของคำค้นหาและส่งเป็นข้อมูลพิเศษใน Intent ของ Android ที่สร้างขึ้น
  • Assistant จะดำเนินการตามคำขอของผู้ใช้โดยการเปิดใช้ Android Intent ที่สร้างขึ้น คุณกำหนดค่า intent เพื่อเปิดหน้าจอในแอปหรือเพื่อ แสดงวิดเจ็ตภายใน Assistant
เมื่อผู้ใช้ป้อนคำค้นหาใน Google Assistant ผู้ช่วยจะตอบกลับ โดยการเปิดปลายทางของแอปสำหรับผู้ใช้
รูปที่ 1 ตัวอย่างโฟลว์คำค้นหาของผู้ใช้สำหรับการดำเนินการของแอป

หลังจากที่ผู้ใช้ทํางานเสร็จแล้ว คุณจะใช้ไลบรารีการผสานรวมทางลัดของ Google เพื่อส่งทางลัดแบบไดนามิกของ การกระทําและพารามิเตอร์ไปยัง Google ซึ่งจะช่วยให้ Assistant แนะนํา ทางลัดแก่ผู้ใช้ในเวลาที่เกี่ยวข้องตามบริบทได้

การใช้คลังนี้จะทำให้ทางลัดของคุณมีสิทธิ์ได้รับการค้นพบและเล่นซ้ำบนแพลตฟอร์มของ Google เช่น Assistant เช่น คุณอาจพุชทางลัดไปยัง Google สำหรับแต่ละจุดหมายที่ผู้ใช้ขอในแอปแชร์รถเพื่อเล่นซ้ำอย่างรวดเร็วในภายหลังเป็นคำแนะนำทางลัด

สร้างการดำเนินการของแอป

App Actions สร้างขึ้นจากฟังก์ชันการทำงานที่มีอยู่แล้วในแอป Android ของคุณ กระบวนการนี้จะคล้ายกันสำหรับ App Action แต่ละรายการที่คุณติดตั้งใช้งาน การดำเนินการของแอปจะนำผู้ใช้ไปยังเนื้อหาหรือฟีเจอร์ที่เฉพาะเจาะจงในแอปโดยตรงโดยใช้องค์ประกอบ capability ที่คุณระบุใน shortcuts.xml

เมื่อสร้างการกระทําของแอป ขั้นตอนแรกคือการระบุกิจกรรมที่คุณต้องการอนุญาตให้ผู้ใช้เข้าถึงจาก Assistant จากนั้นใช้ข้อมูลดังกล่าว เพื่อค้นหา BII ที่ตรงกันมากที่สุดจาก ข้อมูลอ้างอิง BII ของการดำเนินการของแอป

BII จำลองวิธีทั่วไปบางอย่างที่ผู้ใช้แสดงงานที่ต้องการทำโดยใช้แอปหรือข้อมูลที่ต้องการค้นหา ตัวอย่างเช่น BII มีไว้สำหรับการดำเนินการต่างๆ เช่น การเริ่มออกกำลังกาย การส่งข้อความ และการค้นหาภายในแอป BII เป็นวิธีที่ดีที่สุดในการเริ่มต้นใช้งานการดำเนินการของแอป เนื่องจาก BII จะจำลองรูปแบบคำค้นหาของผู้ใช้ที่พบบ่อยในหลายภาษา ซึ่งช่วยให้คุณเปิดใช้เสียงในแอปได้อย่างรวดเร็ว

เมื่อระบุฟังก์ชันการทำงานในแอปและ BII ที่จะใช้แล้ว ให้เพิ่มหรือ อัปเดตไฟล์ทรัพยากร shortcuts.xml ในแอป Android ที่แมป BII กับฟังก์ชันการทำงานของแอป การดำเนินการของแอป ที่กำหนดเป็นองค์ประกอบ capability ใน shortcuts.xml จะอธิบายวิธีที่ BII แต่ละรายการแก้ไข Fulfillment รวมถึง พารามิเตอร์ที่ดึงออกมาและส่งไปยังแอปของคุณ

ส่วนสำคัญของการพัฒนาการดำเนินการของแอปคือการแมปพารามิเตอร์ BII กับ Fulfillment ที่คุณกำหนด โดยทั่วไป กระบวนการนี้จะอยู่ในรูปแบบของการแมป อินพุตที่คาดไว้ของฟังก์ชันการทำงานในแอปกับพารามิเตอร์เชิงความหมายของ BII

ทดสอบการดำเนินการของแอป

ในระหว่างการพัฒนาและการทดสอบ คุณจะใช้ปลั๊กอิน Google Assistant สำหรับ Android Studio เพื่อสร้างตัวอย่างการดำเนินการของแอปใน Assistant สำหรับบัญชี Google ปลั๊กอินนี้ช่วยให้คุณทดสอบวิธีที่ App Action จัดการพารามิเตอร์ต่างๆ ก่อนส่งเพื่อการติดตั้งใช้งาน เมื่อสร้างตัวอย่างของ App Action ในเครื่องมือทดสอบแล้ว คุณจะทริกเกอร์ App Action ในอุปกรณ์ทดสอบ ได้โดยตรงจากหน้าต่างเครื่องมือทดสอบ

แอปสื่อ

นอกจากนี้ Assistant ยังมีฟีเจอร์ในตัวที่ช่วยให้เข้าใจคำสั่งของแอปสื่อ เช่น "Ok Google เปิดเพลงของบียอนเซ่หน่อย" และรองรับการควบคุมสื่อ เช่น หยุดชั่วคราว ข้าม กรอไปข้างหน้า และกดชอบ

ขั้นตอนถัดไป

ทำตามเส้นทาง App Actions เพื่อสร้าง App Action โดยใช้แอป Android ตัวอย่าง จากนั้นไปที่คำแนะนำเพื่อสร้าง App Actions สำหรับแอปของคุณเอง นอกจากนี้ คุณยังดูแหล่งข้อมูลเพิ่มเติมเหล่านี้เพื่อสร้าง App Actions ได้ด้วย