คู่มือนี้ออกแบบมาเพื่อช่วยคุณผสานรวมโซลูชัน Generative AI และแมชชีนเลิร์นนิง (AI/ML) ของ Google เข้ากับแอปพลิเคชัน โดยจะให้คำแนะนำเพื่อช่วยคุณสำรวจโซลูชัน Generative AI และแมชชีนเลิร์นนิงต่างๆ ที่มีให้ใช้งาน และเลือกโซลูชันที่เหมาะกับความต้องการของคุณมากที่สุด เอกสารนี้มีเป้าหมายเพื่อช่วยคุณพิจารณาว่าจะใช้เครื่องมือใดและเหตุใด โดยมุ่งเน้นที่ความต้องการและกรณีการใช้งานของคุณ
เอกสารนี้มีคู่มือโซลูชันเพื่อช่วยคุณเลือกโซลูชัน AI/ML ที่เหมาะสมที่สุดสำหรับข้อกำหนดเฉพาะของคุณ เอกสารนี้มีคู่มือโซลูชัน โดยการตอบคำถามชุดหนึ่งเกี่ยวกับเป้าหมายและข้อจำกัดของโปรเจ็กต์ คู่มือนี้จะแนะนำคุณไปยังเครื่องมือและเทคโนโลยีที่เหมาะสมที่สุด
คู่มือนี้ช่วยคุณเลือกโซลูชัน AI ที่ดีที่สุดสำหรับแอป โดยพิจารณาจากปัจจัยต่างๆ ได้แก่ ประเภทข้อมูล (ข้อความ รูปภาพ เสียง วิดีโอ) ความซับซ้อนของงาน (การสรุปแบบง่ายไปจนถึงงานที่ซับซ้อนซึ่งต้องใช้ความรู้เฉพาะทาง) และขนาดข้อมูล (อินพุตสั้นๆ เทียบกับเอกสารขนาดใหญ่) ซึ่งจะช่วยคุณตัดสินใจว่าจะใช้ Gemini Nano ในอุปกรณ์หรือ AI ที่ทำงานในระบบคลาวด์ของ Firebase (Gemini Flash หรือ Gemini Pro)
ใช้ประโยชน์จากพลังของการอนุมานในอุปกรณ์
เมื่อเพิ่มฟีเจอร์ AI และ ML ลงในแอป Android คุณสามารถเลือกวิธีต่างๆ ในการนำเสนอฟีเจอร์เหล่านั้น ไม่ว่าจะในอุปกรณ์หรือใช้ระบบคลาวด์
โซลูชันในอุปกรณ์ เช่น Gemini Nano ให้ผลลัพธ์โดยไม่มีค่าใช้จ่ายเพิ่มเติม ช่วยเพิ่มความเป็นส่วนตัวของผู้ใช้ และมีฟังก์ชันการทำงานแบบออฟไลน์ที่เชื่อถือได้เนื่องจากระบบจะประมวลผลข้อมูลอินพุตในอุปกรณ์ ประโยชน์เหล่านี้อาจมีความสำคัญอย่างยิ่งสำหรับกรณีการใช้งานบางอย่าง เช่น การสรุปข้อความ ซึ่งทำให้การทำงานในอุปกรณ์เป็นสิ่งสำคัญอันดับแรกเมื่อเลือกโซลูชันที่เหมาะสม
Gemini Nano ช่วยให้คุณทำการอนุมานได้โดยตรงในอุปกรณ์ที่ใช้ Android หาก คุณทำงานกับข้อความ รูปภาพ หรือเสียง ให้เริ่มต้นด้วย GenAI API ของ ML Kit เพื่อใช้โซลูชันสำเร็จรูป GenAI API ของ ML Kit ทำงานด้วย Gemini Nano โดยใช้ประโยชน์จาก AICore เป็นบริการของระบบเบื้องหลัง และได้รับการปรับแต่งมาอย่างดีสำหรับงานเฉพาะในอุปกรณ์ GenAI API ของ ML Kit เป็นเส้นทางที่เหมาะสำหรับการนำแอปของคุณไปใช้งานจริงเนื่องจากมีอินเทอร์เฟซระดับสูงกว่าและความสามารถในการปรับขนาด API เหล่านี้ช่วยให้คุณส่งคำขอด้วยภาษาธรรมชาติพร้อมอินพุตทั้งข้อความและรูปภาพ ซึ่งช่วยให้เกิดกรณีการใช้งานที่หลากหลาย เช่น การทำความเข้าใจรูปภาพ การแปลแบบสั้น การสรุปแบบมีคำแนะนำ และอื่นๆ
สำหรับงานแมชชีนเลิร์นนิงแบบเดิม คุณสามารถใช้โมเดลที่กำหนดเองได้ตามต้องการ เรามีเครื่องมือที่มีประสิทธิภาพ เช่น ML Kit, MediaPipe, LiteRT และฟีเจอร์การนำส่งของ Google Play เพื่อ ลดความซับซ้อนของกระบวนการพัฒนา
สำหรับแอปพลิเคชันที่ต้องใช้โซลูชันเฉพาะทาง คุณสามารถใช้โมเดลที่กำหนดเอง ของคุณเอง เช่น Gemma หรือโมเดลอื่นๆ ที่ปรับให้เหมาะ กับกรณีการใช้งานเฉพาะของคุณ เรียกใช้โมเดลของคุณโดยตรงในอุปกรณ์ของผู้ใช้ด้วย LiteRT ซึ่งมีสถาปัตยกรรมโมเดลที่ออกแบบไว้ล่วงหน้าเพื่อประสิทธิภาพที่เพิ่มขึ้น
นอกจากนี้ คุณยังพิจารณาสร้างโซลูชันแบบไฮบริดโดยใช้ประโยชน์จากทั้งโมเดลในอุปกรณ์และโมเดลในระบบคลาวด์ได้ด้วย
โดยทั่วไปแล้วแอปบนอุปกรณ์เคลื่อนที่จะใช้โมเดลในเครื่องสำหรับข้อมูลข้อความขนาดเล็ก เช่น การสนทนาในแชทหรือบทความในบล็อก อย่างไรก็ตาม สำหรับแหล่งข้อมูลขนาดใหญ่ (เช่น PDF) หรือเมื่อจำเป็นต้องใช้ความรู้เพิ่มเติม คุณอาจต้องใช้โซลูชันที่ทำงานในระบบคลาวด์พร้อมโมเดล Gemini ที่มีประสิทธิภาพมากขึ้น
ผสานรวมโมเดล Gemini ขั้นสูง
นักพัฒนาแอป Android สามารถผสานรวมความสามารถของ Generative AI ขั้นสูงของ Google ซึ่งรวมถึงโมเดล Gemini Pro และ Gemini Flash ที่มีประสิทธิภาพลงใน แอปพลิเคชันของตนได้โดยใช้ Firebase AI Logic SDK SDK นี้ออกแบบมาสำหรับความต้องการข้อมูลขนาดใหญ่ และมอบความสามารถและความสามารถในการปรับตัวที่เพิ่มขึ้นโดยการให้สิทธิ์เข้าถึงโมเดล AI แบบมัลติโมดัลที่มีประสิทธิภาพสูงเหล่านี้
Firebase AI Logic SDK ช่วยให้นักพัฒนาแอปสามารถเรียกใช้โมเดล AI ของ Google ทางฝั่งไคลเอ็นต์ได้อย่างง่ายดาย โมเดลเหล่านี้ เช่น Gemini Pro และ Gemini Flash จะทำการอนุมานในระบบคลาวด์และช่วยให้แอป Android ประมวลผลอินพุตที่หลากหลาย ซึ่งรวมถึงรูปภาพ เสียง วิดีโอ และข้อความ Gemini Pro มีความโดดเด่นในการให้เหตุผลเกี่ยวกับปัญหาที่ซับซ้อนและการวิเคราะห์ข้อมูลจำนวนมาก ในขณะที่โมเดลตระกูล Gemini Flash มีความเร็วที่เหนือกว่าและมีหน้าต่างบริบทที่ใหญ่พอสำหรับงานส่วนใหญ่
สถานการณ์ที่ควรใช้แมชชีนเลิร์นนิงแบบดั้งเดิม
แม้ว่า Generative AI จะมีประโยชน์สำหรับการสร้างและแก้ไขเนื้อหา เช่น ข้อความ รูปภาพ และโค้ด แต่ปัญหาในโลกแห่งความเป็นจริงหลายอย่างก็แก้ไขได้ดีกว่าโดยใช้เทคนิคแมชชีนเลิร์นนิง (ML) แบบเดิม วิธีการที่ได้รับการยอมรับเหล่านี้มีความโดดเด่นในงานที่เกี่ยวข้องกับการคาดการณ์ การจัดประเภท การตรวจหา และการทำความเข้าใจรูปแบบภายในข้อมูลที่มีอยู่ โดยมักจะมีประสิทธิภาพสูงกว่า ใช้ต้นทุนด้านการคำนวณต่ำกว่า และใช้งานได้ง่ายกว่าโมเดล Generative
เฟรมเวิร์ก ML แบบดั้งเดิมมีโซลูชันที่มีประสิทธิภาพ เพิ่มประสิทธิภาพ และมักจะใช้งานได้จริงมากกว่าสำหรับแอปพลิเคชันที่มุ่งเน้นการวิเคราะห์อินพุต การระบุฟีเจอร์ หรือการคาดการณ์ตามรูปแบบที่เรียนรู้มา แทนที่จะสร้างเอาต์พุตใหม่ทั้งหมด เครื่องมือต่างๆ เช่น ML Kit, LiteRT และ MediaPipe ของ Google มีความสามารถอันทรงพลังที่ปรับให้เหมาะกับกรณีการใช้งานที่ไม่ใช่ Generative เหล่านี้ โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมการประมวลผลแบบเคลื่อนที่และการประมวลผลที่ต้นทาง
เริ่มต้นการผสานรวมแมชชีนเลิร์นนิงด้วย ML Kit
ML Kit มีโซลูชันที่พร้อมใช้งานจริงและเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่สำหรับงานแมชชีนเลิร์นนิงทั่วไป โดยไม่จำเป็นต้องมีความเชี่ยวชาญด้าน ML มาก่อน SDK สำหรับอุปกรณ์เคลื่อนที่ที่ใช้งานง่ายนี้จะนำความเชี่ยวชาญด้าน ML ของ Google มาไว้ในแอป Android และ iOS ของคุณโดยตรง ซึ่งช่วยให้คุณมุ่งเน้นไปที่การพัฒนาฟีเจอร์แทนการฝึกและเพิ่มประสิทธิภาพโมเดล ML Kit มี API ที่สร้างไว้ล่วงหน้าและโมเดลที่พร้อมใช้งานสำหรับฟีเจอร์ต่างๆ เช่น การสแกนบาร์โค้ด การจดจำข้อความ (OCR) การตรวจจับใบหน้า การติดป้ายกำกับรูปภาพ การตรวจจับและการติดตามวัตถุ การระบุภาษา และการช่วยตอบแบบอัจฉริยะ
โดยทั่วไปแล้วโมเดลเหล่านี้จะได้รับการเพิ่มประสิทธิภาพสำหรับการดำเนินการในอุปกรณ์ ซึ่งช่วยให้เวลาในการตอบสนองต่ำ มีฟังก์ชันการทำงานแบบออฟไลน์ และช่วยเพิ่มความเป็นส่วนตัวของผู้ใช้เนื่องจากข้อมูลมักจะยังคงอยู่ในอุปกรณ์ เลือก ML Kit เพื่อเพิ่มฟีเจอร์ ML ที่ได้รับการยอมรับลงในแอปบนอุปกรณ์เคลื่อนที่ได้อย่างรวดเร็วโดยไม่จำเป็นต้องฝึกโมเดลหรือต้องใช้เอาต์พุต Generative เครื่องมือนี้เหมาะอย่างยิ่งสำหรับการเพิ่มประสิทธิภาพแอปด้วยความสามารถ "อัจฉริยะ" โดยใช้โมเดลที่เพิ่มประสิทธิภาพแล้วของ Google หรือโดยการติดตั้งใช้งานโมเดล TensorFlow Lite ที่กำหนดเอง
เริ่มต้นใช้งานด้วยคู่มือและเอกสารประกอบที่ครอบคลุมของเราใน เว็บไซต์สำหรับนักพัฒนาแอป ML Kit
การติดตั้งใช้งาน ML ที่กำหนดเองด้วย LiteRT
หากต้องการควบคุมมากขึ้นหรือติดตั้งใช้งานโมเดล ML ของคุณเอง ให้ใช้สแต็ก ML ที่กำหนดเองซึ่งสร้างขึ้นบน LiteRT และบริการ Google Play สแต็กนี้มีสิ่งจำเป็นสำหรับการติดตั้งใช้งานฟีเจอร์ ML ประสิทธิภาพสูง LiteRT เป็นชุดเครื่องมือที่เพิ่มประสิทธิภาพสำหรับการเรียกใช้โมเดล TensorFlow อย่างมีประสิทธิภาพในอุปกรณ์เคลื่อนที่ อุปกรณ์ฝังตัว และอุปกรณ์ Edge ที่มีทรัพยากรจำกัด ซึ่งช่วยให้คุณเรียกใช้โมเดลที่มีขนาดเล็กลงและเร็วขึ้นอย่างมากซึ่งใช้หน่วยความจำ พลังงาน และพื้นที่เก็บข้อมูลน้อยลง รันไทม์ LiteRT ได้รับการเพิ่มประสิทธิภาพอย่างมากสำหรับตัวเร่งฮาร์ดแวร์ต่างๆ (GPU, DSP, NPU) ในอุปกรณ์ Edge ซึ่งช่วยให้การอนุมานมีเวลาในการตอบสนองต่ำ
เลือก LiteRT เมื่อคุณต้องการติดตั้งใช้งานโมเดล ML ที่ฝึกแล้วอย่างมีประสิทธิภาพ (โดยทั่วไปสำหรับการจัดประเภท การถดถอย หรือการตรวจหา) ในอุปกรณ์ที่มีกำลังการคำนวณหรือแบตเตอรี่จำกัด เช่น สมาร์ทโฟน อุปกรณ์ IoT หรือไมโครคอนโทรลเลอร์ เครื่องมือนี้เป็นโซลูชันที่แนะนำสำหรับการติดตั้งใช้งานโมเดลการคาดการณ์ที่กำหนดเองหรือมาตรฐานที่ Edge ซึ่งความเร็วและการประหยัดทรัพยากรเป็นสิ่งสำคัญที่สุด
ดูข้อมูลเพิ่มเติมเกี่ยวกับ การติดตั้งใช้งาน ML ด้วย LiteRT
สร้างการรับรู้แบบเรียลไทม์ลงในแอปด้วย MediaPipe
MediaPipe มีโซลูชันแมชชีนเลิร์นนิงแบบโอเพนซอร์ส ข้ามแพลตฟอร์ม และปรับแต่งได้ ซึ่งออกแบบมาสำหรับสื่อสดและสื่อสตรีมมิง ใช้ประโยชน์จากเครื่องมือที่สร้างไว้ล่วงหน้าและเพิ่มประสิทธิภาพแล้วสำหรับงานที่ซับซ้อน เช่น การติดตามมือ การประมาณท่าทาง การตรวจจับตาข่ายใบหน้า และการตรวจจับวัตถุ ซึ่งทั้งหมดนี้ช่วยให้เกิดการโต้ตอบแบบเรียลไทม์ที่มีประสิทธิภาพสูงแม้ในอุปกรณ์เคลื่อนที่
ไปป์ไลน์แบบกราฟของ MediaPipe ปรับแต่งได้สูง ซึ่งช่วยให้คุณปรับแต่งโซลูชันสำหรับแอปพลิเคชัน Android, iOS, เว็บ, เดสก์ท็อป และแบ็กเอนด์ได้ เลือก MediaPipe เมื่อแอปพลิเคชันของคุณต้องทำความเข้าใจและตอบสนองต่อข้อมูลเซ็นเซอร์แบบสดทันที โดยเฉพาะอย่างยิ่งสตรีมวิดีโอ สำหรับกรณีการใช้งานต่างๆ เช่น การจดจำท่าทางสัมผัส เอฟเฟกต์ AR การติดตามการออกกำลังกาย หรือการควบคุมอวตาร์ ซึ่งทั้งหมดนี้มุ่งเน้นไปที่การวิเคราะห์และตีความอินพุต
สำรวจโซลูชันและเริ่มสร้างด้วย MediaPipe
ผสานรวมแอปกับผู้ช่วยในอุปกรณ์
แม้ว่าการผสานรวม AI แบบเดิมจะมุ่งเน้นไปที่ "การนำ AI ไปไว้ในแอป" แต่คุณก็สามารถ "นำแอปไปไว้ใน AI" ได้เช่นกัน การมีส่วนร่วมในการนำเสนอฟังก์ชันการทำงานของแอปไปยังฟีเจอร์ AI ของระบบจะช่วยให้ผู้ช่วยระดับระบบ (เช่น Gemini) ค้นพบและเรียกใช้ความสามารถของแอปคุณได้โดยอัตโนมัติ AppFunctions เป็น วิธีหลักในการผสานรวมนี้ ซึ่งช่วยให้แอปของคุณเข้าร่วมใน ระบบนิเวศ AI ของ Android ที่กว้างขึ้นได้
เลือกวิธีการ
เมื่อรวม AI เพื่อปรับปรุงแอป Android คุณควรพิจารณาวิธีการหลัก 3 วิธี ได้แก่ การประมวลผลในอุปกรณ์ การใช้ประโยชน์จากโมเดลที่ทำงานในระบบคลาวด์ หรือการเพิ่มฟังก์ชันการทำงานของแอปไปยัง AI ระดับระบบ เครื่องมือต่างๆ เช่น ML Kit, Gemini Nano และ LiteRT ช่วยให้มีความสามารถในการทำงานในอุปกรณ์ ในขณะที่ Gemini Cloud API พร้อม Firebase AI Logic ให้การประมวลผลที่มีประสิทธิภาพในระบบคลาวด์ AppFunctions เป็นเส้นทางที่ 3 ซึ่งช่วยให้คุณ "นำแอปไปไว้ใน AI" ได้โดยทำให้ฟีเจอร์ของแอปพร้อมใช้งานสำหรับระบบโดยอัตโนมัติ
พิจารณาปัจจัยต่อไปนี้เมื่อเลือกวิธีการ
| ตัวประกอบ | โซลูชันในอุปกรณ์ | โซลูชันที่ทำงานในระบบคลาวด์ |
|---|---|---|
| การเชื่อมต่อและฟังก์ชันการทำงานแบบออฟไลน์ | เหมาะสำหรับการใช้งานแบบออฟไลน์ ฟังก์ชันการทำงานโดยไม่ต้องเชื่อมต่อเครือข่าย | ต้องมีการเชื่อมต่อเครือข่ายเพื่อสื่อสารกับเซิร์ฟเวอร์ระยะไกล |
| ความเป็นส่วนตัวของข้อมูล | ประมวลผลและจัดเก็บข้อมูลที่ละเอียดอ่อนในอุปกรณ์ | ข้อมูลจะถูกส่งไปยังระบบคลาวด์ ซึ่งต้องอาศัยความเชื่อมั่นในความปลอดภัยของผู้ให้บริการ |
| การค้นพบได้และการเข้าถึง | การผสานรวมระบบปฏิบัติการโดยตรง (AppFunctions) ช่วยให้ผู้ช่วย ค้นพบฟีเจอร์ต่างๆ ได้ | โดยทั่วไปแล้วการค้นพบจะจำกัดอยู่ที่ UI ภายในของแอปหรือ การผสานรวม API ที่เฉพาะเจาะจง |
| ความสามารถของโมเดล | เพิ่มประสิทธิภาพสำหรับเวลาในการตอบสนองต่ำและงานเฉพาะที่ใช้ทรัพยากรน้อย | โมเดลที่มีประสิทธิภาพซึ่งสามารถจัดการกับความซับซ้อนสูงและ อินพุตขนาดใหญ่ได้ |
| ข้อควรพิจารณาด้านค่าใช้จ่าย | ไม่มีค่าใช้จ่ายต่อการใช้งานโดยตรง ใช้ประโยชน์จากฮาร์ดแวร์ที่มีอยู่ในอุปกรณ์ | โดยทั่วไปแล้วจะมีราคาตามปริมาณการใช้งานหรือค่าสมัครใช้บริการแบบต่อเนื่อง |
| ทรัพยากรของอุปกรณ์ | ใช้พื้นที่เก็บข้อมูลในเครื่อง RAM และแบตเตอรี่ | ผลกระทบต่ออุปกรณ์น้อยมาก ระบบจะส่งงานที่ต้องใช้ทรัพยากรจำนวนมากไปยังเซิร์ฟเวอร์ |
| การปรับปรุง | ความยืดหยุ่นจำกัด ถูกจำกัดด้วยความสามารถของฮาร์ดแวร์ในเครื่อง | มีความยืดหยุ่นมากขึ้นสำหรับการปรับแต่งที่ครอบคลุมและ การปรับขนาดใหญ่ |
| ความสอดคล้องข้ามแพลตฟอร์ม | ความพร้อมให้บริการอาจแตกต่างกันไปตามระบบปฏิบัติการและการสนับสนุนฮาร์ดแวร์ | ประสบการณ์การใช้งานที่สอดคล้องกันในทุกแพลตฟอร์มที่มีการเข้าถึงอินเทอร์เน็ต |
การพิจารณาข้อกำหนดของกรณีการใช้งานและตัวเลือกที่มีอยู่อย่างรอบคอบจะช่วยให้คุณค้นหาโซลูชัน AI/ML ที่สมบูรณ์แบบเพื่อปรับปรุงแอป Android และมอบประสบการณ์การใช้งานที่อัจฉริยะและปรับเปลี่ยนในแบบของผู้ใช้
คู่มือโซลูชัน AI/ML
คู่มือโซลูชันนี้ช่วยคุณระบุเครื่องมือสำหรับนักพัฒนาแอปที่เหมาะสมสำหรับการผสานรวมเทคโนโลยี AI/ML เข้ากับโปรเจ็กต์ Android
เป้าหมายหลักของฟีเจอร์ AI คืออะไร
- A) การสร้างเนื้อหาใหม่ (ข้อความ คำอธิบายรูปภาพ) หรือการประมวลผลข้อความแบบง่าย (การสรุป การพิสูจน์อักษร หรือการเขียนข้อความใหม่) → ไปที่ Generative AI
- B) การวิเคราะห์ข้อมูล/อินพุตที่มีอยู่เพื่อการคาดการณ์ การจัดประเภท การตรวจหา การทำความเข้าใจรูปแบบ หรือการประมวลผลสตรีมแบบเรียลไทม์ (เช่น วิดีโอ/เสียง) → ไปที่ ML และการรับรู้แบบดั้งเดิม
- C) การปรับปรุงฟังก์ชันการทำงานของแอปเพื่อผสานรวมกับฟีเจอร์ AI ของระบบ (การนำแอปไปไว้ใน AI)? → ไปที่ การนำแอปไปไว้ใน AI
ML และการรับรู้แบบเดิม
คุณต้องวิเคราะห์อินพุต ระบุฟีเจอร์ หรือคาดการณ์ตามรูปแบบที่เรียนรู้มา แทนที่จะสร้างเอาต์พุตใหม่ทั้งหมด
คุณกำลังทำงานใดอยู่
- A) ต้องการผสานรวมฟีเจอร์ ML ทั่วไปสำหรับอุปกรณ์เคลื่อนที่ที่สร้างไว้ล่วงหน้าอย่างรวดเร็ว
(เช่น การสแกนบาร์โค้ด การจดจำข้อความ (OCR) การตรวจจับใบหน้า การติดป้ายกำกับรูปภาพ การตรวจจับออบเจ็กต์และการติดตาม การระบุภาษา การช่วยตอบแบบอัจฉริยะขั้นพื้นฐาน)
- → ใช้: ML Kit (API แบบเดิม)
- เหตุผล: ผสานรวมงาน ML ที่ได้รับการยอมรับสำหรับอุปกรณ์เคลื่อนที่ได้ง่ายที่สุด โดยมักจะเพิ่มประสิทธิภาพสำหรับการใช้งานในอุปกรณ์ (เวลาในการตอบสนองต่ำ ทำงานแบบออฟไลน์ได้ และมีความเป็นส่วนตัว)
- B) ต้องการประมวลผล ข้อมูลสตรีมมิงแบบเรียลไทม์ (เช่น วิดีโอหรือเสียง) สำหรับงานการรับรู้ (เช่น การติดตามมือ การประมาณท่าทาง ตาข่ายใบหน้า การตรวจจับและการแบ่งส่วนวัตถุแบบเรียลไทม์ในวิดีโอ)
- → ใช้: MediaPipe
- เหตุผล: เฟรมเวิร์กที่เชี่ยวชาญด้าน ไปป์ไลน์การรับรู้แบบเรียลไทม์ที่มีประสิทธิภาพสูงใน แพลตฟอร์มต่างๆ
- C) ต้องการเรียกใช้โมเดล ML ที่ฝึกแบบกำหนดเอง ของคุณเองอย่างมีประสิทธิภาพ (เช่น สำหรับการจัดประเภท การถดถอย การตรวจหา) ในอุปกรณ์ โดยให้ความสำคัญกับประสิทธิภาพและการใช้ทรัพยากรต่ำ
- → ใช้: LiteRT (รันไทม์ TensorFlow Lite)
- เหตุผล: รันไทม์ที่เพิ่มประสิทธิภาพสำหรับการ ติดตั้งใช้งานโมเดลที่กำหนดเองอย่างมีประสิทธิภาพในอุปกรณ์เคลื่อนที่และอุปกรณ์ Edge (ขนาดเล็ก ขนาด การอนุมานที่รวดเร็ว การเร่งฮาร์ดแวร์)
- D) ต้องการ ฝึกโมเดล ML ที่กำหนดเอง ของคุณเองสำหรับงานเฉพาะ
- → ใช้: LiteRT (รันไทม์ TensorFlow Lite) + การฝึกโมเดลที่กำหนดเอง
- เหตุผล: มีเครื่องมือในการ ฝึกและติดตั้งใช้งานโมเดลที่กำหนดเอง ซึ่งเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่และอุปกรณ์ Edge
- E) ต้องการการจัดประเภทเนื้อหา การวิเคราะห์ความเห็น หรือการแปลภาษา จำนวนมาก ที่ซับซ้อน
- พิจารณาว่าโมเดล ML แบบเดิม (อาจติดตั้งใช้งานโดยใช้ LiteRT หรือระบบคลาวด์) เหมาะสมหรือไม่ หรือหาก NLU ขั้นสูงต้องใช้โมเดล Generative (กลับไปที่เริ่มต้น แล้วเลือก A) สำหรับการจัดประเภท ความเห็น หรือการแปลที่ทำงานในระบบคลาวด์ ให้ทำดังนี้
- → ใช้: โซลูชันที่ทำงานในระบบคลาวด์ (เช่น Google Cloud Natural Language API, Google Cloud Translation API, ซึ่งอาจเข้าถึงได้โดยใช้แบ็กเอนด์ที่กำหนดเองหรือ แพลตฟอร์ม Agent ของ Gemini Enterprise). (มีความสำคัญน้อยกว่าตัวเลือกในอุปกรณ์หากการทำงานแบบออฟไลน์หรือความเป็นส่วนตัวเป็นสิ่งสำคัญ)
- เหตุผล: โซลูชันที่ทำงานในระบบคลาวด์มี โมเดลที่มีประสิทธิภาพและการรองรับภาษาที่ครอบคลุม แต่ต้องมีการเชื่อมต่อ และอาจมีค่าใช้จ่าย
Generative AI
คุณต้องสร้างเนื้อหาใหม่ สรุป เขียนใหม่ หรือทำงานที่ซับซ้อนด้านความเข้าใจหรือการโต้ตอบ
คุณต้องการให้ AI ทำงาน แบบออฟไลน์ ต้องการ ความเป็นส่วนตัวของข้อมูล สูงสุด (เก็บข้อมูลผู้ใช้ไว้ในอุปกรณ์) หรือต้องการ หลีกเลี่ยงค่าใช้จ่ายในการอนุมานในระบบคลาวด์
- A) ใช่ การทำงานแบบออฟไลน์ ความเป็นส่วนตัวสูงสุด หรือไม่มีค่าใช้จ่ายในระบบคลาวด์เป็นสิ่งสำคัญ
- → ไปที่ Generative AI ในอุปกรณ์
- B) ไม่ มีการเชื่อมต่อและยอมรับได้ ความสามารถและความสามารถในการปรับขนาดของระบบคลาวด์มีความสำคัญมากกว่า หรือฟีเจอร์บางอย่างต้องใช้ระบบคลาวด์
Generative AI ในอุปกรณ์ (ใช้ Gemini Nano)
ข้อควรระวัง: ต้องใช้อุปกรณ์ Android ที่เข้ากันได้ รองรับ iOS อย่างจำกัด โมเดล มีประสิทธิภาพน้อยกว่าโมเดลที่ทำงานในระบบคลาวด์
Prompt API ของ ML Kit ช่วยให้คุณส่งคำขอด้วยภาษาธรรมชาติพร้อมอินพุตข้อความเท่านั้นหรือทั้งข้อความและรูปภาพสำหรับกรณีการใช้งานที่หลากหลาย เช่น การทำความเข้าใจรูปภาพ การแปลแบบสั้น และการสรุปแบบมีคำแนะนำ หากกรณีการใช้งานของคุณเป็นไปตาม ขีดจำกัดโทเค็นเหล่านี้ GenAI API ของ ML Kit เป็นตัวเลือกที่ดีที่สุดสำหรับ Generative AI ในอุปกรณ์ นอกจากนี้ ML Kit ยังมี API ที่ปรับปรุงแล้วสำหรับงานทั่วไป เช่น การสรุปและการช่วยตอบแบบอัจฉริยะ
- → ใช้: GenAI API ของ ML Kit (ทำงานด้วย Gemini Nano)
- เหตุผล: วิธีที่ง่ายที่สุดในการผสานรวมงาน Generative AI ในอุปกรณ์โดยใช้พรอมต์ภาษาธรรมชาติ ซึ่งเป็นโซลูชันในอุปกรณ์ที่มีความสำคัญสูงสุด
Generative AI ที่ทำงานในระบบคลาวด์
ใช้โมเดลที่มีประสิทธิภาพมากขึ้น ต้องมีการเชื่อมต่อ โดยปกติแล้วจะมีค่าใช้จ่ายในการอนุมาน ให้การเข้าถึงอุปกรณ์ที่กว้างขึ้นและความสอดคล้องข้ามแพลตฟอร์ม (Android และ iOS) ที่ง่ายขึ้น
สิ่งที่คุณให้ความสำคัญเป็นอันดับแรกคือความง่ายในการผสานรวมภายใน Firebase หรือความยืดหยุ่น/การควบคุมสูงสุด
- A) ต้องการการผสานรวมที่ง่ายขึ้น ประสบการณ์การใช้งาน API ที่มีการจัดการ และมีแนวโน้มที่จะใช้ Firebase อยู่แล้ว
- → ใช้: Firebase AI Logic SDK → ไปที่ Firebase AI Logic
- B) ต้องการความยืดหยุ่นสูงสุด เข้าถึงโมเดลที่หลากหลายที่สุด (รวมถึงโมเดลของบุคคลที่สาม/โมเดลที่กำหนดเอง) การปรับแต่งขั้นสูง และยินดีที่จะจัดการการผสานรวมแบ็กเอนด์ของคุณเอง (ซับซ้อนมากขึ้น)
- → ใช้: Gemini API กับแบ็กเอนด์ที่กำหนดเองในระบบคลาวด์ (ใช้ Google Cloud Platform)
- เหตุผล: ให้การควบคุมสูงสุด เข้าถึงโมเดลได้กว้างที่สุด และมีตัวเลือกการฝึกที่กำหนดเอง แต่ต้องใช้ความพยายามอย่างมากในการพัฒนา แบ็กเอนด์ เหมาะสำหรับความต้องการที่ซับซ้อน ขนาดใหญ่ หรือปรับแต่งสูง
(คุณเลือก Firebase AI Logic SDK) คุณต้องการงาน Generative และโปรไฟล์ประสิทธิภาพแบบใด
- A) ต้องการความสมดุลระหว่างประสิทธิภาพและค่าใช้จ่าย เหมาะสำหรับการสร้างข้อความทั่วไป การสรุป หรือแอปพลิเคชันแชทที่ความเร็วเป็นสิ่งสำคัญ
- → ใช้: Firebase AI Logic SDK กับ Gemini Flash
- เหตุผล: เพิ่มประสิทธิภาพสำหรับความเร็วและ ประสิทธิภาพภายในสภาพแวดล้อมที่มีการจัดการของ Google Cloud
- B) ต้องการคุณภาพและความสามารถที่สูงขึ้นสำหรับการสร้างข้อความที่ซับซ้อน การให้เหตุผล NLU ขั้นสูง หรือการทำตามคำแนะนำ
- → ใช้: Firebase AI Logic SDK กับ Gemini Pro
- เหตุผล: โมเดลข้อความที่มีประสิทธิภาพมากขึ้น สำหรับงานที่ต้องใช้ทรัพยากรจำนวนมาก ซึ่งเข้าถึงได้ผ่าน Firebase
AppFunctions
คุณต้องปรับปรุงฟังก์ชันการทำงานของแอปเพื่อผสานรวมกับฟีเจอร์ AI ของระบบ (การนำแอปไปไว้ใน AI)
- → ใช้: AppFunctions
- เหตุผล: ช่วยให้ฟีเจอร์ AI ของระบบ เช่น Assistant ค้นพบและเรียกใช้ความสามารถของแอปคุณได้