Android Developer Challenge 獲獎者
透過實用創新培養未來
路克·Dormehl 的名言
插圖作者:Hannah Perry
「機器學習的突破已使得我們的日常生活更便利,也更加豐富。」
重新閃爍的紅眼會再次凝視使用者。系統以冷、不悅的語音說話。Dave 表示:「很抱歉,「很抱歉,我沒辦法這麼做」。以自行保留的名稱來說,AI 系統會覆寫其順序,進而激起機組員工的尊敬。畢竟其他人再也看不到它。 使用者希望電腦能夠輔助人類,而非取代或阻礙系統。他們希望科技能為烏托邦人而不是反烏托邦人提供協助,讓科技可以找到解決方案,而非更多問題。現今技術的功能比以往更加強大,因此建構及使用方法應對其運作方式也同樣重要。藉由將人格擺在最顯眼的位置,我們就能打造出能改善未來發展的技術。
當然,我們也不會等著了。 許多輔助技術均奠基於機器學習的突破性進展,已讓我們的生活更加輕鬆便利。可能降低壅塞、汙染和交通事故的自動駕駛汽車已開始在地面上出現。機器學習輔助翻譯工具、醫療診斷軟體和情境感知裝置等其他技術已納入許多人每天的日常生活中。包括 Gmail 的智慧撰寫功能,可在使用者輸入訊息時提供建議;Android 的「即時轉錄」功能可協助失聰或聽障,接收超過 70 種語言和方言的即時語音轉文字字幕;或是支援長期支援 Google 助理的 Google 助理功能 (這項功能可協助數百萬人掌握 Google 未來規劃的技術,幫助數百萬人掌握未來改善行程),並展現 Google 的未來發展願景。
如今,這種創新概念比行動裝置更重要。自 2008 年推出 Android 以來,Android 已成為全球最受歡迎的行動平台。機器學習在圖片辨識方面的進步,意味著使用者可將智慧型手機的相機對準文字,並透過 Google 翻譯將手機即時翻譯成 88 種語言。隨著手機成為全球使用者的首選裝置 (尤其是在開發中國家快速成長的市場),新工具在建構時也應考量以人類為中心的應用程式。實用創新或許會改變我們存取、使用及解讀資訊的方式,適時地在需要時提供。
這表示 預測洪水 並會直接向受影響的對象 發出警示。甚至還能快速拍下某個物品 (例如咖啡杯),以及規劃前往附近回收點的路線。開發新技術並非單純的簡易路徑。而是仰賴硬體的進步、軟體的新發現,以及打造這些全新體驗的開發人員。將焦點放在「實用創新」,Android Developer Challenge 將以機器學習技術的實際應用為例,為使用者帶來實際行動,並激勵下一波開發人員透過這項新技術發掘無限可能。
設計以人為本的體驗
Christopher Katsaros 寫的
Joanna Goodman 的訪談
插圖作者:Ori Toor
如果你只是就想畢業,老鼠會很惱人生物,偶爾會在晚上睡不好。您使用過電腦滑鼠數次,而且學校已連線至學校圖書館基礎的舊版系統。然而,如果您相信的話,電腦滑鼠是個人化運算作業的根基,可使電腦更容易互動。
在這個 1960 年代到 1990 年代數位設備公司 (Digital Devices Corporation) 的創辦人之前,Steve Job 率先引領了圖形使用者介面,而且以滑鼠為基礎,我們選擇了個人運算和新時代的設計。她表示:「數位設備公司是美國 1960 年代到 1990 年代的大型美國電腦製作人,並不合理。從那時起,運算設計已進入兩個更重要的重新演變,每一步都改變了我們與裝置間的關係,使其更加親密、更加個人化,也更人性化。
隨著行動裝置的普及,Android 和 iOS 掀起了一項重大變革。起初,行動裝置的特點在於螢幕較小、耗電量更小、功能更少,但開發人員很快就意識到,這是更加艱鉅的事情。在行動裝置中滑動、輕觸、輕觸、用鏡頭等語言,讓手機發揮更大功用,不再只是螢幕的邊框,現在還會加上一層資訊圖層,隨時準備好為您提供服務。而隨著位置資訊的背景資訊,從那時起,運算設計已經歷兩個重要的轉變,每一步都讓我們得以改善我們與裝置間的關係,讓雙方互動更加親密、更貼近個人需求。
隨著行動裝置的普及,Android 和 iOS 掀起了一項重大變革。起初,行動裝置的特點在於螢幕較小、耗電量更小、功能更少,但開發人員很快就意識到,這是更加艱鉅的事情。在行動裝置中滑動、輕觸、輕觸、用鏡頭等語言,讓手機發揮更大功用,不再只是螢幕的邊框,現在還會加上一層資訊圖層,隨時準備好為您提供服務。而隨著地點、身分和流動等背景資訊,電腦版的人類在行動中解鎖的體驗,也難以實現。機器學習是後續的重大改變,讓以人為本的設計大幅提升了這項技術的專注力。
如果能暗示電腦可以待在家中,您可以與電腦溝通更大膽。或者,你也能將鏡頭對準美麗的花朵,使用 Google 智慧鏡頭辨識屬於哪種花朵,然後設定提醒,替媽媽訂花花束:「Google 智慧鏡頭可以使用電腦視覺模型來擴大搜尋速度,並加快搜尋速度。」Google 員工 + AI 團隊資深研究員 Jess Holbrook 說。「雖然你不一定要使用相機進行搜尋,但這項功能很實用。萬一你忘記某個事物的名稱,或必須停下腳步再輸入詳細說明,而且使用相機的速度非常快。」
解決人為問題
路克·Dormehl 的名言
插圖:Manshen Lo
Yossi Matias 是 Google 工程部門副總裁、在以色列研發中心的 Google 研發中心總經理,以及社會公益的 AI 共同主管。
Matias 是所有 AI 技術的知名思維領袖,他分享裝置端機器學習、智慧型環境和運用 AI 提昇人類能力的潛力。
問:推動 AI 工作與激發熱忱的因素為何?
A. 我想開發相關技術,並運用技術解決棘手問題,發揮影響力。我參與的專案包括對話式 AI 技術,例如 Google Duplex 是採用自然人聲的自動化系統,可讓你在手機上完成預約等工作。Read It 可讓 Google 助理從手機朗讀網路文章內容,以及使用來電過濾和即時字幕等裝置技術。我也非常重視 AI 技術的整體運用方式,希望可以促進社會公益。相關例子包括使用機器學習、雲端運算、水力模擬和其他技術,執行更精準的洪水預測作業。
問:AI 促進社會公益的計畫如何發展?
A. Google 文化的一大特質,就是許多人都關心如何利用科技解決重大問題。促進社會公益的 AI 技術可在許多領域中發揮其價值,包括健康、生物多樣性、協助取得無障礙需求、災害應變和永續發展等。Google 中的幾位成員齊聚一堂,找出問題並成功解決,如果能夠幫助人們解決生活中的各種問題,就能為人們的生活與社會帶來莫大助益。 因此,我們打造了「社會公益」 AI 技術,協助 Google 內外的所有人發展社會公益相關行動。現今的機器學習技術可透過雲端提供,讓全球許多使用者都能利用工具找出實際社會問題,甚至解決相關問題。這在歷史上非常驚人。
問:裝置端技術可以扮演哪些角色?
現今的行動裝置功能越來越強大,這讓我們有機會運用在裝置端執行的機器學習技術。基於許多原因 (例如能夠立即存取特定應用程式,而不需要依賴連線),這點相當重要。此外,在處理個人資料時,也必須防止裝置將任何項目移到他處,這點也很重要。透過來電過濾、即時字幕和即時轉送等例子,瞭解裝置端對話式 AI 如何協助使用者妥善控管來電、讓聽障者查看通話內容的即時字幕,甚至是通話對話。
問:為什麼環境情報可以扭轉局勢?
A. 實用的技術內嵌在我們的環境後,就能順暢運作,不必特別留意。許多技術一開始令我們感到驚訝,但很快就決定看待這些技術。對話式 AI 能消除形態和語言之間的障礙,促進互動。我們希望讓機器進一步瞭解我們,並以自然的方式開口與我們聯絡 (幾乎在微光環境中),使用者不再需要明確提出要求,且能更自然地互動,使用者就不需要明確地提出要求。
問:為何要易於使用機器學習工具?
A. Android Developer Challenge 說明瞭開啟雲端和裝置端技術的重要性。我們很高興能看到來自世界各地和所有人的創新構想。我們希望能夠盡可能鼓勵、支援、啟發和建議。我對參與這項計畫的人 感到非常開心,如果 Google 能幫助他們將熱忱拓展全球業務及運用先進技術,我們就能看到令人驚豔的創新成果,這對使用者來說絕對非常實用。
您如何在行動裝置上運用創新的機器學習工具和功能?答案是 TensorFlow Lite。這個功能強大的機器學習架構可協助您在 Android 和 iOS 裝置上執行機器學習模型,瞭解通常不太可能支援這些模型。TensorFlow Lite 目前在全球數十億部裝置上運作。這套工具可用於各種強大的類神經網路相關應用程式,包括圖片偵測和語音辨識,以及將最先進技術和我們隨身攜帶的裝置一併納入。
TensorFlow Lite 可讓您在裝置上自行執行大部分的機器學習處理作業,並使用耗用大量運算資源的模型,而且不需要仰賴伺服器或資料中心。這些模型的執行速度更快、提供潛在的隱私改善項目、降低耗電量 (連線可能很耗電)。此外,在某些情況下,這些模型不需要網際網路連線。在 Android 裝置上,TensorFlow Lite 透過 Neural Network API 存取專業行動加速器,藉此改善效能,同時降低耗電量。
TensorFlow Lite 工程部門主管 Sarah Sirajuddin 表示:「TensorFlow Lite 能夠協助伺服器提供往返延遲,使應用程式不再只是起步的平台。」舉例來說,她繼續表示:「在裝置端語音辨識、即時影片互動功能,以及拍照時的即時強化功能,都是很好的例子。」她接著說:「這方面的創新技術相當可觀,未來也會變得更加激烈。」另一個令人興奮的特點是,在於機器學習可簡化機器學習技術,進而協助培養創意和人才。」
路克·Dormehl 的名言
插圖:Sarah Maxwell
ML Kit 為行動應用程式開發人員帶來 Google 的裝置端機器學習技術,可在應用程式中打造自訂的互動式體驗。包括語言翻譯、文字辨識、物件偵測等工具。ML Kit 能夠即時辨識、分析,並以使用者隱私為優先的方式,即時辨識、分析視覺化和文字資料,並以保護使用者隱私的方式運作。產品管理總監 Brahim Elbouchikhi 表示:「機器學習讓我們更平易近人,
「我們將 Google 的同級最佳機器學習模型做為一套簡單的工具提供給使用者。如此一來,開發人員就不必再是機器學習專家,也能建立採用機器學習技術的應用程式。所有複雜的工作都隱藏起來,開發人員可以專心處理核心產品。」舉例來說,語言 ID 等工具可以協助識別字串文字的語言,而物件偵測與追蹤功能則可協助在圖片或即時攝影機影像中即時本地化和追蹤一或多個物件。
這就是 Android 開發人員挑戰中成功的應用程式 能讓他們區分出可回收和不可回收的材料,而 UnoDogs 則可用來區分 健康與不健康的狗。 未來呢?Elbouchikhi 表示,目標是讓技術融入背景中,讓裝置更好地瞭解我們的需求。「ML Kit 讓我們實現了這項承諾,讓開發人員打造符合直覺、切合需求的體驗,同時提升使用者隱私和信任感。」
Joanna Goodman 的詞彙
插圖作者:Tor Brandt
如今,每天都有超過 4 億人使用行動支付服務,讓您匯款、支付公用事業費帳單,或從使用 USSD (透過手機傳送的快速代碼) 行動貨幣資訊站提款。雖然世界各地的使用者都透過行動裝置支付行動貨幣,但在剛果民主共和國 (DRC) 等國家/地區中,有 46% 的人口會住在沒有傳統銀行或穩定的網際網路連線的鄉村地區,這一點特別實用。不幸的是,這項程序相當耗時又難以使用,尤其是對難以讀取及處理數字的人而言更是如此。其中一個動作發生錯誤,必須重新開始。
如果使用的代碼有誤,款項可能會匯給錯誤的對象。Esske 簡化了使用者體驗,使其更加直覺易用。使用者甚至可以在應用程式中閱讀及追蹤即時交易,還可以轉帳、支付帳單、購買訂閱項目以及必要的通話時間,以便傳送簡訊、使用行動數據及撥打電話。大部分的行動銀行服務都會要求使用者手動輸入手機的 USSD 代碼,但 Eskke 的快速提款功能會自動處理這些資訊。
ML Kit 提供離線文字辨識和條碼掃描等工具,讓使用者只要使用行動貨幣資訊站掃描 QR code,即可快速提款。位於剛果民主共和國的使用者已可使用這個應用程式,日後將擴大支援其他國家/地區的行動貨幣業者。
艾莉爾畢爾的名言
插圖: Frances Haszard
arrow_upward隨著全球氣候變遷,大家都希望減少碳足跡,並減少廢棄物的廢棄物處理。
雖然大多數城市都提供回收服務,但許多地點有不同的規則、限制和法規。由於標籤不佳和政策不一致,不可回收的物件佔了超過 25% 的回收桶。
垃圾桶可讓消費者更輕鬆地回收手機。只要將裝置端的相機對準物品,應用程式就能透過物件偵測功能辨識並分類塑膠與紙杯、包包和瓶子等。透過自訂的 TensorFlow Lite 模型分析這些資訊後,系統會回報該物體是否可回收,以及如何回收再利用 (視當地規則而定),並分享鄰近的回收桶。
目前在美國伊利諾州、賓夕法尼亞州和加州政府提供服務,Fitly 不僅允許利用「附近」功能尋找 1,000 個回收中心,也計劃將未來拓展至其他州和國家,協助提倡負責任的習慣,發揮更大的影響力。
艾莉爾畢爾的名言
插圖作者:Aless Mc
arrow_upward小狗仰賴其主人每天運動、飲食和照料。然而,即便是出於善意,許多備受喜愛的狗仍造成重重,導致動物的壽命減少多達 25%。UnoDogs 提供飼主自訂的資訊和健身計畫,協助飼主更有效支援寵物的健康。UnoDogs 透過追蹤和測量狗的健康情況,並提供準確的建議,藉此在健康問題開始前就解決這項問題。
UnoDogs 使用 Google Cloud Platform AutoML Vision 功能訓練物件偵測模型,藉此分析即時影像,因此能夠計算犬隻的身體狀況分數,並提供理想的體重和尺寸建議。日後推出的版本將提供更多採用機器學習技術的功能,例如食物推薦、靈活性測試和健身計畫。
接著,體重和運動追蹤詳細資料會與即時分析結合,提供簡便的飲食和運動計畫,讓飼主保持在目標內並獲得啟發,幫助牠們擁有最佳壽命。
艾莉爾畢爾的名言
插圖:Choi Haeryung
arrow_upward農夫
開發人員:Mirwise Khan、Samina Ismail、Ehtisham Ahmed、Hassaan Khalid
服務據點:巴基斯坦巴洛奇山
「我們協助連結農夫,並利用 AI 提升工作效率。」
作物疾病對世界各地的農夫一直構成威脅。此外,食品安全對健康、社會和經濟造成的影響可能會帶來巨大的影響。AgriFarm 協助農民偵測植物疾病,預防重大損害。為達成這個目標,用於辨識疾病類型的深層類神經網路分類器託管於 Google Cloud AI Platform。
更多功能包括天氣預報、影片推薦和價格預測。AgriFarm 專為偏遠的鄉村地區而設計,可通行的蔬果 (例如番茄、玉米和馬鈴薯等) 適用於偏遠的鄉村地區,而且服務範圍將擴及全球。
艾莉爾畢爾的名言
插圖作者:Buba Viedma
arrow_upwardAgroDoc 是以群眾外包模型為基礎,可協助收集地理位置和氣候相近的農夫相關資料,以便診斷植物疾病並制定治療計畫。有了應用程式,裝置相機就會掃描感染的葉子,而 TensorFlow Lite 程式庫則可協助偵測疾病類型。
這些資料結合主要問題和簡易步驟來進行分析,旨在改善植物的健康。
艾莉爾畢爾的名言
插圖作者:Buba Viedma
arrow_upward壓力存在很多形式,包括正向與負面。幸好,我們的身體是自行招募,因應不斷變化的環境。但如果極端事件或情況造成壓力過高,負面影響可能會累積,進而造成焦慮、憂鬱和長期健康損失。Stila (學習活動中的壓力追蹤)、監控及追蹤身體的壓力水平,方便使用者進一步瞭解及管理生活中的壓力。為此,智慧型手機應用程式能與穿戴式裝置 (例如 Fitbit 智慧手環或搭載 Wear OS by Google 的裝置) 搭配運作,藉此記錄各自的生物回饋。
Firebase 自訂模型可偵測並分類壓力,TensorFlow Lite 翻譯工具可離線處理資訊。這款應用程式會追蹤身體的壓力程度,並結合了使用者生活事件和環境的簡短報告。然後計算出壓力等級分數,協助預估特定活動期間的壓力。 每個人對壓力者和肌肉的反應都不同,因此 Stila 會透過這些報告學習並調整運作方式。然後根據每位使用者的節奏和需求提供意見回饋。
這類特質可透過遷移學習進一步提供個人化的使用者體驗。藉由偵測及監控長期的壓力等級,使用者有機會更有效地管理生活中的壓力。
艾莉爾畢爾的名言
插圖作者:Lin Fritz
arrow_upwardMixPose 是一個直播平台,讓瑜珈老師和健身專業人士有機會進行教學、追蹤課程進度並即時提供意見回饋。靜態健身影片只能單向分享資訊。不過,老師可以利用這個應用程式自訂課程,直接滿足學生的需求。姿勢追蹤功能會偵測每位使用者的行進動作和位置,並使用 ML Kit 和 PoseNet 分類。
然後,透過即時感應器和意見回饋系統告知校正。新增 Chromecast 等影片功能的輸出,即可輕鬆連線至較大的螢幕,提供更身歷其境的觀看體驗。MixPose 由 3, 700 萬名美國人設計,並邀請到超過 100 名瑜珈老師共襄盛舉。這個平台透過 Edge、5G 和智慧型電視的 AI 技術推動革新,讓使用者在舒適的家中就能直接找到互動式課程。
艾莉爾畢爾的名言
插圖作者:Rachel Levit Ruiz
arrow_upward在聽力和口說方面,印度有超過 700 萬人具有不同的聽力和口說能力,但很少人獲得手語教育。由於語言和方言種類繁多,建立標準形式的溝通幾乎是不可能的任務。
透過 Leepi,學生可以學習美國手語的手勢和符號。應用程式使用字母、符號、臉部辨識和意圖辨識功能,並提供互動式練習和即時回饋。我們使用 TensorFlow Lite 程式庫和 MediaPipe 架構,提高裝置端處理作業的準確度和效率。重要的是,這項工具是專為離線使用而設計,讓更多學生都能輕鬆學習。
艾莉爾畢爾的名言
插圖:Xuetong Wang
arrow_upward良好的睡眠是讓人體休息與修復的重要關鍵。然而,有 25% 的成人會定期打鼾,這可能會導致睡眠中斷和潛在的慢性健康問題。
透過 TensorFlow Lite 擷取、分析及分類音訊,打鼾和咳嗽應用程式能辨識打鼾和咳嗽情形,協助使用者向醫療專業人員尋求協助。
艾莉爾畢爾的名言
插圖:Xuetong Wang
arrow_upward在購物中心或人多的街道等公共環境間移動時,移動障礙物會不斷改變,並出現意料之外的變化。如果有感測、聲音和觸控等感官體驗,則有助於避免碰撞和預防意外事故。但對視障者來說,在公開環境中導航時,會遇到許多未知問題。路徑搜尋器可以識別並計算在路徑中移動的物件移動軌跡,協助視障人士克服這些複雜情況。
然後自訂快訊會告知使用者如何避免這些障礙,並建議可以安全進行的操作。 這個應用程式會使用 TensorFlow Lite 的物件偵測功能,計算周遭物件的距離。這項工具旨在增進使用者體驗、分享資訊、提供支援,而非在艱難情境中讓使用者感到不堪負荷。因此,Path Finder 的設定程序是以對話形式提供,並是專為視力有限的使用者和提供協助的人量身打造。
聽覺和觸覺回饋都是障礙警示系統的一部分,而音圈範圍和頻率範圍則涵蓋每個物件的距離和方向。接著,摩斯電碼這類音訊模式會分層並合併,以分享更多資訊。路徑搜尋器可協助視障使用者利用預先闢謠的優勢,讓公共環境更容易瀏覽。
艾莉爾畢爾的名言
插圖:Sonya Korshenboym
arrow_upward