美股

〈研之有物〉課堂裡的隱性需求：聽不清楚、不敢舉手

研之有物 2019-02-17 11:00

‌

輕微聽損的學生、長輩，因為空間距離、背景噪音，無法聽清楚老師或講者的話語。這種情況，常在課堂與演講中被忽略。中研院張佑榕、曹昱團隊與跨單位合作，打造智慧聽 APP 助聽系統，讓聲音直送耳朵，學習沒有距離。

‌

孔子曰：益者三友，友直，友諒，友多聞。而「聞」的前提，就藏在象形字的奧妙中，需要靠「耳」來聽取知識。若是學齡兒童有聽損情況，無法將眼前的「文字」與「聲音」相連結，會造成學習效果下降（註一）；對於聽覺稍微退化的長輩來說，聽不清楚旁人的話語，也會心生社交壓力。

生活中常見的聽覺阻礙是：背景噪音、聽者與說話者的距離。

觀察到這些聽覺阻礙，受到馬偕醫學院張秀雯助理教授的邀請，加上雅文基金會張逸屏研究員的合作，中研院資訊科技創新研究中心的副研究員──張佑榕、曹昱，實驗如何透過便利的方法，來解決「因為空間距離和背景噪音，而聽不清楚」的輕微聽損問題。

我們可以將「聲波」想像成一位旅者，這位旅者從說話者的嘴巴出發，要到達聽者的耳朵，需要經過一大段空間。張佑榕和曹昱的解決方案是：「我們可以縮減這段空間，讓聲波這位旅者，直接跳到聽者的耳朵」。

這種「聲音直送」的助聽功能，傳統上是透過 FM 調頻系統來達成，但市面上的調頻助聽系統，售價約為臺幣 6 至 8 萬元，並非人人負擔得起，或是有些輕微聽損者還用不到如此高規格的輔具。

幸好，大多數人都有手機，手機又相當強大，張佑榕、曹昱決定用智慧型手機來實現「調頻助聽系統」的功能。

那麼，要如何讓聲波透過手機走捷徑呢？生活中常用的無線通訊──藍芽和 Wi-Fi，可以為聲波搭出一條高速道路。如下圖所示：

「聽者與說話者的距離」這個聽覺阻礙，透過無線通訊解決了，但還有另一個問題：背景噪音。

上課時同學很吵、講座場地反射回音，這些噪音都會附加於講者的聲音，讓輕微聽損者聽不清楚。因此，曹昱在智慧聽 APP 加上除噪功能，「目前我們是採用 GMAPA （適應性噪音消除演算法，註二），之後會嘗試用深度學習模型來消除噪音。」

日常生活中，就算聽覺健全，有時還是會聽錯別人說的話。考量這個情況，智慧聽 APP 另外加上「錄音」和「語音轉文字」的功能，除了可以重複聆聽確認，也能透過文字判讀聽到的話語。

「若是今天老師講的，我聽懂了七八成，那我再參照文字就能理解九成」，曹昱說明，目前文字是顯示在手機 APP ，若未來能結合穿戴式裝置，例如眼鏡，就能即時將關鍵字顯示在眼鏡上，透過視覺來輔助聽覺。

無論是語音處理、或無線通訊的研究，都是用數學來解決生活問題。不過其實最初跨入這兩個研究領域，初衷是基於好奇心。

談到無線通訊這門學問，張佑榕說：「我們做研究比較像在解一個工程應用的數學問題，透過數理邏輯的推演，這過程很有趣。」從小雖然喜歡數學，但考量數學系太理論，而推甄到偏向應用的電機系，進入無線通訊的領域。

喜歡研究主題有「人味」的曹昱表示，語音處理的題目很有趣，而且可以應用到醫學和工程相關領域，幫助需要的人、讓生活更好。

除了可以發表論文，最快樂的是看到 APP 被點五顆星，留言說很好用。

術業有專攻，建構智慧聽 APP 的過程中，其實最難的是──找到會寫 APP 程式碼的成員。「我們會寫音訊處理、無線通訊、深度學習這些模型，但 APP 的程式和介面設計，依靠林祐成、Alan Chern、Kylon Chiang、賴穎暉教授協力完成與測試。」

團隊亦透過問卷調查使用者的反應，比較「智慧聽 APP」和「調頻助聽系統」的差異。調查結果發現，音質的分數相當，「但經濟實惠這個指標，我們的分數好非常多」。而因藍芽技術的問題，音訊會有一點點延遲，則是後續優化的項目之一。

當課堂和演講中聽不清楚的問題，透過智慧聽 APP 輔助解決後，更能達成因材施教、活到老學到老的目標。

※編註：智慧聽 APP 為 Android 系統版本，若 iOS 系統使用者有類似需求，可運用 AirPods 變成輔聽器。

延伸閱讀：