omniture

西浦學(xué)者讓助聽器也能“看得見”

聽覺作為人類感知手段之一,幾十年來一直是不少研究人員的重點領(lǐng)域。西交利物浦大學(xué)計算機(jī)科學(xué)和軟件工程系的 Andrew Abel 博士和他的團(tuán)隊設(shè)計了一個新系統(tǒng),他們在助聽器中加入了捕捉人說話時唇形特征的視覺信號,以提高助聽器的使用效果。

蘇州2018年12月12日電 /美通社/ -- 聽覺作為人類感知手段之一,幾十年來一直是不少研究人員的重點領(lǐng)域。西交利物浦大學(xué)計算機(jī)科學(xué)和軟件工程系的 Andrew Abel 博士和他的團(tuán)隊設(shè)計了一個新系統(tǒng),他們在助聽器中加入了捕捉人說話時唇形特征的視覺信號,以提高助聽器的使用效果。他們的最新研究成果也在2018年IEEE計算智能研討會(IEEE-SSCI 2018)上進(jìn)行發(fā)表。

Abel博士介紹說,很多傳統(tǒng)的助聽器都是通過放大患者接收不到的聲音頻率來達(dá)到助聽效果;有些助聽器內(nèi)安置了除噪音的算法,能夠降低對話之外的聲音音量;還有一些帶有定向麥克風(fēng),能夠探測到來自某些特定方向的聲音。

“但是人們聊天的時候不僅僅是靠聲音來交流的。”Abel博士說,“人們還會相互觀察面部表情、肢體語言,而且或多或少都會觀察對方的唇部動作?!?/p>

比如,當(dāng)人們聽到“ba”這個音節(jié),但是看到的是“fa”這個音節(jié)的唇部動作,人們就會誤以為自己聽到的是“fa”甚至是“va”。

“這被稱為‘麥格克效應(yīng)’。” Abel博士解釋說,“大腦在同時接收到一個視覺信息和一個聽覺信息的時候,有可能視覺信息會覆蓋掉聽覺信息并造成視聽幻覺?!?/p>

這種現(xiàn)象充分展示了視覺信息在談話中的重要性。因此Abel博士和他的團(tuán)隊一直在思考:如何才能開發(fā)出接收聲音以外信息的機(jī)器?如何讓這些機(jī)器像人類一樣去“聽”?

Abel博士在就職于蘇格蘭斯特靈大學(xué)時和Amir Hussain教授一起研究過助聽科技,他們嘗試把一個可穿戴的小型照相機(jī)連接到助聽器上,讓系統(tǒng)同時處理接收到的聽覺和視覺信息。在這些視覺信息中,會影響系統(tǒng)處理結(jié)果的是唇部動作、嘴巴張開或閉合、寬度及深度等唇形特征。

受到之前研究的啟發(fā),Abel博士、西浦計算機(jī)系畢業(yè)生高成翔以及斯特靈大學(xué)研究人員聯(lián)合開發(fā)了一個新系統(tǒng),專門記錄唇形特征信息并建立唇部的3D模型。

西交利物浦大學(xué)研究人員開發(fā)的嘴部動作捕捉方法
西交利物浦大學(xué)研究人員開發(fā)的嘴部動作捕捉方法

“這個3D模型可以用來確定說話時的音量和音調(diào)特征,這些特征有利于提高助聽器的降噪功能,也能運(yùn)用于我們在研究的唇語讀取?!?nbsp;Abel博士補(bǔ)充說。

他正在指導(dǎo)一項將唇讀科技運(yùn)用于對外漢語教學(xué)的畢業(yè)設(shè)計,只要系統(tǒng)接收到正確的視覺和聽覺信號就可以區(qū)分不同的中文發(fā)音,這些信息會自動反饋給學(xué)習(xí)漢語的人。

“中文是一種聲調(diào)語言,發(fā)音和其他語言不太一樣,學(xué)好正確發(fā)音是有一定難度的?!?/p>

Abel博士研究的另一個領(lǐng)域是利用圖像識別技術(shù)來改善助聽器過濾噪音的效果。例如,攝像機(jī)可以識別出用戶所處的環(huán)境是安靜的辦公室還是喧鬧的酒吧,根據(jù)環(huán)境的不同可以采取不同的噪音過濾方法。

“在大腦處理聲音的時候,感知效應(yīng)是非常重要的一部分?!盇bel博士說。

比如人們會根據(jù)環(huán)境聲音的大小來調(diào)整自己的說話聲音,這被稱為“倫巴效應(yīng)”。此外,聽力正常的人在嘈雜的環(huán)境中也可以進(jìn)行高效溝通,這是因為大腦自動忽略掉了其他人的說話聲音以及無關(guān)的環(huán)境音,這被稱為“雞尾酒會效應(yīng)”。

“目前我們無法將所有視覺信息整合到助聽器中,但是我們正在朝著‘感知型助聽器’這個方向努力?!?/p>

Abel博士和他的同事希望能夠?qū)⒃~語識別和預(yù)判對話結(jié)合,同時整合環(huán)境識別及其他視覺信息處理手段,有一天能創(chuàng)造出能夠像人一樣“思考”的改進(jìn)型助聽器。

 “在我們理解并復(fù)制人耳處理聲音的過程時,我們不僅能改良助聽器科技,還學(xué)到了很多關(guān)于人類自身及人腦思維運(yùn)作方式的知識?!彼f。

閱讀原文請訪問:https://www.xjtlu.edu.cn/zh/news/2018/12/xipuxuezheyanjiuxinxingzhutingqi 

消息來源:西交利物浦大學(xué)
China-PRNewsire-300-300.png
美通社頭條
微信公眾號“美通社頭條”發(fā)布新鮮、有趣、重要的企業(yè)與機(jī)構(gòu)新聞,由全球領(lǐng)先的企業(yè)新聞專線美通社(PR Newswire)為您呈現(xiàn)。掃描二維碼,立即訂閱!
關(guān)鍵詞: 教育 高端教育
collection