原標(biāo)題：阿里聯(lián)手中科院研發(fā)“聽音識(shí)人”技術(shù)被CVPR收錄

【tianxianmao.com】近日，中科院和阿里安全的研究者讓AI把握通過聲音找到“主人”的任務(wù)結構。經(jīng)驗(yàn)證管理，相較于人類67%的正確率，AI的正確率接近90%能力建設。在“1對(duì)N”的匹配實(shí)驗(yàn)中模樣，AI還能對(duì)聲音歸屬人臉的“可能性”進(jìn)行排序。

該技術(shù)是一種自適應(yīng)的學(xué)習(xí)框架服務，用來挖掘和學(xué)習(xí)人臉與聲音的潛在聯(lián)系很重要，該論文研究成果隨即也被CVPR2021接收。

現(xiàn)有研究表明覆蓋，人臉和聲音受到年齡異常狀況、性別、生理結(jié)構(gòu)高效、語言習(xí)慣等共同因素的影響應用創新，兩者的聯(lián)系強(qiáng)烈而復(fù)雜多樣。該研究第一作者、中科院計(jì)算所博士研究生溫佩松介紹的特性，中科院和阿里安全的研究團(tuán)隊(duì)將公開數(shù)據(jù)集中兩種類型的數(shù)據(jù)在共享空間中表示交流，從而達(dá)到跨模態(tài)匹配的目的，在學(xué)習(xí)策略上利用了數(shù)據(jù)集的局部和全局信息共同，提高了模型的學(xué)習(xí)效率和效果推進一步。

通俗來看經過，即聲音可能是音頻格式充分發揮，人臉是圖片格式，兩類信息以不同的格式存儲(chǔ)管理，難以比較設計，所以研究者將聲音和人臉“翻譯”成了同一種格式的信息，讓AI模型可以對(duì)兩種信息之間的關(guān)聯(lián)自行學(xué)習(xí)改進措施。AI學(xué)會(huì)了兩種信息的關(guān)聯(lián)性之后就此掀開，就能幫聲音找到人臉，或者幫人臉找到聲音今年。因此穩步前行，AI的這項(xiàng)技能不僅可以“聽音識(shí)人”，還能“見人知聲”動手能力。

溫佩松介紹逐步改善，該研究進(jìn)行了三類實(shí)驗(yàn)，第一種提升，給定一段聲音和僅含有一張正確人臉的若干張人臉圖片大大提高，AI匹配聲音和人臉的正確率很高可達(dá)87.2%；第二種研究成果，給定一段聲音和一張人臉取得了一定進展，詢問AI這是否屬于同一個(gè)人，正確率很高可達(dá)87.2%大面積；第三種積極參與，給定一段聲音和含有若干張正確人臉的圖片，要求AI把所有人臉排序培養，使得正確的人臉盡可能靠前技術，AI也能正確完成任務(wù)。該實(shí)驗(yàn)在公開測(cè)試集上一共測(cè)試了20076張人臉和21850段音頻推動，AI的表現(xiàn)都令人驚喜相對較高。

圖說：AI模型通過比較聲音和人臉圖片在共享空間的距離，推斷出相似度信息，按相似度將候選人臉排序相關。

在相同的任務(wù)上，假如待鑒別對(duì)象不限制性別，人類判定的正確率達(dá)81.3%生產效率，在限制性別的情況下產能提升，正確率僅為57.1%，性別因素對(duì)AI的影響卻非常小將進一步，正確率依然如上述結(jié)果充分發揮，高于人類。

據(jù)阿里安全圖靈實(shí)驗(yàn)室資深算法專家華棠介紹成就，該技術(shù)后續(xù)將在內(nèi)容安全和賬戶安全領(lǐng)域探索應(yīng)用重要方式，對(duì)抗偽造類視頻攻擊，保護(hù)用戶財(cái)產(chǎn)和信息安全系統》浅Ｖ匾?！坝行┤死脗卧煲曨l試圖騙過認(rèn)證系統(tǒng)，AI的這項(xiàng)技能將進(jìn)一步驗(yàn)證聲音與相應(yīng)真人是否匹配空間廣闊，防范欺詐營造一處，守護(hù)安全≈R和技能！比A棠說取得顯著成效，這也是讓AI在提升安全水位上有更多用武之地。