歡迎來(lái)到合肥浪訊網(wǎng)絡(luò )科技有限公司官網(wǎng)
  咨詢(xún)服務(wù)熱線(xiàn):400-099-8848

中國電信公布國際專(zhuān)利申請:“3D數字人唇形驅動(dòng)辦法、裝置、電子設備及存儲介質(zhì)”

發(fā)布時(shí)間:2024-06-29 文章來(lái)源:本站  瀏覽次數:304
證券之星消息,根據企查查數據顯示,中國電信(601728)公布了一項國際專(zhuān)利申請,專(zhuān)利名為“3D 數字人唇形驅動(dòng)方法、裝置、電子設備及存儲介質(zhì)”,專(zhuān)利申請號為 PCT/CN2023/140585,國際公布日為 2024 年 6 月 27 日。


該專(zhuān)利方法包括:獲取輸入的文本信息;基于從文本到語(yǔ)音 TTS 技術(shù),將文本信息轉化為音素序列、音頻數據和時(shí)間戳信息(其中時(shí)間戳信息包含音素序列中各個(gè)元素的時(shí)間戳);根據時(shí)間戳信息,對音素序列中相應的靜音音素進(jìn)行刪除處理,對刪除處理后的音素序列進(jìn)行預設倍數采樣,得到 bs 動(dòng)畫(huà)系數序列;根據 bs 動(dòng)畫(huà)系數序列、音頻數據、預設音素唇形映射表以及特殊音素的預設優(yōu)化,渲染生成 3D 數字人的唇形動(dòng)畫(huà)。其中預設音素唇形映射表包含多種音素與 3D 數字人唇形之間的映射關(guān)系,特殊音素包括雙唇音、唇齒音和齒擦音。


今年以來(lái)中國電信已公布的國際專(zhuān)利申請 116 個(gè),較去年同期增加了 87.1%。結合公司 2023 年年報財務(wù)數據,2023 年公司在研發(fā)方面投入了 130.52 億元,同比增 23.59%。


這種 3D 數字人唇形驅動(dòng)方法提高了 3D 數字人唇形驅動(dòng)的魯棒性與流暢度,具體來(lái)說(shuō),通過(guò)構建預設音素唇形映射表、對音素序列進(jìn)行處理和特殊音素優(yōu)化等操作,可以使生成的 3D 數字人唇形動(dòng)畫(huà)更加自然和準確,減少對大量訓練數據的依賴(lài),并且能夠更好地應對各種情況,提高唇形驅動(dòng)的效果和穩定性。


特殊音素的預設優(yōu)化方式舉例如下:設置 3D 數字人在雙唇音(如 b、p、m 等)發(fā)音前,上嘴唇與下嘴唇接觸;在唇齒音(如 f、v 等)發(fā)音前,下嘴唇觸碰上牙齒;在齒擦音(如 z、c、s、j、q、x、zh、ch、sh 等)發(fā)音時(shí),上下牙齒之間的距離滿(mǎn)足預設距離。


在渲染生成唇形動(dòng)畫(huà)之前,可能還會(huì )對 bs 動(dòng)畫(huà)系數序列進(jìn)行三次樣條差值采樣、衰減、平滑處理,或者在其預設位置添加靜音音素后再進(jìn)行平滑處理等操作。


該技術(shù)在虛擬數字人、人機交互、影視娛樂(lè )等領(lǐng)域可能具有廣泛的應用前景,例如可以為虛擬客服、虛擬主播等提供更加自然和逼真的唇形表現,提升用戶(hù)體驗。同時(shí),也有助于推動(dòng)相關(guān)產(chǎn)業(yè)的發(fā)展和創(chuàng )新。具體的應用方式和效果可能還需要根據實(shí)際情況進(jìn)行進(jìn)一步的開(kāi)發(fā)和優(yōu)化。

上一條:在英中資企業(yè)代表探討如何...

下一條:“紅衣教主”周鴻祎談AI...