萬(wàn)物有聲科技關(guān)注聲音后期制作中的擬音技術(shù),用“AI+聲音”的基本構(gòu)想,致力于將擬音技術(shù)與人工智能結(jié)合,以聲音資源庫(kù)為核心資源,以視頻動(dòng)作識(shí)別和聲音識(shí)別自動(dòng)配音技術(shù)為核心技術(shù)。
一、項(xiàng)目進(jìn)展
創(chuàng)意計(jì)劃階段
二、負(fù)責(zé)人及成員
姓名 | 學(xué)院/所學(xué)專(zhuān)業(yè) | 入學(xué)/畢業(yè)時(shí)間 |
金若熙 | 公共管理學(xué)院/企業(yè)管理專(zhuān)業(yè) | 2021 |
趙洋 | 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院/軟件工程專(zhuān)業(yè) | 2018/2022 |
王美琳 | 管理學(xué)院/會(huì)計(jì)學(xué)專(zhuān)業(yè) | 2018/2022 |
譚惠文 | 經(jīng)濟(jì)學(xué)院/國(guó)際商務(wù)專(zhuān)業(yè) | 2021 |
郭夢(mèng)妍 | 藝術(shù)與考古學(xué)院/視覺(jué)傳達(dá)專(zhuān)業(yè) | 2019/2023 |
徐舒婷 | 光華法學(xué)院/法學(xué)專(zhuān)業(yè) | 2019/2023 |
布音塔娜 | 管理學(xué)院/工商管理專(zhuān)業(yè) | 2018/2022 |
崔靖樂(lè) | 光華法學(xué)院/法學(xué)專(zhuān)業(yè) | 2020/2024 |
陶振宇 | 傳媒與國(guó)際文化學(xué)院/傳播學(xué)專(zhuān)業(yè) | 2020/2024 |
三、指導(dǎo)教師
姓名 | 學(xué)院 | 職務(wù)/職稱(chēng) | 研究方向 |
王婧 | 傳媒與國(guó)際文化學(xué)院 | 副教授,博導(dǎo) | 聲音研究、感官研究、表演學(xué)研究、藝術(shù)人類(lèi)學(xué) |
四、項(xiàng)目簡(jiǎn)介
萬(wàn)物有聲科技關(guān)注聲音后期制作中的擬音技術(shù),用“AI+聲音”的基本構(gòu)想,致力于將擬音技術(shù)與人工智能結(jié)合,以聲音資源庫(kù)為核心資源,以視頻動(dòng)作識(shí)別和聲音識(shí)別自動(dòng)配音技術(shù)為核心技術(shù)。團(tuán)隊(duì)首次將人工智能與擬音技術(shù)相結(jié)合,以技術(shù)助力后期制作的同時(shí),關(guān)注擬音技術(shù)中的情感注入和人文關(guān)懷,優(yōu)化聲音后期制作行業(yè)的資源配置,提高后期制作的生產(chǎn)效率;同時(shí)降低部分場(chǎng)景的聲音后期制作門(mén)檻,豐富聲音的應(yīng)用場(chǎng)景,將擬音技術(shù)的高質(zhì)量聽(tīng)覺(jué)體驗(yàn)引入在線音頻、影視后期、游戲等多個(gè)領(lǐng)域。
團(tuán)隊(duì)首先對(duì)傳統(tǒng)擬音師積累于硬盤(pán)中的無(wú)序聲音資源進(jìn)行了細(xì)化的分類(lèi)和打標(biāo),對(duì)其進(jìn)行數(shù)字化編碼,完成了高質(zhì)量聲音資源庫(kù)的打造,為喜愛(ài)創(chuàng)作視聽(tīng)產(chǎn)品的用戶提供高質(zhì)量的聲音資源。本庫(kù)聲音均采用影視制作標(biāo)準(zhǔn),同時(shí)配以智能簡(jiǎn)潔的檢索系統(tǒng),改善了同類(lèi)產(chǎn)品中標(biāo)簽分類(lèi)模糊雜亂、檢索困難、音質(zhì)參差不齊的不足;同時(shí)配合專(zhuān)業(yè)后期配音教程與作品分享,做到“既以魚(yú)又以漁”,延伸產(chǎn)品價(jià)值。
其次,團(tuán)隊(duì)將自動(dòng)配音技術(shù)與海量音源庫(kù)相結(jié)合,開(kāi)發(fā)有聲數(shù)字化聲音數(shù)據(jù)庫(kù),團(tuán)隊(duì)將進(jìn)一步完善和細(xì)化聲音資源庫(kù)。同時(shí)深耕算法的研究和迭代,實(shí)現(xiàn)后期擬音的進(jìn)一步智能化,該技術(shù)的應(yīng)用場(chǎng)景將向?qū)I(yè)視頻后期轉(zhuǎn)型,著重開(kāi)發(fā)其在專(zhuān)業(yè)視頻后期聲音制作中的應(yīng)用。
成果類(lèi)別 | 成果名稱(chēng) | 相關(guān)團(tuán)隊(duì)成員 | 相關(guān)指導(dǎo)老師 |
雙創(chuàng)競(jìng)賽 | 第十二屆“挑戰(zhàn)杯”中國(guó)大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽 金獎(jiǎng) | 金若熙、譚惠文、布音塔娜、印楊、王美琳、姚敏、徐舒婷、張濛濛、俞佳興 | 張克俊、王婧、江浩 |
雙創(chuàng)競(jìng)賽 | 第六屆浙江省國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽 金獎(jiǎng) | 金若熙、譚惠文、布音塔娜、印楊、王美琳、姚敏、徐舒婷、張濛濛、俞佳興 | 王婧、張克俊、江浩 |
雙創(chuàng)競(jìng)賽 | 第五屆浙江省國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽 銀獎(jiǎng) | 金若熙、譚惠文、柴箐、任溥瑞、陳佳茜、何康瑞、鄭俊超 | 王婧、張克俊、江浩 |
助力小型企業(yè)
降低網(wǎng)劇、短視頻、微電影的生產(chǎn)門(mén)檻和制作成本,AI輔助創(chuàng)作可以降低網(wǎng)劇和自媒體平臺(tái)短劇、微電影的制作成本,有利于小型影視公司和初創(chuàng)團(tuán)隊(duì)的發(fā)展,使內(nèi)容不再受限于成本,同時(shí)鼓勵(lì)5G時(shí)代新媒體傳播向立體化、縱深化、多樣化發(fā)展。
帶動(dòng)就業(yè),促進(jìn)跨時(shí)空限制的工作方式的形成
利用智能平臺(tái)進(jìn)行輔助創(chuàng)作,可以降低擬音師的從業(yè)門(mén)檻,將復(fù)雜的擬音工作分為人工高難度的聲音設(shè)計(jì)與情感配音和機(jī)械重復(fù)配音兩部分,將機(jī)械重復(fù)部分由機(jī)器輔助創(chuàng)作,讓更多人可以參與到配音環(huán)節(jié)中,同時(shí)利用機(jī)器輔助創(chuàng)作也可以讓團(tuán)隊(duì)擬音師在制作后期時(shí)不必局限于擬音房和錄音棚,在疫情背景下也較好地發(fā)揮了作用。
服務(wù)人才培養(yǎng)
縮短人才培養(yǎng)周期,緩解人才壓力,通過(guò)技術(shù)使得傳統(tǒng)擬音師的角色發(fā)生轉(zhuǎn)變,使得更多傳統(tǒng)擬音師主要從事審核和檢驗(yàn)的角色,降低了擬音的從業(yè)難度和擬音師的培養(yǎng)周期,并將現(xiàn)有的有限的專(zhuān)業(yè)頂尖擬音師集中于大影片、大制作,緩解擬音行業(yè)現(xiàn)存的人才壓力。同時(shí),對(duì)于部分高危險(xiǎn)性的擬音,可以利用聲音庫(kù)中的已有聲音資源配合機(jī)器深度學(xué)習(xí)調(diào)用、生成和場(chǎng)景最符合的聲音,減輕對(duì)擬音師的人身傷害。
目前,文化產(chǎn)業(yè)正進(jìn)入高速增長(zhǎng)期,政策環(huán)境也提供了大背景下的支持。在視頻、音頻等產(chǎn)品制作中,聲音都占據(jù)了重要部分,人聲之外的各類(lèi)聲音,包括環(huán)境音、特效聲音等多種聲音效果都需要進(jìn)行后期制作,而中國(guó)目前的視頻、音頻市場(chǎng)早已突破千億級(jí),其聲音制作的巨大需求顯而易見(jiàn)。
萬(wàn)物有聲科技在前期搭建基礎(chǔ)的聲音數(shù)據(jù)庫(kù),并以此開(kāi)拓種子用戶,實(shí)現(xiàn)初期現(xiàn)金流維系;中期階段將著力突破影視后期制作中的擬音技術(shù),致力于將擬音技術(shù)與人工智能結(jié)合,以視頻動(dòng)作識(shí)別和聲音識(shí)別自動(dòng)配音技術(shù)為核心技術(shù),推出I-Dub智能聲音創(chuàng)作軟件,針對(duì)影視后期制作團(tuán)隊(duì)提供專(zhuān)業(yè)化的最強(qiáng)聲音輔助工具。團(tuán)隊(duì)將依賴(lài)自身?yè)碛械暮诵难邪l(fā)團(tuán)隊(duì)進(jìn)行持續(xù)性的技術(shù)優(yōu)化和產(chǎn)品迭代,深耕自動(dòng)配音的精度和準(zhǔn)確性,隨技術(shù)的成熟應(yīng)用,后期團(tuán)隊(duì)將目標(biāo)轉(zhuǎn)向不具備專(zhuān)業(yè)技能的普通用戶,通過(guò)智能聲音創(chuàng)作APP等方式,將聲音創(chuàng)作引入大眾群體,豐富聲音的應(yīng)用場(chǎng)景,將擬音技術(shù)的高質(zhì)量聽(tīng)覺(jué)體驗(yàn)引入游戲制作、有聲讀物、聲音社交等多個(gè)娛樂(lè)化社交。
團(tuán)隊(duì)首次將人工智能與擬音技術(shù)相結(jié)合,以技術(shù)助力后期制作生產(chǎn),優(yōu)化聲音制作后期擬音行業(yè)的良性資源配置,改善行業(yè)后期制作擬音配音“一刀切”的現(xiàn)狀,提高后期制作的生產(chǎn)效率,同時(shí)降低部分場(chǎng)景的聲音后期制作門(mén)檻,在未來(lái)真正實(shí)現(xiàn)“全民聲音創(chuàng)作自由”。