“梅蘭芳孿生數(shù)字人”建模用到的梅蘭芳照片與雕塑

“梅蘭芳孿生數(shù)字人”靜態(tài)圖像

“在我這一生當(dāng)中，虎年總是有著特殊的意義。甲寅年，我的第一出時裝新戲《孽海波瀾》首演；丙寅年，我完成了一至四本的《太真外傳》；戊寅年，面對日軍的侵華，我只能蓄須明志，謝絕了一切舞臺演出；1950年是庚寅年，我舉家遷回了北京，能為新中國的戲曲事業(yè)服務(wù)，是我畢生的榮幸。又一個新的虎年即將來臨……畹華我祝觀眾朋友們虎年大吉。”2022年壬寅虎年，“梅蘭芳孿生數(shù)字人”向大家拜年的創(chuàng)意視頻走紅網(wǎng)絡(luò)，在新華社客戶端、抖音、快手、微博、B站等平臺發(fā)布后，被200余家媒體轉(zhuǎn)載，全網(wǎng)瀏覽量超5000萬。從面容、體態(tài)、語音語調(diào)，到著裝、道具、一顰一笑……惟妙惟肖的“數(shù)字人”讓大家一睹大師風(fēng)采。

在科技日新月異的今天，信息技術(shù)與人工智能技術(shù)通過全方位數(shù)字化和可視化，讓數(shù)字世界里的“人”活起來，成為傳播傳統(tǒng)文化的“新使者”。

“數(shù)字京劇人”還原大師風(fēng)采

給觀眾拜年，不是“梅蘭芳孿生數(shù)字人”第一次登臺。2021年，北京梅蘭芳大劇院劇場，隨著一束光照向舞臺，京劇大師梅蘭芳熟悉的聲音響起，穿著大褂的他緩緩走向觀眾，令世人仿佛時光穿越。

復(fù)現(xiàn)京劇大師梅蘭芳，是中央戲劇學(xué)院、北京理工大學(xué)共同發(fā)起的“數(shù)字梅蘭芳”項目成果。在北京高校“卓青計劃”支持下，該項目通過高逼真實時數(shù)字人技術(shù)，對京劇大師梅蘭芳先生進(jìn)行復(fù)現(xiàn)，形成在外貌、形體、語音、表演等各方面都接近真人的“梅蘭芳孿生數(shù)字人”。項目團(tuán)隊希望借此為傳承傳統(tǒng)文化插上現(xiàn)代科技這雙“隱形的翅膀”。

項目負(fù)責(zé)人、中央戲劇學(xué)院教授、數(shù)字戲劇系副主任宋震從小是個戲迷，4歲開始跟著大人到劇場里聽京劇。2016年，他開展了一項針對28個戲曲院團(tuán)的調(diào)研，發(fā)現(xiàn)有很多瀕危失傳的劇目急需搶救。“我希望能做點什么，讓我喜歡的京劇重獲生命力。”

宋震找到了北京理工大學(xué)研究員翁冬冬，商討制作一款真正意義上的“數(shù)字京劇人”，復(fù)現(xiàn)梅蘭芳的“唱念做打”以及神韻風(fēng)采，這樣不管時代如何變遷，梅派表演藝術(shù)都能原汁原味地保存下來，還能進(jìn)一步實現(xiàn)交互表演，傳播京劇藝術(shù)。

盡管國內(nèi)外已有不少數(shù)字人技術(shù)經(jīng)驗，但由于缺乏高清攝影，生活影像又少，表演視頻更是少得可憐，想要逼真還原已故歷史人物，難上加難。

團(tuán)隊翻檢了梅蘭芳老照片，又結(jié)合他的人生經(jīng)歷，最終敲定將26歲的梅蘭芳作為原型。“那時的梅蘭芳處于藝術(shù)黃金期，那一年，他第一次走出國門，將京劇帶到世界舞臺，引發(fā)轟動。”宋震說。

“我們首先需要通過照片采集梅先生的三維數(shù)據(jù)，然后邀請中央美術(shù)學(xué)院教授張偉以照片為依據(jù)，制作1︰1無表情頭部雕塑；再用高精度激光掃描儀掃描雕塑，由此獲得梅蘭芳基本面部結(jié)構(gòu)，生成三維數(shù)字模型。”翁冬冬說。

這樣的數(shù)字模型還沒有表情，自然也無法模擬京劇大師在舞臺上的眼波流轉(zhuǎn)。正如東晉著名畫家顧愷之所說，“傳神寫照，正在阿堵中”，眼睛的重要性不言而喻。梅蘭芳在日本演出期間，東京《朝日新聞》評價“他的眼睛價值千金，他的媚態(tài)都是從這里產(chǎn)生的”，這讓團(tuán)隊遇到了空前的困難。

“藝術(shù)家眼神的文化表達(dá)是復(fù)現(xiàn)的重點，我們想了很多辦法，最終采用Vicon光學(xué)運動捕捉系統(tǒng)對梅派表演藝術(shù)家表演時的面部表情、動作等數(shù)據(jù)進(jìn)行采集，然后以梅派傳承人作為‘中之人’（指操縱虛擬主播進(jìn)行直播的人）驅(qū)動人物模型表情、身形體態(tài)的數(shù)字化重建。”實驗室中央搭建起龐大的球形設(shè)備，安裝著36臺相機(jī)和162組可控LED燈組成，通過毫米級的精度捕捉，將梅派傳承人的一顰一笑記錄下來。

“‘梅蘭芳孿生數(shù)字人’是多種技術(shù)綜合運用的成果，其中就包括人工智能技術(shù)。”宋震舉了一個例子，《穆桂英掛帥》是梅蘭芳60多歲時演出的戲，如何讓26歲的數(shù)字“梅先生”進(jìn)行表演呢？為了讓“梅蘭芳孿生數(shù)字人”表演更多劇目，團(tuán)隊通過人工智能技術(shù)對梅蘭芳二三十歲的唱腔數(shù)據(jù)進(jìn)行分析處理，再把相關(guān)數(shù)據(jù)的基本特征與梅派傳人的聲音進(jìn)行整合，還原梅蘭芳不同時期的語音和潤腔，為日后的交互表演奠定了聲音基礎(chǔ)。

目前，團(tuán)隊先后攻克了高逼真表情光場采集系統(tǒng)、皮膚紋理寫實渲染等關(guān)鍵技術(shù)，完成了人物皮膚、表情、動作、便裝服飾、戲服盔頭等高精度數(shù)字資產(chǎn)的生產(chǎn)，在傳統(tǒng)戲曲數(shù)字化方面探索了新路徑。

激發(fā)傳統(tǒng)文化無限可能

2022年，數(shù)字人大量涌現(xiàn)，“數(shù)字人”一詞也成為“漢語盤點2022”年度十大新詞語。

以“敦煌飛天”為藍(lán)本打造的虛擬數(shù)字人“天妤”、中國文物交流中心的“文夭夭”、新華網(wǎng)的“筱竹”、浙江衛(wèi)視的“谷小雨”、敦煌研究院的“伽瑤”、國家博物館的“艾雯雯”、中華書局的“蘇東坡數(shù)字人”等，或在文博場所化身為導(dǎo)游，或擔(dān)綱文化短劇主角，或成為對外傳播中國文化的使者，令人耳目一新的角色形象將傳統(tǒng)文化故事講得活色生香。

“所謂數(shù)字人，實際上是現(xiàn)實生活中人類身份在數(shù)字世界中的‘替身’‘化身’或‘分身’，它們是現(xiàn)實人類在賽博空間的‘真身代理人’或‘?dāng)?shù)碼代具’，現(xiàn)實人的精神、思維、意識、心理、信仰、道德和記憶等‘類本質(zhì)’要素，整體地遷移到了這種‘?dāng)?shù)字替身’上，使其在網(wǎng)絡(luò)空間的‘仿真環(huán)境’中通過在場狀態(tài)獲得再現(xiàn)與重塑。”貴州民族大學(xué)傳媒學(xué)院副教授鮑遠(yuǎn)福說。在他看來，現(xiàn)實人類的精神氣質(zhì)與文化特征是數(shù)字人的靈魂。“從技術(shù)角度說，數(shù)字人是集計算機(jī)圖形學(xué)、計算機(jī)視覺、智能語音、自然語言處理等技術(shù)于一體的計算機(jī)應(yīng)用，但光有技術(shù)支撐還不夠，必須用文化打底。”翁冬冬說。

一些虛擬數(shù)字人取材于傳統(tǒng)文化，打造出全新IP，在形象外觀上對傳統(tǒng)文化進(jìn)行視覺化呈現(xiàn)。“天妤”的設(shè)計以傳統(tǒng)飛天和唐代女俑為靈感，發(fā)型是“雙環(huán)望仙髻”，簪花用金、銀、銅等制成的樣式多樣的金鈿，妝容則還原了新疆吐魯番阿斯塔那墓出土的唐代女俑妝容，都是在史料和考古基礎(chǔ)上設(shè)計而成。中華書局的“蘇東坡數(shù)字人”，致力于還原一代文豪的“精神真實”，依托數(shù)據(jù)標(biāo)引體系生成各個維度的知識圖譜，將蘇東坡的人生歷程與精神世界“翻譯”成一張彼此關(guān)聯(lián)的數(shù)據(jù)網(wǎng)絡(luò)，并將其放進(jìn)“蘇東坡數(shù)字人”腦中；“梅蘭芳孿生數(shù)字人”創(chuàng)造性建立“從藝術(shù)到技術(shù)”的人物建模方法，探索實踐數(shù)字演員建模標(biāo)準(zhǔn)和技術(shù)倫理規(guī)范，把人物性格、情感融入模型驅(qū)動參數(shù)，改善了國際建模技術(shù)在中國應(yīng)用的適用性，形成了“東方路徑”的數(shù)字人物表現(xiàn)技術(shù)，使數(shù)字梅蘭芳表演更具東方人物特征。

福建社科院文學(xué)研究所副研究員劉桂茹認(rèn)為：“一方面，博大精深的中華文明為數(shù)字人創(chuàng)新發(fā)展提供深厚文化根基，數(shù)字人能夠成為展現(xiàn)中國文化精神的符號載體；另一方面，數(shù)字人通過形象創(chuàng)造、故事講述、場景應(yīng)用等方式與新的時代審美相對接，能夠以新文藝形態(tài)表達(dá)文化自信。”

《關(guān)于推進(jìn)實施國家文化數(shù)字化戰(zhàn)略的意見》明確，到“十四五”時期末，基本建成文化數(shù)字化基礎(chǔ)設(shè)施和服務(wù)平臺，形成線上線下融合互動、立體覆蓋的文化服務(wù)供給體系。到2035年，建成物理分布、邏輯關(guān)聯(lián)、快速鏈接、高效搜索、全面共享、重點集成的國家文化大數(shù)據(jù)體系，中華文化全景呈現(xiàn)，中華文化數(shù)字化成果全民共享。

在宋震看來，數(shù)字人技術(shù)的創(chuàng)新應(yīng)用有助于推動文化數(shù)字化。“我們的愿望是建構(gòu)更多像梅蘭芳先生一樣凝聚中華傳統(tǒng)文化和民族精神的標(biāo)志性人物，形成‘?dāng)?shù)字中國人物譜系’，以人工智能等先進(jìn)技術(shù)為依托，呈現(xiàn)中華文化壯闊圖景。”

未來，在弘揚傳統(tǒng)文化、推動文明交流互鑒方面，數(shù)字人技術(shù)大有可為。在藝術(shù)場景的再現(xiàn)與應(yīng)用方面，數(shù)字人技術(shù)可以修復(fù)或重現(xiàn)一些經(jīng)典的藝術(shù)情境或藝術(shù)角色；在打造數(shù)字文旅產(chǎn)品方面，游客可以進(jìn)入虛擬現(xiàn)實的文旅場景中，與數(shù)字人進(jìn)行互動；在數(shù)字藝術(shù)場景或角色創(chuàng)作方面，數(shù)字人可以與演員同臺表演。

“制造更多樣的中國式數(shù)字人藝術(shù)角色，讓它們通過電影電視、戲劇舞臺、文學(xué)藝術(shù)、游戲動漫等形式，觸達(dá)海外受眾，有助于提升中華文化傳播力影響力。《流浪地球》《三體》等科幻影視作品、《第一序列》《地球紀(jì)元》等網(wǎng)絡(luò)文學(xué)、《仙劍奇?zhèn)b傳》《三國志》《靈籠》《黑門》等游戲動漫，在利用開發(fā)數(shù)字人角色以講好中國故事方面，做出了成功探索。”鮑遠(yuǎn)福說。