基於音樂生成3D舞蹈!人工智慧運用再進化!(上)
人工智慧學編舞,動作搭配音樂複雜度高 Google 正進行一項 人工智慧 研究,開發稱為「FACT (Full-Attention Cross-modal Transformer)」的模型,可以模仿、理解舞蹈動作,甚至可提高個人的編舞能力。 Google 研究團隊為了訓練該模型,也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」,包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列,涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片,可生成逼真流暢的 3D 舞蹈動作。 Google 提到:雖然隨著音樂節拍編排出動作,是人類的本能;然而舞蹈是「需要練習」的藝術形式。專業的舞者都需要經過大量的、包含各式各樣舞步的曲目來訓練,才有編舞能力。這樣的訓練,對人類來說已不容易;對 ML(Maching Learning, 機器學習 )來說更是難上加難。因為要使用 人工智慧 來實現編舞,需要生成動力複雜度高的連續動作,同時還要捕捉動作與配樂間的非線性關係。 人工智慧如何學舞?Google修正AIST舞蹈資料庫成教材 Google 從現有的 AIST 舞蹈影片資料庫( 一組帶有音樂伴奏的舞蹈影片,但無任何 3D 信息)生成 3D 動作資料庫。AIST 包含 10 種舞蹈類型:Old School(地板舞 Breaking、機械舞 Popping、鎖舞 Locking 和 Waack)以及 New School(Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz),雖然包含了許多舞者的多視角影片,但鏡頭都沒有經過校準。 Google 依研究人員的需求,根據常用的 SMPL 3D模型參數,修復 AIST 影片的拍攝校準正後的數值和 3D 人體動作,重建為「AIST++ 數位資料庫」,包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。 未經修正的 AIST 舞蹈影片資料庫 如下所示: Goog...