基於音樂生成3D舞蹈！人工智慧運用再進化！（上）

人工智慧學編舞，動作搭配音樂複雜度高

Google 正進行一項人工智慧研究，開發稱為「FACT （Full-Attention Cross-modal Transformer）」的模型，可以模仿、理解舞蹈動作，甚至可提高個人的編舞能力。Google 研究團隊為了訓練該模型，也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」，包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列，涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片，可生成逼真流暢的 3D 舞蹈動作。

Google 提到：雖然隨著音樂節拍編排出動作，是人類的本能；然而舞蹈是「需要練習」的藝術形式。專業的舞者都需要經過大量的、包含各式各樣舞步的曲目來訓練，才有編舞能力。這樣的訓練，對人類來說已不容易；對 ML（Maching Learning，機器學習）來說更是難上加難。因為要使用人工智慧來實現編舞，需要生成動力複雜度高的連續動作，同時還要捕捉動作與配樂間的非線性關係。

人工智慧如何學舞？Google修正AIST舞蹈資料庫成教材

Google 從現有的 AIST 舞蹈影片資料庫（一組帶有音樂伴奏的舞蹈影片，但無任何 3D 信息）生成 3D 動作資料庫。AIST 包含 10 種舞蹈類型：Old School（地板舞 Breaking、機械舞 Popping、鎖舞 Locking 和 Waack）以及 New School（Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz），雖然包含了許多舞者的多視角影片，但鏡頭都沒有經過校準。 Google 依研究人員的需求，根據常用的 SMPL 3D模型參數，修復 AIST 影片的拍攝校準正後的數值和 3D 人體動作，重建為「AIST++ 數位資料庫」，包含與音樂搭配的各種 3D 動作，並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作（舞者自由設計的更長編舞）。 未經修正的 AIST 舞蹈影片資料庫如下所示：

Google 依研究人員的需求，根據常用的 SMPL 3D 模型參數，修復 AIST 影片的拍攝校準正後的數值，以及 3D 人體動作，重建為「AIST++」數位資料庫。重建後的「AIST++」包含與音樂搭配的各種 3D 動作，並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作（舞者自由設計的更長編舞）。 AIST++ 數位資料庫還包括多視角同步圖片資訊，以便於應用在其他研究（如 2D/3D人體姿勢評估）。就我們所知，含有 1408 個序列、30 個主題和 10 個舞蹈流派的 AIST++ 是當前最大的 3D 人類舞蹈資料庫。

Google 使用 SMPL 3D 模型參數，將 AIST 舞蹈影片資料庫（上圖左）重建為具有 3D 動作的「AIST++」數位資料庫（上圖右）

AIST 資料庫原作為教學使用，記錄了多個真人舞者以相同的編舞搭配不同配樂的舞蹈影片——這是舞蹈中的常見作法。由於模型需要學習音樂和動作間的一對多布局，因此在跨模型序列到序列生成（cross-modal sequence-to-sequence generation）中，斷定是獨一無二的挑戰！Google 在 AIST++ 上仔細構建了非重疊訓練（non-overlapping train）和測試子集，以確保在子集間既不共享編舞、也不共享音樂。