基於音樂生成3D舞蹈！人工智慧運用再進化！（下）

與其他人工智慧應用相比：FACT編舞能力一流

將 FACT 的性能，針對各個指標，與其他的人工智慧應用進行比較：

如上表所示，FACT 與三種最先進的編舞人工智慧應用（Li et al、Dancenet 和 Dance Revolution）相比，FACT 模型生成的動作更逼真，與輸入音樂的相關性更好，並且在以不同的音樂為條件時更多樣化。*注意的是 Li et al生成的運動是不連續的，使得平均運動特徵距離異常高。 Google 還透過使用者研究，評估音樂與動作的相關性：讓每位使用者觀看 10 個影片，片中有一個 FACT 模型與一個隨機對照模型所生成的編舞結果然後讓使用者選擇哪個模型生成的舞步比較能夠與音樂同步。使用者共有 30 名，包含專業舞者以及很少跳舞的人。 結果顯示：81% 的使用者喜歡 FACT 模型生成的結果勝於 「Li et al.」的；跟 Dancenet 相比，71% 的人喜歡 FACT 勝過 Dancenet；跟 Dance Revolution 比較， 77% 的人也更喜歡 FACT。。有趣的是，75% 的參與者喜歡 AIST++ 未配對的舞蹈動作勝於透過 FACT 所生成的。這並不奇怪，因為最初的舞蹈紀錄具有很強的表現力。

定性結果

如下圖所示，與先前 DanceNet（左）與 Li et. al.（中）相較之下，使用 FACT 模型（右）生成的 3D 舞蹈更逼真，並且與音樂的相關性更好。

使用 FACT 人工智慧模型生成更多 3D 舞蹈：

人工智慧發展下一步：為每首歌生成逼真舞蹈

Google 開發了一個人工智慧模型，可以學習音頻與動作對應的關係，還可以基於音樂，生成的高質量 3D 動作序列。由於從音樂生成 3D 動作是一個新興的研究領域，Google 希望此項研究成果能為未來跨模組「音頻-3D 動作」的生成鋪道。 透過這項研究，Google 還發布了迄今為止最大的 3D 人類舞蹈資料庫「AIST++」——具有多視角、多種舞蹈形式、跨模態的 3D 動作數據集，不僅對 3D 動作生成研究有幫助，一般來說，也對人類理解研究幫助。Google 將在 GitHub 中發布代碼，並在此處發布經過訓練的模型。 雖然此項結果給了這個「基於音樂來生成 3D 動作」的議題一個有希望的方向，但還有更多的東西需要探索：像是Google 所使用的方法是基於運動學的、並沒有將舞者和地板間的身體互動考慮進去。因此，若進行全局平移的話，會導致如腳滑動和浮動的假影。因此，接下來的方向是要探索如何為每首音樂來生成多個逼真的舞蹈。