音乐解析引擎还有动作捕捉数据集怎么获取？

1.1 现成开源库（立即可用）#

这些库覆盖了除 PRE 以外的所有基础音频分析需求：

最小可用组合建议：

1
pip install librosa madmom essentia torchaudio

Madmom 典型 Beat 追踪代码（可直接替换伪代码中的 Beat 检测部分）：

1
from madmom.features.beats import DBNBeatTrackingProcessor, RNNBeatProcessor
2

3
proc = DBNBeatTrackingProcessor(fps=100)
4
act = RNNBeatProcessor()("music.wav")
5
beat_times = proc(act)  # 输出秒级节拍时间戳

1.2 PRE 模块（需基于论文自研）#

关键事实：Danceba 提出的 PRE（Phase-based Rhythm Extraction） 目前没有现成的开源 Python 包。它是该论文的核心创新，需要你自己实现。

但好消息是，所需的底层工具 PyTorch 都已内置：

• torch.stft() —— 直接输出复数谱，含相位角
• torch.angle() —— 提取相位
• torch.diff() —— 相位差分（瞬时频率）

实现策略：

1. 先用 Librosa + Madmom 搭建基础管线（1天内可跑通）
2. 将 PRE 作为可插拔模块替换进去（基于之前给的伪代码，约1周调试）

1.3 音乐情绪识别：数据集与预训练模型#

如果你需要情绪标签来驱动舞蹈风格，以下数据集公开可用：

快速方案：不必从头训练情绪模型。使用 Jukebox 或 MusicFM 的预训练音频嵌入 + 轻量 MLP 分类器，在 DEAM 上微调即可。研究表明 Jukebox 嵌入 + 色谱特征的组合跨数据集泛化能力最强。

2.1 公开数据集（下载即用）#

这是训练编舞模型的核心燃料，优先级如下：

AIST++ 下载建议：

• 官网提供 keypoints3d/（3D关键点）、keypoints2d/（2D投影）、smpl/（SMPL参数）
• 直接下载 SMPL 子集即可，无需处理原始视频
• 配合官方提供的 aistplusplus_api Python 包读取标注

2.2 自建数据集工具（视频→3D 骨骼）#

如果你想用抖音/B站/YouTube 的舞蹈视频扩充数据，或构建特定风格（如 K-pop、民族舞）数据集，使用这些开源动捕工具：

HybrIK-X 批量处理工作流：

1
# 安装
2
git clone https://github.com/Jeff-sjtu/HybrIK.git
3
cd HybrIK
4
python setup.py develop
5

6
# 下载预训练模型（Google Drive/Baidu 网盘，code: 2u3c）
7
# 批量处理视频
8
python scripts/demo_3d.py --video_path ./dance_videos/ --save_path ./output/
9
# 输出：SMPL 参数 .npz 文件，直接用于训练

2.3 商业动捕设备（高质量但高成本）#

如果你需要原创、高精度、无版权风险的数据：

• Rokoko Smartsuit Pro II：惯性动捕，约 $2,500，适合单人舞蹈
• Xsens DOT / Awinda：惯性传感器套装，约 $10,000+
• OptiTrack：光学动捕，精度最高，$20,000+，适合实验室

独立开发者建议：先用 HybrIK-X 处理公开视频 或 AIST++ 训练 MVP，验证模型有效性后，再考虑采购设备采集专属数据。