4D-Humans:使用 Transformers 对人体进行跟踪和4维重建

名称: /shubham-goel/4D-Humans

地址: https://github.com/shubham-goel/4D-Humans

fork: 17    star: 281    开发语言: Python

项目简介: 使用 Transformers 对人体进行跟踪和 4 维重建

4D-Humans 开源仓库是论文Humans in 4D: Reconstructing and Tracking Humans with Transformers的代码仓库,实现了对人体进行了 4D跟踪和建模4D 即四个维度,除了我们常说的三维空间外,同时涵盖了时间维度。
下面的视频展示了多个场景下对人体模型的 4D 重建效果。场景中除了各种体育运动外,比如篮球,足球,赛跑等,还包括了生活的中的场景,比如街头的日常,室外活动等等。

项目同时还部署在了huggingface 上。不过huggingface 上只开放了图片人体三维重建的功能,4D 人体模型跟踪重建功能尚未开放,可以通过下面的链接在线体验下: https://huggingface.co/spaces/brjathu/HMR2.0

使用时只需要上传一张图片,然后点击 “Infer”,稍等片刻,就能看到重建的 3D 效果。整个过程很快,大约不超过 1 分钟,是我目前在huggingface 上体验到相应最快的应用了。

4D-Humans:使用 Transformers 对人体进行跟踪和 4 维重建


项目同时还提供了一个官方网站,国内可以访问:

https://shubham-goel.github.io/4dhumans/

4D-Humans:使用 Transformers 对人体进行跟踪和 4 维重建

官网介绍了4D-Humans 的实现方法,使用 HMR2.0 将人体图片转为 3D 模型。

4D-Humans:使用 Transformers 对人体进行跟踪和 4 维重建

同时还将现存的人体转 3D 模型的各种方法进行比较,可以看到 HMR2.0 在时间维度上也可以保持很好的稳定性。
 
同时还展示了根据人体侧面进行建模的效果,可以看到也能得到很好的效果。

更多内容可以到官网查看: 

https://shubham-goel.github.io/4dhumans/

END

© 版权声明

☆ END ☆
喜欢就点个赞吧
点赞0 分享
图片正在生成中,请稍后...