“京东的新老朋友们,我是刘强东,第一次直播有些紧张,我还找了采销兄弟学习经验……”
4 月 16 日,东哥和他的数字人分身同时出现在京东家电家居采销和京东超市采销两个直播间,半个小时观看人数就突破了千万。
数字人东哥在直播过程中,右手手指不断搓动,不知道是不是平时“数钱习惯了”,训练数字人时也学习了过来。
采销东哥数字人首秀后,4000 多家品牌商也都在直播间用上“采销东哥”同款数字人,闲时转化率提升超 30%,成本不到真人直播的 1/10。

如此便宜又好用的数字人,肯定要介绍给大家。所以今天推荐一款 GitHub 上的开源数字人项目:Fay 数字人。
项目简介
Fay 数字人开源项目提供了控制器和数字人模型,我们可以根据需要,灵活组合出不同的数字人模型,比如虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。
控制器的功能
控制器是Fay 的核心组件。
使用控制器可以驱动不同的模型,比如 真人数字人,三维数字人,二次元模型等,满足不同的直播需求。
同时也可以根据需要,将控制器设置为不同的模式,比如设置为带货模式,测评模式,助理模式等。
而且支持各种终端平台,比如手机,PC,眼镜、手表等,满足不同设备的直播需求以及接入多种终端。

控制器还支持 远程音频接入,可在Fay 的控制面板进行设置。

核心控制逻辑
如下图所示,Fay 由各个模块组成,如语音输入模块,音频转文本模块,NLP 模块等。
各个模块都支持可插拔,可以根据需要,替换成想要使用的。
如下图所示,Fay 支持接入多个 AI 平台服务:阿里云实时语音,微软文本转语音,讯飞的人机交互-自然语言处理等,还支持接入 gpt 等大模型。

Fay 安装依赖Python 3.8.0 + 和 Chrome 浏览器。
Chrome 浏览器 主要用于直播,如果不是直播,可以不安装。
pip install -r requirements.txt
Fay 的控制器运行,依赖多项第三方 AI 服务,比如,阿里云实时语音识别,微软文本转情绪语音,讯飞情感分析及自然语言处理,ChatGPT等,因此需要做相关的配置:

效果展示
项目启动后,可以通过控制器,根据不同的使用场景调整配置。
比如,开启 抖音虚拟主播 时,需要启动 bin/Release_2.85/2.85.exe + fay 控制器,同时在控制面板开启抖音输入源,关闭展板播放,同时开启数字人和抖音伴侣。

更多使用方法,比如现场推销货,商品导购,数字人互动,人设,语音指令等设置方法可以 Github 观看。

目前 Fay 数字人项目还提供了 b 站字幕监测源码,抖音监测源码,视频号监测源码,以及 bilibili 个性化数字人直播教程(不封号,有流量奖励)。
详情请到 GitHub 观看:
https://github.com/xszyou/Fay/tree/fay-sales-edition
现在的技术已经做到了从采集真人形象及语言、肢体数据等,到训练出一个真人形象的 AI 数字人主播,最快只需要三天。如果再借助大模型自动生成直播文案,商品一键配置等技术,两个小时就能立刻开播,每天投入运营的时间可能还不到 30 分钟。