名称: /TheRamU/Fay
地址: https://github.com/TheRamU/Fay
fork: 298 star: 1,361 开发语言: JavaScript
简介: Fay 是一个完整的开源项目,包含 Fay 控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。开源项目,非产品试用!!!
Fay 开源项目提供了控制器和数字人模型,我们可以根据需要,灵活组合出不同的数字人模型,比如虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。利用控制器,我们可以驱动不同的模型,比如 真人照片,三位数字人,二次元模型等,满足我们不同的直播需求。同时控制器,也可以根据需要,设置为不同的模式,比如设置为带货模式,测评模式,助理模式等。而且还支持各种终端平台,比如手机,PC,眼镜、手表等,满足不同设备的直播需求以及接入多种终端。
控制器还支持 远程音频接入,在Fay 提供的控制面板进行设置即可。

作为技术人员,我们最为关心的还是其内部是怎么实现的。如下图所示,Fay 由各个模块组成,如语音输入模块,音频转文本模块,NLP 模块等。其中各个模块都可以根据需要,替换成自己想要使用的。

下图是Fay 工程的代码目录,感兴趣的同学,可以研究下其开源的代码,分析其具体实现。

Fay 安装依赖Python 3.8.0 + 和 Chrome 浏览器。Chrome 浏览器 主要用于直播,如果不是直播,可以不安装。pip install -r requirements.txtFay 的控制器运行,依赖多项第三方 AI 服务,比如,阿里云实时语音识别,微软文本转情绪语音,讯飞情感分析及自然语言处理,ChatGPT 等,因此需要做相关的配置:

启动控制器:python main.py
Fay 控制器提供了设置面板,可以根据不同的使用场景,进行相应的设置。比如,开启 抖音虚拟主播 时,需要启动 bin/Release_2.85/2.85.exe + fay 控制器,同时在控制面板开启抖音输入源,关闭展板播放,同时开启数字人和抖音伴侣
更多使用方法,比如现场推销货,商品导购,数字人互动,人设,语音指令等设置方法可以 Github 观看。

还有更多玩法,可以到 GitHub 观看:https://github.com/TheRamU/Fay