一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

名称: /TheRamU/Fay

地址: https://github.com/TheRamU/Fay

fork: 298    star: 1,361    开发语言: JavaScript

简介: Fay 是一个完整的开源项目,包含 Fay 控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。开源项目,非产品试用!!!  

Fay 开源项目提供了控制器和数字人模型,我们可以根据需要,灵活组合出不同的数字人模型,比如虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

01
控制器用途
控制器是Fay 的核心组件。
利用控制器,我们可以驱动不同的模型,比如 真人照片,三位数字人,二次元模型等,满足我们不同的直播需求。
同时控制器,也可以根据需要,设置为不同的模式,比如设置为带货模式,测评模式,助理模式等。
而且还支持各种终端平台,比如手机,PC,眼镜、手表等,满足不同设备的直播需求以及接入多种终端。

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

控制器还支持 远程音频接入,在Fay 提供的控制面板进行设置即可。

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

02
核心控制逻辑
作为技术人员,我们最为关心的还是其内部是怎么实现的。
如下图所示,Fay 由各个模块组成,如语音输入模块,音频转文本模块,NLP 模块等。
其中各个模块都可以根据需要,替换成自己想要使用的。

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

下图是Fay 工程的代码目录,感兴趣的同学,可以研究下其开源的代码,分析其具体实现。

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

03
安装使用
Fay 安装依赖Python 3.8.0 +  和 Chrome 浏览器。
Chrome 浏览器 主要用于直播,如果不是直播,可以不安装。
安装使用
安装 python 相关依赖
pip install -r requirements.txt
配置相关密钥

Fay 的控制器运行,依赖多项第三方 AI 服务,比如,阿里云实时语音识别,微软文本转情绪语音,讯飞情感分析及自然语言处理,ChatGPT 等,因此需要做相关的配置:

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

启动控制器

启动控制器:python main.py

04
使用说明
Fay 控制器提供了设置面板,可以根据不同的使用场景,进行相应的设置。
比如,开启 抖音虚拟主播 时,需要启动 bin/Release_2.85/2.85.exe + fay 控制器,同时在控制面板开启抖音输入源,关闭展板播放,同时开启数字人和抖音伴侣

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

 

更多使用方法,比如现场推销货,商品导购,数字人互动,人设,语音指令等设置方法可以 Github 观看。

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官

 

还有更多玩法,可以到 GitHub 观看:https://github.com/TheRamU/Fay

END

一个完整的开源项目,可组合出不同的场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官
© 版权声明

☆ END ☆
喜欢就点个赞吧
点赞0 分享
图片正在生成中,请稍后...