一个LLM调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

名称: /l15y/wenda

地址: https://github.com/l15y/wenda

fork: 451    star: 3.7k    开发语言: CSS

简介: 闻达:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力    

闻达(wenda)是一个 LLM 调用平台。旨在通过使用为小模型外挂知识库查找的方式,实现近似于大模型的生成能力,可以让我们在本地使用 GTX1660Ti(6G 显存)就能实现类似 GhatGpt 对话生成的功能。

技术特性

  1. 目前支持模型:chatGLM-6BchatRWKVchatYuan
  2. 知识库自动查找
  3. 支持参数在线调整
  4. 支持chatGLM-6BchatRWKV流式输出和输出过程中中断
  5. 自动保存对话历史至浏览器(多用户同时使用不会冲突)
  6. 对话历史管理(删除单条、清空)
  7. 支持局域网、内网部署和多用户同时使用。(内网部署需手动将前端静态资源切换成本地)
  8. 多用户同时使用中会自动排队,并显示当前用户。

功能

1. 设置和预设功能

闻达提供了评论,写论文,翻译,语音输入优化、生成摘要等功能,同时配置中心,支持对对话轮次,生成回答的长度进行配置。

 

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

2.预设功能

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

安装使用

1.安装库

知识库索引模式:pip install -r requirements-sy.txt 知识库语义模式:pip install -r requirements-yy.txt

2.下载模型

根据需要,下载对应模型。

建议使用 chatRWKV 的 RWKV-4-Raven-7B-v7-ChnEng-20230404-ctx2048(截止到 4 月 6 日效果较好),或 chatGLM-6B。

3.参数设置

根据settings.bat中说明,填写你的模型下载位置等信息

4.生成知识库

将 txt 格式的语料放到 txt 文件夹中,运行run_data_processing.bat

知识库

知识库的原理是生成一些提示信息,并插入到对话里面。s 模式、x 模式首先要把 txt 目录下的文件喂给一个类似搜索引擎的东西,然后在对话过程中去查询这个搜索引擎获得提示信息;bing 模式、bingxs 模式则直接进行搜索获取答案。搜索后在回答之前插入提示信息,知识库的数据就被模型知道了。为防止爆显存,插入的数据不能太长,所以有字数限制。知识库在线模式:pip install -r requirements-bing.txt 主要是有以下几种方案:

  1. bing 模式,cn.bing 搜索,仅国内可用
  2. bingxs 模式,cn.bing 学术搜索,仅国内可用
  3. bingsite 模式,bing 站内搜索,需设置网址
  4. st 模式,sentence_transformers+faiss 进行索引
  5. mix 模式,融合
  6. fess 模式,本地部署的 fess 搜索,并进行关键词提取

各种模式的详细介绍可以到 github 查看。

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

调试工具

闻达在配置完成后,支持调试,方便我们调整相关配置,提升使用体验。

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

使用体验

1. 文字冒险游戏

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

 

3. 生成小说

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力

更多内容,可以到 github 观看:https://github.com/l15y/wenda

END

一个 LLM 调用平台,为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力
© 版权声明

☆ END ☆
喜欢就点个赞吧
点赞0 分享
图片正在生成中,请稍后...