MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。
已收录 960

名称: /shibing624/MedicalGPT

地址: https://github.com/shibing624/MedicalGPT

fork: 38    star: 330     开发语言: Python

项目简介: MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

相比于之前哈工大开源的本草[原名：华驼]医学大模型，只开放了针对”肝癌”单个疾病训练的模型参数，可以担任“肝癌的专业医生”。MedicalGPT 更像是全科门诊的医生，可以全面回答我们关于医学相关的问题，并做出初步的诊断，帮助我们节约看病的时间。可以点击下面的图片查看 本草医学大模型 的相关介绍。
MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。
MedicalGPT 训练医疗大模型  分为四个阶段训练 GPT 模型，现包括二次预训练、有监督微调、奖励建模、强化学习训练。此训练方法来自微软 Andrej Karpathy 的演讲 PDF State of GPT。可以在后台回复 SGPT 获取 PDF 下载地址。
MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

四个训练阶段分别为

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

在实际训练中，可以分别执行每个阶段，同时也可以项目提供的脚本，将四个阶段串起来训练的 pipeline，四阶段 pipling 运行耗时大约在 15 分钟。

MedicalGPT 目前支持 bloom， llama，chatglm，baichuan 模型，具体如下：

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

项目同时还提供了一个简洁的基于 gradio 的交互式 web 界面，启动服务后，可通过浏览器访问，输入问题，模型会返回答案，可以通过下面的命令启动
python gradio_demo.py --model_type base_model_type --base_model path_to_llama_hf_dir --lora_model path_to_lora_dir

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

web 界面启动后，便可以输入问题，开始问答了。

比如可以输入“小孩发烧怎么办”

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

又或者咨询痤疮或者青春痘等

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

除了可以回答医学类相关的问题外，还具备 chatGPT 基本的对话能力和创作能力，比如写诗等

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

MedicalGPT 的出现再一次证明了 GPT 在医学领域也能发挥很大的作用，相信在不远的将来，真正的 AI 医生就能开始会我们服务了。

更多的内容，比如微调后的 LoRA 权重 等，请到 Github 上面观看：

 https://github.com/shibing624/MedicalGPT

END

MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。
© 版权声明
博主的文章没有高度、深度和广度，只是凑字数。利用读书、参考、引用、抄袭、复制和粘贴等多种方式打造成自己的纯镀 24k 文章！如若有侵权，请联系博主删除。

☆ END ☆
武穆逸仙
喜欢就点个赞吧
点赞0 分享
相关推荐
图片正在生成中，请稍后...