DeepSpeed官网,微软开发的开源深度学习优化库,大规模模型分布式训练的工具
什么是DeepSpeed?
DeepSpeed是微软推出的大规模模型分布式训练的工具,主要实现了ZeRO并行训练算法。DeepSpeed是一个由微软开发的开源深度学习优化库,旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练,包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具,如分布式训练管理、内存优化和模型压缩等,以帮助开发者更好地管理和优化大规模深度学习训练任务。此外deepspeed基于pytorch构建,只需要简单修改即可迁移。DeepSpeed已经在许多大规模深度学习项目中得到了应用,包括语言模型、图像分类、目标检测等等。
DeepSpeed官网: https://www.deepspeed.ai/
github开源地址: https://github.com/microsoft/DeepSpeed
DeepSpeed 只需单击一下即可实现类似 ChatGPT 的模型训练,与 SOTA RLHF 系统相比,速度提高了 15 倍,在所有规模上都降低了前所未有的成本
DeepSpeed-RLHF系统的优势在于其高效性、经济性和扩展性:
高效且经济:DeepSpeed-HE比现有系统快15倍以上,使RLHF训练变得快速且经济实惠。例如,使用DeepSpeed-HE在Azure云上训练一个OPT-13B模型只需9小时,训练一个OPT-30B模型只需18小时,而且成本分别不到300美元和600美元。
卓越的扩展性:DeepSpeed-HE能够支持训练拥有数千亿参数的模型,并在多节点多GPU系统上展现出卓越的扩展性。即使是一个拥有130亿参数的模型,也只需1.25小时就能完成训练。对于拥有1750亿参数的模型,使用DeepSpeed-HE进行训练也只需不到一天的时间。
实现RLHF训练的普及化:DeepSpeed-HE仅凭单个GPU就能支持训练超过130亿参数的模型。这使得那些无法使用多GPU系统的数据科学家和研究者能够轻松创建轻量级和大型且功能强大的RLHF模型,以满足不同的使用场景需求。
DeepSpeed Chat通过其强大的功能和优化,使得训练和推理对话式AI模型变得更加高效、经济和易于扩展,从而推动了RLHF训练的发展和普及化。
数据评估
关于DeepSpeed特别声明
本站AI30-AI人工智能网提供的DeepSpeed都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AI30-AI人工智能网实际控制,在2023年7月26日 下午4:47收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AI30-AI人工智能网不承担任何责任。
Deep Speed Chat 基于微软 Deep Speed 深度学习优化库开发,具备训练、强化推理等功能,使用 RLHF(人工反馈机制的强化学习)技术,可将训练速度提升 15 倍以上,并大幅降低成本。例如,一个 130 亿参数的类 ChatGPT 模型,只需 1.25 小时就能完成训练。
Deep Speed Chat 是一款能够解决训练类 ChatGPT 模型的资源和算法难题的技术,它能够轻松、高效的训练数千亿参数的最先进的类 ChatGPT 模型。使用 Deep Speed Chat,用户只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤,生成属于自己的类 ChatGPT 模型。
数据评估
关于DeepSpeed特别声明
本站AI30-AI人工智能网提供的DeepSpeed都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AI30-AI人工智能网实际控制,在2023年7月25日 下午6:17收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AI30-AI人工智能网不承担任何责任。
相关导航
Vicuna 13b,FastChat小羊驼模型,模型基于Meta开源LLaMA大羊驼
澜舟科技官网 – 以 NLP 为基础的认知智能公司|澜舟科技官方入口
澜舟科技官网(langboat.com)是一家以自然语言处理为基础的认知智能公司,由周明博士创立,自研孟子系列大模型,覆盖文本生成、机器翻译、信息抽取与金融文档分析等能力。公司面向企业提供可私有化部署的行业大模型与智能体方案,适合关注国产行业模型选型的技术负责人参考。
Evidently AI
开源的机器学习模型监测和测试工具
奇瑞汽车官网 – 自主品牌车企与智能驾驶智能化技术平台|奇瑞汽车官方入口
奇瑞汽车官网(chery.cn)是奇瑞集团官方门户,覆盖瑞虎、艾瑞泽、风云等车型与全球市场服务。集团发布火星架构、鲲鹏动力与猎鹰智驾方案,将大模型语音交互、智能座舱与高阶辅助驾驶下放到更多量产车型,展现自主品牌在智能化与AI技术上的持续投入与出海布局。
H2O EvalGPT官网 – H2O.ai推出的大模型评估与监控平台|H2O EvalGPT官方入口
H2O EvalGPT(evalgpt.ai)是H2O.ai推出的大模型评估与监控平台,提供集成式管理看板,用于模型对比、性能洞察与可定制的评测监控,支持对RAG与LLM输出的自动化评测,涵盖PI泄露检测、排行榜与测试管理等模块,适合企业团队在部署生成式AI应用前,系统评估候选模型的质量与安全表现。
Cohere
构建AI产品的大语言模型平台
星辰大模型官网 – 中国电信天翼AI开放平台|Xing4.0-29B智能体模型发布
星辰大模型官网(teleai.com.cn)是中国电信天翼AI开放平台:全模态、全尺寸、全国产的通用大模型底座,覆盖语义、语音、视觉与多模态能力,提供TeleAgent智能体、星辰慧记、AI眼镜等产品与开放API,9月17日发布国产算力训练的智能体代码大模型Xing4.0-29B-A4B。
MXNET
APACHE MXNET灵活高效深度学习库,开源深度学习框架


