编辑“OpenBMB”

OpenBMB全称为Open Lab for Big Model Base，是由清华大学自然语言处理实验室和面壁智能共同支持发起的新一代[[人工智能]]开源开放平台，旨在打造大规模预训练语言模型库与相关工具。OpenBMB的目标是加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛。
== 优势特点 ==
1、知识指导的预训练模型ERNIE：该模型由清华大学自然语言处理实验室提出，并在2019年的自然语言处理顶级国际会议ACL上发表。它累计被引用超过600次，显示了其在该领域的影响力和重要性。

2、“悟道·文源”中文大规模预训练语言模型系列：包括CPM-1、CPM-2、CPM-3，这些模型由团队依托智源研究院研发，参数量最高达到1980亿，在多个下游任务中展现出优异的性能。

3、面向生物医学的预训练模型KV-PLM：该模型于2022年发表在著名的综合类期刊Nature Communications上，并被选为该刊的亮点推荐文章。

4、丰富的自然语言处理技术[[开源]]经验：团队发布了OpenKE、OpenNRE、OpenNE等一系列工具包，这些工具包在[[GitHub]]上累计获得了超过5.8万星标，位列全球机构第148位。

5、CPM-Bee多语言百亿大模型：由OpenBMB与面壁智能联合研发，于2023年1月登顶ZeroCLUE，这是一个多语言的大模型，标志着OpenBMB在多语言处理领域的领先地位。
== 特色功能 ==
=== BMTrain ===
BMTrain作为大模型训练的“发动机”，BMTrain专注于高效的大模型预训练与微调。相较于其他框架如DeepSpeed，BMTrain在训练模型时可以显著节省成本，达到90%的节省效果。
=== BMCook ===
BMCook是一个大模型“瘦身”工具库，通过一系列算法比如量化、剪枝、蒸馏和专家化等，能够有效地压缩大模型，提高运行效率，同时保持原模型超过90%的性能，实现模型推理加速10倍。
=== BMInf ===
BMInf支持使用单块千元级显卡进行百亿参数大模型推理，这意味着即使在成本相对较低的硬件上也能进行大规模模型的推理计算。
=== OpenPrompt ===
OpenPrompt提供统一接口的提示学习模板语言，组合性和模块化的设计使得用户可以轻松地部署提示学习方法来驱动大模型。
=== OpenDelta ===
OpenDelta专注于参数高效的大模型微调，通过更新极少的参数（小于5%）达到与全参数微调相当的效果。
=== ModelCenter ===
ModelCenter是一个大模型仓库，基于BMTrain工具，实现了一系列的预训练语言模型，并支持高效、低成本、可扩展性强的模型微调和分布式训练。
== 相关条目 ==
* [[ChatGPT]]
* [[GPT-4]]
* [[PaLM_2]]
* [[ChatGLM-6B]]
* [[LLaMA]]
[[category:AI大模型|O]]