WeLM 是微信 AI 推出的自研 NLP 大规模语言模型,是一个百亿级别的中文模型,能够在零样本以及少样本的情境下完成包括对话-采访、阅读理解、翻译、改写、续写、多语言阅读理解在内的多种 NLP 任务,并具备记忆能力、自我纠正和检查能力。WeLM 通过“阅读”一个涵盖广泛主题的精选高质量语料库进行训练,具有尺寸合理的优势,在 14 项中文 NLP 任务上,WeLM 的整体表现超出了所有同大小的模型,甚至能够匹配比它大 25 倍的模型。
WeLM 提供了一个体验网页和 API 接口,用户可以在网页上输入不同类型的任务和文本,看到 WeLM 的输出结果。用户也可以申请 API 接口,将 WeLM 集成到自己的应用中。WeLM 的体验网页和 API 接口的地址是 https://welm.weixin.qq.com/docs/。
WeLM 的评价方面,目前还没有公开的第三方评测报告,但是根据微信 AI 团队发布的技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》,WeLM 在多个公开数据集上都取得了优秀的结果,显示出了强大的泛化能力和多任务适应能力。WeLM 也展现出了强大的多语言和混合编码理解能力,超越了现有的多语言预训练语言模型