机器之心报道
编辑：陈萍、小舟
语言模型做数学题，能力又升级了。
当前，大型语言模型 (LLM) 在处理 NLP 领域的各种下游任务方面已经表现出卓越的能力。特别是，GPT-4、ChatGPT 等开创性模型已经接受了大量文本数据的训练，使它们具备强大的文本理解和生成能力，能够生成连贯且上下文相关的响应，在各种 NLP 任务中具有高度通用性。
然而，LLM 在数学推理方面的性能却不尽如人意。LLM 很难准确地执行复杂的算术运算，尤其是涉及超过 8 位数字乘法的运算，还有涉及小数、分数的运算。
基于此，来自清华大学、TAL AI Lab 和智谱 AI 的研究者联合提出了一个能够完美执行复杂算术运算的新模型 ——MathGLM。
论文地址：https://arxiv.org/pdf/2309.03241v2.pdf项目地址：https://github.com/THUDM/MathGLM#arithmetic-tasks该研究表明：在足够的训练数据下，20 亿参数的语言模型能够准确地进行多位算术运算，准确率几乎达到了 100%，且不会出现数据泄露（data leakage）。这个结果大幅超越了 GPT-4（其多位乘法运算准确率仅为 4.3%）。
方法介绍