微软开源“1-bit”超高效AI模型:存储需求锐减、支持苹果M2等处理器
4月17日消息,微软研究团队宣称已研发出目前规模最大的“1-bit”AI模型——BitNet b1.58 2B-4T。它采用MIT许可开源发布,可在普通的电脑处理器(包括苹果M2芯片这样的SoC芯片)运行。
微软介绍称,BitNet是一类为轻量级硬件量身打造的压缩型AI模型,模型的权重参数仅取三个值:-1、0、1,每个参数仅需1.58位存储(传统FP16模型为16位),大幅减少存储权重所需的内存并启用高效的位运算,降低部署成本、减少能耗并加速推理速度,更好地在算力资源有限的设备上运行。
微软在Hugging Face上提供了多个版本的模型:
BitNet b1.58 2B-4T:包含优化后的1.58位权重,适用于高效推理,建议用于部署。
BitNet b1.58 2B-4T-bf16:包含以BF16格式保存的主权重,仅用于训练或微调。
BitNet b1.58 2B-4T-gguf:包含以GGUF格式保存的模型权重,兼容 bitnet.cpp库,适用于CPU推理。
据介绍,BitNet b1.58 2B4T是首个拥有20亿参数(参数基本等同于权重)规模的BitNet模型。该模型训练数据集规模达到4万亿tokens(约合3300万本书),在多个任务中表现出优于同等规模传统模型的性能。
BitNet b1.58 2B4T在多个权威基准测试中表现出色。例如在GSM8K(小学数学题库)和PIQA(物理常识推理测试)评估中,BitNet 的表现超过了Meta的Llama 3.2 1B、谷歌的Gemma 3 1B以及阿里巴巴的Qwen 2.5 1.5B等模型。
BitNet b1.58 2B4与同类模型进行的比较
基准测试显示,BitNet b1.58 2B4T的运行速度比同尺寸模型更快,某些情况下可达到两倍速度,同时内存占用大幅降低。
不过,要实现这一性能表现,需依赖微软自研的bitnet.cpp框架。该框架当前仅支持部分特定硬件平台,尚不兼容当前主流AI基础设施中的GPU,这在一定程度上限制了其广泛部署与应用。(腾讯科技特约编译金鹿)