AI 实验室 PrismML 由加州理工学院研究人员创立,并由加州大学伯克利分校的 Ion Stoica 担任顾问。该公司已为其微型语言模型开发出一个版本,可运行在高通骁龙芯片驱动的智能眼镜上。
周三,在高通骁龙峰会上,这家芯片制造商展示了 PrismML 的 1-bit Bonsai LLM。该模型可在基于骁龙 AR1 Gen 1 平台打造的 AI 智能眼镜上本地运行。
正如 TechCrunch 此前报道,PrismML 的成名之处在于,它能大幅缩小大型模型(在此案例中缩小至四分之一),同时在标准基准测试中几乎保留其全部性能。智能眼镜版本是一个 20 亿参数的模型,针对视觉和语言进行了调优,因此佩戴者可以实时询问自己正在看什么。
PrismML 更大的目标是实现开放权重 AI:在设备上运行,并更好地利用设备已有的算力。这家初创公司将其宣传为一种替代方案,以摆脱对专有 AI 实验室隐私承诺的依赖,以及它们对更多算力的无尽需求。
为高通芯片发布模型是迈向这一愿景的一步。但目前尚无运行 PrismML 的智能眼镜发布。