GitHub仓库volotat/mini-AGI在9月19日创建,9月21日更新,目前238颗星、18个fork,MIT协议。项目的核心主张是「continual learning byte-level language model」——一个能在单张8GB显存显卡上从零训练、并且永不停止学习的模型。它自己组装自己的架构、把权重当作普通文件存放在磁盘上按需换页进显卡,因此参数量上限取决于剩余硬盘空间而非显存大小。
官方README第一句就给这一定位划了边界:「as of now this is a small toy-level model」。作者明确说不应期待前沿级别的能力,这是一个实验:证明单数据流持续学习且不发生灾难性遗忘是可行的,而且是在普通硬件上可行,几乎人人都能训练自己的版本并继续训练下去。
为什么「持续学习」是难点
今天所有可以真正拥有的语言模型,都是别人训练完冻结的产物。可以在边缘微调,但无法在个人硬件上从零训练,也无法对日常阅读的内容持续训练——一旦尝试,模型就会遗忘先前学到的东西。结果就是个人模型永远是别人的模型加一层薄薄的自己,并且在发布那天就停止学习。
mini-AGI的实现方式是逐块读取字符流,每读一块就做一次梯度更新,生成时走完全相同的代码路径。没有独立的微调阶段,没有冻结的基底,阅读与训练是同一件事。当容量不足时它会自己长出新的结构,没人请求的部分则被剪枝。
当前状态与限制
权重尚未发布。官方说明写道,训练进程仍在第一次遍历语料,按当前速度跑完全部语料还要几周,之后权重才会放出。仓库里的runs/samples.txt记录了整个训练历史,任何人都可以自行检查模型在训练过程中如何改进。
作者对能力边界给出了量化的表述:能力上限取决于实际硬件、规模、数据质量与愿意投入的训练时间。这段坦诚的自我评估,加上「同一段代码既训练又推理」的设计,让它在个人AI记忆、本地助手这些场景里成了一个值得观察的技术原型,而不是又一个声称颠覆大模型的项目。
这个项目的技术叙述之所以值得认真看,是因为它指向了一个不同的所有权模型:当训练可以在消费级硬件上持续进行,模型就不是一次性产品而是持续累积的资产。作者对这一点的表述很克制,没有声称达到任何前沿能力,而是把实验本身和代码路径的同一性作为贡献——阅读与训练共享代码,意味着模型所见即所学。samples文件里记录了整个训练历史的输出样本,第三方可以直接对照检查改进曲线,这比任何Benchmark表格都更直接地回答「持续学习到底学到了什么」的问题。