行业动态
github.com ·
@volotat
Mini-AGI:在 8GB 显存上从零训练的持续学习模型
mini-AGI 是一个字节级持续学习语言模型,可在单张 8GB 显存 GPU 上从零训练,权重以普通文件存于磁盘并按需分页加载,参数规模受磁盘空间限制。模型在训练中按需增长容量、剪枝无用部分,训练与生成共用同一代码路径,目标是边读边学且不遗忘。作者注明目前仅为玩具级实验,权重尚未发布,仍在首轮语料读取中,约需数周,能力受硬件、数据规模与训练时间限制。
AI推荐理由 项目为持续学习字节级语言模型,可在单张 8GB 显存 GPU 上从零训练,权重存于磁盘并按需分页,参数规模受磁盘空间而非显存限制;训练与推理走同一代码路径,边读边学。作者明确说明当前仅为玩具级模型,权重尚未发布,仍在首轮语料读取中,约需数周,因此尚无实际效果或可验证基准。其价值在于验证无灾难性遗忘的持续学习在消费级硬件上的可行性,但缺乏权重、评测与对比数据,需谨慎看待。
72
正文
Mini-AGI – Dynamic continual learning model trained on 8GB VRAM #ShowHn 👉 103 HN Points: https://news.ycombinator.com/item?id=49783133 原文地址: https://github.com/volotat/mini-AGI/