最新资讯
stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离
多元动态
登录 注册
行业动态 github.com · @volotat

Mini-AGI:在 8GB 显存上从零训练的持续学习模型

原文 我的收藏

mini-AGI 是一个字节级持续学习语言模型,可在单张 8GB 显存 GPU 上从零训练,权重以普通文件存于磁盘并按需分页加载,参数规模受磁盘空间限制。模型在训练中按需增长容量、剪枝无用部分,训练与生成共用同一代码路径,目标是边读边学且不遗忘。作者注明目前仅为玩具级实验,权重尚未发布,仍在首轮语料读取中,约需数周,能力受硬件、数据规模与训练时间限制。

AI推荐理由 项目为持续学习字节级语言模型,可在单张 8GB 显存 GPU 上从零训练,权重存于磁盘并按需分页,参数规模受磁盘空间而非显存限制;训练与推理走同一代码路径,边读边学。作者明确说明当前仅为玩具级模型,权重尚未发布,仍在首轮语料读取中,约需数周,因此尚无实际效果或可验证基准。其价值在于验证无灾难性遗忘的持续学习在消费级硬件上的可行性,但缺乏权重、评测与对比数据,需谨慎看待。

72

正文

Mini-AGI – Dynamic continual learning model trained on 8GB VRAM #ShowHn 👉 103 HN Points: https://news.ycombinator.com/item?id=49783133 原文地址: https://github.com/volotat/mini-AGI/

来源报道 · 4 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容