最新资讯
dev.to 在信任 AI 生成的测试用例前,如何逐条复核 unite.ai Franklin Templeton 构建 AI 研究工作流以揭示风险 techxplore.com AI 助力寻找更优的钛合金 3D 打印工艺参数 engadget.com Perplexity 推出“teammates”日常工作任务 AI agent computerworld.com 别提数据中心:OpenAI 改称“compute campuses” theguardian.com 俄美试图阻止就自主武器制定具有约束力的规则 bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 www.youtube.com Google DeepMind 的 Philipp Schmid:AI 同事需要具备的七个要素 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机
多元动态
登录 注册
大模型 x.com · @karpathy

Karpathy 提出“Land or Water?”经纬度评测,检验 LLM 地理知识

原文 我的收藏

Karpathy 分享一个简单评测:向 LLM 输入经纬度文本并询问该点是陆地还是水域,重复 16,200 次后绘图。他认为模型确实掌握这类地理信息,可能来自对互联网数据的压缩。推文还引用了他人对 Claude 系列模型的测试结果,但未披露具体准确率与实验细节。

AI推荐理由 Karpathy 提出一个简单可复现的 LLM 地理知识评测:用经纬度文本反复询问“Land or Water?”,共 16,200 次并绘图,并引用他人对 Claude 系列的结果。具体新信息是评测方法与“模型通过压缩互联网获得地理知识”的观察;局限是正文仅为推文片段,未给出准确率、模型版本、坐标采样方式等可验证细节,引用结果也无法独立核实。

72 浏览 482,168 点赞 9,094 评论 295 转发 527

正文

Cool eval. Simply ask an LLM “Land or Water?” and give it a latitude and longitude coordinate as text. Ask 16,200 times, plot as image. The models know. From compressing the internet.

来源报道 · 3 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容