行业动态
wechat ·
@极客之家
一张照片丢进去,出来一个3D模型,新版豆包有点猛啊
未提供
正文
9月16号,豆包2.1 Pro更了个0915新版,官方的说法里有两条我很感兴趣:3D物体的识别理解增强了,看图写代码做到国内领先。
看到这个消息之后,忍不住马上试了试它的效果。GitHub上有个很火的开源技能叫img2threejs,免费的,Apache-2.0协议,专门干一件事:给它一张图,它把图里的东西用代码重建成一个3D模型,要的正好就是看图和写代码这两样本事。
我把这个 Skill 跑在豆包工作里,模型记得选豆包2.1 Pro。豆包工作前段时间刚独立出来,有了自己的客户端,一句话派活、装第三方技能都在里面。这种一跑一个来小时的活我最愿意丢给它:任务挂在云电脑上自己往前推,不占我电脑资源,我去忙别的事就行,空了就打开手机看看它跑到哪了,进度是同步的。一个客户端就把活干齐了,不用再往电脑上堆一堆Agent工具。
一张照片,出来一辆能拆着玩的车
我丢了张山地车的照片给它,跟它说做成3D模型,然后我就去干别的了。个把小时之后,它还我一个网页文件。
双击打开,一辆山地车立在那,鼠标拖着360度随便转。车架上的字母贴花、一根一根的辐条、轮胎上的纹路,全都搭出来了。上面还带了一排交互:车把能掰、脚踏能踩、前叉避震能拖滑杆动,鼠标悬停在零件上会显示部件名。最夸张的是分解视图,按一下,整车零件炸开摆开,每个零件长什么样都看得清清楚楚。
我还录了一段它转起来的视频,比看图直观。
轮廓、比例、颜色都对得上原图。有些地方它还主动标出来,说这个部位图里看不到,是它推测的。如果多角度照片发给它,效果最佳。
操作非常简单
安装就是一句话的事。我在对话框里把GitHub仓库地址发给它,说帮我装这个技能,它就自己去拉仓库、读说明、装环境,装完回我说能用了,中间没要我干什么。
发地址这条路走不通的话也有备用:自己把仓库下载下来,在豆包工作里找到「我的技能」,点新建,选上传技能,把文件夹拖进去,效果一样。
用起来也没门槛,想让它生成什么,把参考图和一句话发给它就行。它接了活先不急着动手,先把图拆开分析:这车分几个部件、每个部件什么材质、哪些细节必须还原,列一张清单出来,然后照着清单一阶段一阶段搭。
最有看头的是自检。每搭完一个阶段,它把当前模型渲出来跟原图摆在一起,自己找哪里不像,找完回去改,这么来回好几轮,我们就看着它从一个大色块慢慢变精细。也不用盯着,它自己往前推,隔一阵看一眼进度就行。
img2threejs官方还挂了一排案例,游戏皮肤、索尼耳机、卡通房子都有,全是一张图重建出来的。还有一点我喜欢,它产出的不是那种改不了的网格文件,是一段代码,想换颜色调比例,跟豆包说一句让它改代码就行,不用推倒重来。
几句实话
1、单张图有信息上限。 背面和底下长什么样模型只能靠猜,它会把猜的地方标出来,但想转一圈都准,最好多拍几个角度一起给它。
2、它擅长硬表面的东西,这次的自行车就属于这类,轮廓分明的做出来效果好。 人物和动物也支持,但官方自己都写明了是风格化重建,照片级还原别指望。
3、跑这个要花点时间,我这次前前后后等了个把小时。 好在它挂在云端跑,等的时间不耽误我干别的,但急着要的活别指望它。
最后聊聊
跑这个案例要的能力就两样,看图、写代码,0915这波更新加强的正好也是这两样,算试对了地方。官方自己也在推这个方向,演示里有个案例,拿4张庭院设计图搭出整个庭院的3D场景,还做了四季切换。我做的是一辆车,它那个是大场景,路子是一样的。
想跟着玩的,现在正好有个福利:网页搜索下载电脑版「豆包工作」,限时免费领取30天订阅权益。领完照着上面这套流程走一遍,一张照片就能玩出你的第一个3D模型。