地瓜机器人联合东京大学开源RawVLA,暗光机械臂成功率大幅提升
地瓜机器人联合东京大学等机构提出RawVLA,并开源相关方法与评测基准。该方法在已有机器人视觉-语言-动作(VLA)策略前加入可学习成像模块,从RAW数据出发,根据当前画面和历史信息调整成像参数,让输入图像更适合下游操作任务;训练时原有VLA策略保持冻结。
真机实验中,团队用π0.5策略测试抓取与放置、抽屉操作、插花、堆叠与覆盖四项双臂任务。暗光下,搭配RawVLA的平均成功率为66.5%,默认ISP为0%,DarkISP为11%;正常光照下RawVLA为75.0%,默认ISP为76.5%,表现接近。仿真测试中,在RoboTwin 2.0上跨五种光照、两种VLA策略的平均成功率从默认ISP的43.91%提升到54.98%,提高11.07个百分点。论文报告成像模块处理速度为168 FPS,该数字仅代表成像模块,不代表整套VLA推理或机器人控制频率。
团队同时发布RawVLA-Bench,将成像处理纳入机器人操作的训练与评测,覆盖极低光、低光、正常光、过曝和极端过曝五种条件,基于LIBERO和RoboTwin 2.0构建,包含2403条配对轨迹,完整评测设置13250次测试。目前数据集与评测代码已公开。
- 2026-11-04 16:28 | 新浪财经:机器人暗光抓取不再“失明”,新开源方法让相机成像围着动作任务优化阅读原文
(来源:上观新闻)灯光一暗,原本能完成的机器人(13.610, -0.01, -0.07%)抓取任务就可能失败。对走出实验室的机器人来说,光线变化绕不开:同样的任务、同样的物体,换一组灯光,相机送给模型的画面就可能大不相同。问题出在图像进入机器人模型之前。相机采集的RAW信号要经过图像信号处理器(ISP)做降噪、白平衡、色彩校正等处理,才变成机器人看到的RGB图像。过去这一步常被当作固定预处理,但它会直接影响机器人能否看清目标、预测正确动作。围绕这一问题,地瓜机器人联合东京大学等机构提出RawVLA:在已有机器人视觉-语言-动作策略前加一个可学习的成像模块,从RAW数据出发,根据当前画面和历史...