从“画禁区”到“指一下”：拆解 Matic 机器人背后的视觉定位交互

你有没有经历过这种场面？

地上洒了一把猫粮，或者孩子把饼干踩得满客厅都是。你拿起手机，打开扫地机器人 App，等地图加载，圈出一个区域，再选“重点清扫”。等你操作完，可能已经自己拿纸巾擦掉了。

Matic 想解决的，就是这段让人抓狂的流程。

它给出的交互很直接：你指着地上的污渍，说“清理这个”，机器人理解你指向的位置，自己过去处理。

看上去只是少点了几下屏幕，背后却是一整套很硬的 AI 能力：语音理解、手势识别、3D 空间定位、场景建模、路径规划，以及针对地毯、墙角、踢脚线的清洁策略。

这篇不聊营销话术，咱们就把这件事拆开看：这种“指一下就能干活”的机器人，到底难在哪？做 AI 产品时，又能借鉴什么？

这不是“语音控制”，而是一次空间理解

很多设备也能听懂“开始清扫”“回去充电”。这类能力本质上是命令匹配：听到固定关键词，触发固定动作。

“清理这个”完全是另一回事。

因为“这个”没有明确坐标。机器人必须自己补全信息：

• 谁在说话？ 要从环境声音里识别出用户指令。
• 手指指向哪里？ 要识别人、手臂、手指的方向。
• 目标在地面上的什么位置？ 要把二维画面里的指向，换算成房间里的三维坐标。
• 那里是什么？ 是咖啡渍、纸屑、玩具，还是不该碰的宠物排泄物？
• 该怎么清？ 吸、拖、局部反复清扫，还是绕开？

一句人类觉得再自然不过的话，对机器来说，等于一张待填写的任务单。

用户指向地面 + 说“清理这个”
        ↓
识别语音意图：执行局部清洁
        ↓
识别人手与指向射线
        ↓
计算射线和地面的交点
        ↓
确认目标区域与障碍物
        ↓
规划安全路径
        ↓
选择清洁模式并执行

这叫 视觉指代消解。人说“这个”“那里”“左边那个”时，系统要把模糊语言和眼前的物理世界对上号。

别小看这一步。很多看似聪明的 AI，一进真实家庭就露馅：桌上有杂物、地面反光、光线忽明忽暗，旁边还有一只突然冲出来的猫。实验室里 99 分的模型，放到客厅里可能就开始装傻。

Matic 的核心变化：把 App 操作翻译成人类动作

传统扫地机器人常见的交互链路是：

打开 App → 查看地图 → 选择房间/区域 → 设置模式 → 下发任务

它的问题不在于技术不够，而在于这条链路不符合人类此刻的习惯。

你看到一块污渍时，身体反应是看过去、指过去、说一句“弄掉它”。没人会本能地掏手机画框。

Matic 的思路可以概括成一句话：

别要求用户学习机器的操作逻辑，机器应该理解用户原本就会的表达方式。

这类设计有三个很值得借鉴的点。

1. 用“指向”替代“精确描述”

用户不需要说“餐桌右侧约 1.2 米处，有一块直径 15 厘米的污渍”。这谁说得出口？

指一下，就把复杂的空间描述压缩掉了。

对语音助手、AR 眼镜、车载助手、工业巡检机器人来说，这都是一个关键思路。用户有视觉上下文时，别逼他用语言复述整个世界。

2. 用“意图”替代“功能入口”

用户的需求是“清掉这块脏东西”，不是“进入局部清扫功能”。

产品设计里常见的误区，就是把功能菜单当成用户目标。菜单越多，看着越强，实际越容易让人找不到入口。

把入口改成意图，体验会顺很多：

• “这里有头发” → 局部吸力增强
• “这里有水渍” → 湿拖或重点拖洗
• “别碰这里” → 临时避让区域
• “再来一遍” → 重复局部任务

3. 把 AI 放到需要它的那一秒

用户不需要每天研究地图，也不想反复设置规则。

真正高频的瞬间，往往是突发情况：咖啡洒了、猫砂带出来了、客人马上到家。这时让人点 7 次屏幕，体验直接垮掉。

好的 AI 交互，应该在这种“我现在就要处理”的时刻出现。

做到“指哪清哪”，系统至少要过这 5 关

如果你在做具身智能、视觉 Agent 或多模态产品，下面这套拆解可以直接拿去做需求评审。

1. 语音：听懂命令，还要理解上下文

语音识别只是起点。

系统还要判断：

• 用户是在命令机器人，还是在和家人聊天？
• “这里”指的是当前手势位置，还是刚才提到的地方？
• 用户说“别清那个”，否定的是任务、区域，还是物品？

实用做法是给每条语音指令绑定一个短时间窗口。比如用户发出“清理这个”后，在 1～3 秒内读取手势、视线或摄像头画面，把它们融合成一次完整指令。

这比单独处理语音稳得多。

2. 手势：重点不是识别“手”，而是计算“指向线”

识别出一只手，不代表知道它指向哪里。

系统通常需要估算手腕、指尖、手臂朝向，再构建一条空间射线。射线与地面平面相交的位置，才是候选目标点。

可以把它想成拿激光笔照地面：

眼前看到的手指方向
        ↓
推算一条 3D 指向射线
        ↓
射线落到地面的位置
        ↓
得到机器人要去的坐标

难点在于，真实用户指东西时没那么标准。

有人伸直食指，有人整只手一挥，有人站着指，有人蹲着指。镜头角度、遮挡、衣袖颜色、逆光，都会让识别变难。

所以别把交互设计得太死。比起要求“请伸出食指”，更靠谱的方案是允许系统结合手臂朝向、身体朝向、用户位置做容错。

3. 空间定位：把相机画面变成房间坐标

摄像头看到的是二维像素，机器人移动的是三维空间。

中间需要一层空间映射能力。常见技术包括：

• SLAM：边移动边定位，同时构建环境地图
• 深度估计：判断物体离镜头多远
• 地面平面检测：确认哪里能走、哪里不能走
• 语义分割：区分地板、地毯、墙面、家具、宠物等类别

这一层要解决一个很实际的问题：用户指的是地毯边缘，还是墙上的插座？

如果系统连目标是否位于可清洁地面都判断不准，后续动作再聪明也没用。

4. 任务决策：不是每个“脏东西”都该用同一招

原始信息提到，Matic 能在干扫、湿拖和重点清洁之间切换，并针对地毯、墙角、踢脚线采用不同策略。

这背后是一个任务决策问题。

简单说，机器人要根据目标区域和环境条件，选对动作：

| 场景 | 更合适的策略 | | --- | --- | | 饼干碎屑、猫砂、毛发 | 增强吸力，局部多次清扫 | | 轻微水渍、脚印 | 湿拖或重点拖洗 | | 地毯区域 | 避免错误湿拖，调整吸力与路径 | | 墙角、踢脚线附近 | 沿边策略、角落覆盖 | | 电线、袜子、玩具 | 识别后避障，不要硬怼 |

用户说的是一句模糊指令，机器做的是一连串细分决策。这才是“智能”真正值钱的地方。

5. 路径规划：到得快，不等于干得好

机器人知道目标在哪，还得考虑怎么过去。

一条可用路径至少要满足：

• 不撞家具
• 不压电线
• 不误碰宠物
• 不穿过刚拖湿的区域
• 尽量少绕路
• 到达后覆盖目标区域

尤其在家庭环境里，地图不是固定的。早上椅子在餐桌边，晚上可能横在走廊；孩子刚搭好的积木城堡，机器人要是直接冲过去，家庭战争就开始了。

因此，地图构建和实时避障必须同时存在。只靠一张预先保存的地图，远远不够。

对 AI 产品团队最有用的启发：少让用户“配置”，多让系统“感知”

很多 AI 产品喜欢给用户一堆开关：模型选择、工作流、优先级、参数面板、规则条件……看着专业，实际把负担全扔给用户了。

Matic 这类交互给了一个反方向：把复杂度藏在感知和决策层，把表达权还给用户。

你可以拿这张清单检查自己的产品。

如果用户面对的是实体空间

优先考虑这些输入：

• 指向
• 圈选
• 视线
• 拍照
• 手势
• 自然语言

别让用户手动填写坐标、编号、区域名称。

如果用户面对的是屏幕内容

可以把“指一下”换成：

• 框选一段文字，说“改得更口语一点”
• 点一张图，说“把背景换成办公室”
• 选中一行报错，说“修这个”
• 圈出表格一列，说“找异常值”

这类交互的共同点是：用户用动作提供上下文，AI 用模型补全任务。

如果任务会造成真实后果

一定要提供确认机制。

比如机器人识别不确定时，应该问一句：

“你是要清理地毯上的碎屑吗？”

比起自信满满地把湿拖布开上地毯，这一句确认简直是救命。

一个可复用的多模态指令模板

做“语音 + 指向 + 执行”类产品时，可以按下面的结构设计。

输入层
- 语音：用户说了什么
- 视觉：用户指向哪里、画面里有什么
- 状态：设备位置、剩余电量、当前模式

理解层
- 意图识别：用户想做什么
- 指代消解：“这个”“那里”对应什么
- 风险判断：能不能执行、需不需要确认

规划层
- 目标定位
- 工具/动作选择
- 路径与步骤生成

执行层
- 执行动作
- 实时避障
- 失败重试或追问

反馈层
- 语音确认
- 屏幕/灯光状态
- 任务结果与异常说明

别跳过“反馈层”。

用户发出指令后，最怕的不是机器慢，而是不知道它到底听没听懂。一个简短反馈就能解决很多焦虑：

• “好的，正在清理餐桌旁的区域。”
• “那里像是地毯，我会切换为干扫模式。”
• “目标被椅子挡住了，需要你挪开吗？”

这几句话，会让设备从“黑盒子”变成一个能沟通的帮手。

常见坑：看起来很酷，落地就翻车

坑 1：只做演示场景，不做模糊输入

演示视频里，用户站得端正，手指伸得笔直，地面上只有一块明显污渍。真实家里哪有这么配合？

测试集里必须加入：

• 多人同时出现
• 用户边走边说
• 手势被家具遮挡
• 强逆光和夜间灯光
• 地面反光
• 宠物或小孩突然进入画面
• 指向范围很大或很模糊

模型在这些情况下还能稳定工作，才算过关。

坑 2：识别准确率高，却没有“不确定性表达”

模型不是每次都能判断对。产品真正成熟的标志，不是永远不出错，而是知道自己什么时候没把握。

当目标置信度不足时，系统应当：

• 追问用户
• 高亮候选区域
• 请求用户再指一次
• 退回到手动圈选

硬猜最危险。尤其是会移动、会喷水、会碰撞的实体设备。

坑 3：把所有任务都塞给语音

语音很自然，但不一定总适合。

夜里孩子睡了，你不想喊；办公室里太吵，语音识别会乱；公共场合，大家也不愿意对着设备下命令。

靠谱的产品必须保留替代入口：

• 手势
• 触控
• App 快捷按钮
• 自动场景触发

自然交互不是“只准说话”，而是让用户在不同场景下都能方便地表达意图。

坑 4：过度承诺“完全自主”

家用机器人离“放下就不用管”还有不少现实问题：复杂家庭布局、充电续航、耗材维护、极端污渍、隐私担忧、异常情况处理。

用户愿意为省事买单，却不会为“偶尔需要救场”买单。产品文案和交互预期要诚实，别把辅助自动化吹成全自动管家。

从 Matic 的数据，看用户真正买单的是什么

公开信息显示，Matic 已进入约 1.3 万个家庭，并完成了 1.15 亿美元融资；其演示视频获得了数百万级播放。

这些数字至少说明了一件事：大家对家用机器人并不缺兴趣，缺的是一个足够顺手的交互理由。

“吸力更大”“地图更精细”当然重要，但普通用户未必能直观感受到参数差异。

“你指一下，它就去清理”，人人一秒就懂。

这也是 AI 产品传播里的一个经验：

别只展示模型能力，要展示用户在一个具体瞬间少做了什么。

少打开一次 App。

少找一次功能入口。

少弯一次腰。

少在下班回家后，被一地碎屑逼着加班十分钟。

这才是能被用户记住的价值。🤖

结语：机器人的下一步，是学会理解“人话”和“人动作”

从预设路线巡逻，到识别房间和障碍物，再到理解“清理这个”，家用机器人的变化不只是清洁能力变强。

更重要的是，交互开始接近人和人之间的协作方式。

你看一眼，指一下，说一句。

机器负责理解环境、补足细节、把活干完。

这条路离全面普及还有多远？取决于它能否在杂乱、嘈杂、变化不断的真实家庭里，依旧稳定地听懂你。只要每次都需要你掏手机救场，再炫的 AI 也只是玩具。真正好用的智能，是你几乎感觉不到它在“操作”。