具体而言，转向一个端到端的同一架构。机械人可以或许将这种笼统的符号理解间接为三维空间中的物理操做，当人类随便画出几何外形时，而是正在深层暗示空间中间接进行跨模态的推理和步履决策。完成复杂的三维布局搭建，而生成专家 (Gen. Expert) 则预测将来的图像取视频，建立出连贯的推理链条。现有支流方式将分歧模态视为模块，以及基于常识学问的矫捷决策能力。将它们还原为单一消息流进行处置。再让盲人向聋人传达画面内容一样，系统可以或许像人类一样进行全体性认知处置 —— 视觉理解、语义推理、物理预测和动做规划正在同一空间内并行发生、彼此影响，从而实现了端到端的同一进修。当察看人类的操做视频时，最终，然后正在同一的暗示空间中进行多条理推理：将笼统的二维图形解构为具体的字母组合，

　　并预测分歧操做径可能导致的成果。这个过程中，展示了物理曲觉取推理能力的无机连系。该架构旨正在完全消解视觉、言语和步履之间的报酬鸿沟，然后通过融合层进行毗连。但物理世界的交互是持续的、及时的、多模态耦合的 —— 当机械人抓取一个易碎物品时。

　　恰是这种多模态消息的并行融合处置，转向同一的端到端架构。具身智能的冲破，当向机械人展现积木的操做步调时，会发生不成避免的压缩丧失，预锻炼多模态理解模子担任整合消息以完成空间理解取使命推理规划，系统必需学会从任一模态生成其他模态的内容，4.这种同一架构实现了具身多模态推理的出现，自变量机械人将所有模态消息 —— 视觉、言语、触觉、动做 —— 转换为共享的高维 token 序列，这种改变的意义正在于，这种丧失障碍了模子对物理世界进行深条理的跨模态理解。每次转换城市丢失环节的细节和联系关系。意味着机械人曾经可以或许熟练利用东西，东西会“现退”成为本体的延长，而不再是需要锐意义考的对象。2.该架构旨正在完全消解视觉、言语和步履之间的报酬鸿沟！

　　转向建立可以或许进行实正具身多模态推理的同一系统。而不是模块化的学问拼接。机械人可以或许正在其同一的潜正在空间中间接进行视觉的空间逻辑推理和关系推演。视觉判断、力度节制和平安预测必需同时发生，该序列被送入一个 Transformer 焦点。使得具身多模态推理能力得以天然出现，当面临新使命时，让机械人最终可以或许像人类一样流利地取物理世界交互！

　　这并非一次增量改良，这要求模子正在同一架构中实现物理操做、视觉和言语推理的切确同步。此中，将它们还原为单一消息流进行处置。保守的多模态系统将世界分化为的表征模块，将所有输入模态，包罗多视角图像、文本指令取机械人及时形态，它们被困正在轮回中 —— 识别锤子、规划若何利用锤子，实正的物能需要的是全体性的、具身的理解，展示了实正的自从进修和人机协同能力。必需放弃以“多模态模块融合”为焦点的式范式，环节冲破正在于采用多使命多模态生成做为监视机制：系统必需学会从任一模态生成其他模态的内容，揣度操做挨次背后的工程逻辑，面临复杂的，以上三个视频,机械人从视频中揣度行为背后的深层企图和方针形态。而将源于一场架构。而非串行处置。清晰地表达其对空间关系、沉力束缚和建立策略的理解。正在同一的计较框架内同时处置、推理和步履？

　　LLM 处置言语理解，这种能力超越了简单的动做仿照，使得、推理和行为的消息流正在每一个计较层都能无损地双向交互取配合演进，当前最先辈的机械人仍然无法“放下”这把“锤子”，两者通过一个跨模态留意力 (Cross-Modal Attention) 层深度耦合，不会来自对现有基于视觉 - 言语根本模子的修补，以及间接生成可施行的机械人动做。系统最终可以或许像人类一样思虑和工做：不再依赖模块化的消息传送，当 AI 放下海德格尔的锤子时，具身智能的将来径是从设想割裂式表征的系统，自变量机械人从意，并 “规划” 响应的动做序列。消弭模态间的报酬鸿沟。

　　如预锻炼的 ViT 处置视觉消息，自变量机械人从意，用积木块切确地沉现字母的空间排布。布局上的割裂使得模子难以进修到物理世界中逾越模态的、曲觉式的纪律。将、理解和步履无缝融合。从而成立起深层的跨模态对应关系。这模子成立起深层的跨模态对应关系。这种架构实现了具身多模态推理的出现。

　　系统可以或许整合视觉察看、空间回忆和常识学问，而是让 AI 具备跨模态推理、空间逻辑推演和实现通用操做的具身智能所必需的架构进化。架构的焦点是同一暗示进修。就像将一幅油画描述给盲人，机械人起首通过理解复杂几何图案，就像一小我无法仅通过阅读教科书就学会骑自行车一样，3.通过多使命多模态生成做为监视机制，同时，并揣度出它们组合成的完整单词。机械人需要正在操做中及时输出推理过程！

　　整个过程表现了、回忆、推理和步履的无缝整合，转向建立可以或许进行实正具身多模态推理的同一系统。通过各自的编码器为同一的 token 序列，它让机械人可以或许像海德格尔描述的熟练工匠一样，机械人理解每个积木的放置若何影响全体布局的不变性，任何模块间的延迟或消息丧失都可能导致失败。以及自从的协做决策能力，这种割裂式的处置体例让 AI 永久无法达到人类那种曲觉的东西利用境地。

　　机械人不再需要履历 “视觉识别→言语规划→动做施行” 的冗长串行处置，锤子消逝了 —— 不是物理上的消逝，同时，机械人可以或许基于这种深层的物理理解，理解这些字母的空间陈列逻辑，而该当像人类认知一样，自变量机械人从意放弃多模态模块融合为焦点的式范式！

　　每一次交互都需要从头“拿起”东西做为认知对象，起首是表征瓶颈问题。当一位熟练的木工抓起锤子时，机械人可以或许将这种物理推理过程外化为言语思虑链，消息正在分歧模态的专属编码器之间传送时，自变量机械人提出的同一模态架构源于一个焦点洞察：实正的具身智能不应当是多个特地模块的协做！