모달리티 연구노트 05 · 2026.09.23 · Modality

멀티모달 담론의 세 가지 오해

채널을 세는 일과 경험을 읽는 일

사태는 이렇습니다. 2026년 9월 17일에 Figure가 Helix 2.5를 공개하면서, 베이 에어리어의 주택 서른 곳에 휴머노이드를 들여보내 방 정리와 침대 정돈과 수건 접기를 시켰고, 그 서른 집에서는 학습 데이터를 한 건도 모으지 않았습니다. 로봇과 판정 기준과 과업 데이터를 모두 같게 두고 초기 가중치만 다르게 했더니 성공률이 9퍼센트와 56퍼센트로 갈렸으며, 회사는 그 원인을 사전학습으로 지목했습니다.

사례 원문 · figure.ai →

Mode. 카메라와 두 팔과 두 다리는 처음부터 끝까지 동일했으므로, 갈린 것은 자원의 수가 아닙니다. 입력 채널을 더 붙이는 일과 경험이 성립하는 일은 같은 축에 놓이지 않습니다.

Modal. 일을 전부 마친 경우만 성공으로 세고 부분 점수를 주지 않았으며, 장난감 하나당 1분·수건 네 귀 1인치·베개 15도의 허용 범위가 걸렸습니다. 9와 56은 이 조건 아래에서만 존재하는 값이므로, 벤치마크에서 먼저 볼 것은 값이 아니라 판정 기준입니다.

Medium. 로봇이 만진 소파와 침대는 원래 그 집에 있던 것이고, 소파의 높이가 손을 뻗는 자세를 정하고 이불의 크기가 정돈의 성패를 정했습니다. 환경은 통제 변수가 아니라 과업의 실제 내용입니다.

Modality. 설계 목록에 없던 자기 교정 행동이 나타났고, 아무도 목표로 적지 않은 행동이 나왔다면 그것을 만든 쪽은 목록이 아니라 자리들의 맞물림입니다. 원인은 한 항목으로 모이지 않습니다.

공개되지 않은 항목도 적어 두겠습니다. 총 시행 횟수와 집마다의 성공률과 서른 집의 선정 기준과 사람의 개입 조건이 전부 비공개이며, 외부 재현도 아직 없습니다. 도입 검토 문서에 수치를 옮길 때는 이 범위를 함께 적어야 합니다.

실무에서 남는 대목은 평가 설계의 자리입니다. 성능표를 받아 놓고 값을 비교하는 회의는 조건이 이미 확정된 뒤에 열리지만, 수치를 만드는 것은 무엇을 성공으로 셀지와 부분 달성을 어떻게 처리할지와 제한 시간을 어디에 둘지입니다. 평가 기준표 없이 성능표만 있는 검토는 결과를 확인하는 절차이지 판단이 아닙니다.

발표 원문은 위 주소이고, 모달리티 연구노트 5호에서 이 사태를 네 자리로 다시 세운 표와 조건을 여섯 겹으로 분해한 표로 분석했습니다.