모달리티 연구노트 09 · 2026.10.21 · Modal
짝을 정하지 않은 말과 몸짓, Modal이 여는 결합의 방식
결합은 미리 정해지지 않는다
사태는 이렇습니다. UCSF 연구진이 뇌 표면에 놓인 전극판 하나로 마비 환자의 말과 몸짓을 동시에 읽어, 화면의 글자와 아바타의 동작으로 내보냈습니다.
Mode. 「hello」 같은 구절과 손 흔들기 같은 몸짓, 두 자원입니다. 따로 배운 해독기는 둘을 함께 시도하는 순간을 쉼으로 놓쳤습니다. 함께 하는 일은 각각의 합으로 처리되지 않았습니다.
Modal. 연구진은 구절 10개와 몸짓 10개를 빠짐없이 짝지은 100개 조합을 썼습니다. 「hello」에 손 흔들기만 붙이면 해독기가 몸짓을 읽지 않고 짐작하게 되기 때문입니다. 처음 보는 조합에서도 정확도는 같았고, 대화 과제에서 참여자는 어떤 말에 어떤 몸짓을 붙일지 그 자리에서 골랐습니다. 결합은 목록이 아니라 상황이 정했습니다.
Modality. 참여자가 그 대화를 어떻게 겪었는지는 보고되지 않았습니다. 해독기와 아바타 쪽 경험은 판정하지 않고 비워 둡니다.
Medium. 253채널 전극판과 대화 과제, 그리고 구절 10개와 몸짓 10개라는 어휘의 크기가 결합의 범위를 정합니다.
공개되지 않은 항목도 적어 두겠습니다. 처음 보는 조합의 분석은 기록 데이터로 한 사람에게서만 이루어졌고, 어휘가 커졌을 때의 결과는 아직 시험되지 않았습니다.
실무에서 남는 대목은 멀티모달 입력의 설계 방식입니다. 음성과 동작을 함께 받는 인터페이스라면, 어떤 말에 어떤 동작이 온다는 대응표를 먼저 정하기보다 함께 쓰는 상황 자체를 학습과 시험에 넣어야 합니다. 어색한 조합까지 시험 목록에 올려야 대응표에 기대는 오작동을 걸러 낼 수 있습니다.
모달리티 연구노트 9호에서 이 사태를 네 자리와 100개 조합표의 여섯 항목으로 다시 세운 표와 함께 분석했습니다.