왜 지금 모달리티인가

첫 호의 주제는 연구소 이름에 들어 있는 단어 자체입니다. 이 말이 지금 어떻게 쓰이고 있는지, 그리고 원래 무엇을 가리켰는지를 다섯 학문 전통에서 차례로 확인해 보겠습니다. 다섯 전통을 나란히 놓으면 지금 통용되는 정의가 이 계보의 어디에 놓이는지가 드러납니다.

공학의 정의와 그 한계

AI 공학에서 modality는 통상 입력 데이터의 유형을 가리킵니다. 텍스트, 이미지, 오디오, 비디오가 각각 하나의 모달리티이고, 여러 유형을 한 모델이 함께 처리하면 멀티모달 모델이라고 부릅니다.

이 정의는 실무에서 충분히 기능합니다. 데이터셋을 구분하고 인코더를 설계하고 벤치마크를 나누는 데 필요한 만큼의 해상도를 제공하기 때문입니다.

문제는 이 정의가 단어의 전부처럼 통용된다는 점입니다. 이 용법에서 modality는 세는 대상입니다. 몇 가지를 지원하는가, 어느 유형을 추가할 것인가가 질문의 형태를 결정합니다. 그런데 개수를 묻는 어휘로는 잡히지 않는 층이 있습니다. 몇 가지 유형을 지원하는지는 그 유형들이 서로 어떤 관계를 맺는지에 대해 아무것도 말해 주지 않습니다.