공간의 상호작용 모달리티에 관한 기호학적 문해 연구

초록 (국문)

사용자와 공간의 상호작용은 일종의 커뮤니케이션이다. 이것은 발신자와 수신자 간의 상호 소통이며 이 과정 중에 정보를 주고받는데, 양자의 정보는 대화를 통해 변형되는 프로세스를 가진다. 이와 같은 대화형 프로세스의 반복을 통해 상호작용이 진행된다. 정보가 대화의 진행에 따라 변형되지 않는다면 그것은 상호작용이라기보다는 단조로운 반응에 가깝다고 할 수 있다. 대화적이고 담론적인 커뮤니케이션은 사용자와 공간 간의 상호작용 역시 커뮤니케이션 형식으로서 발신자와 수신자 사이의 기호 전달 체계로 이루어져 있다. 기호 전달 체계는 기표와 기의로 구성된 소쉬르적인 이분법적 해석에 그치지 않는다. 그것은 단순한 반응과 피드백의 연속 과정이 아니라 기호 활동으로서 세미오시스(semiosis)를 이루고 있기 때문에, 상호작용이 발생하는 공간에서는 상호작용 과정 전체를 진화하는 기호로 해석할 수 있다. 이처럼 커뮤니케이션은 상호작용을 위한 채널을 통해 기호 체계의 특정한 문법에 따라 진행된다. 커뮤니케이션을 위해서 발신자와 수신자가 서로 소통하는 채널과 같이 특별히 상호작용에서 공간과 사용자 간의 채널이 상호작용 모달리티(modality)이다. 모달리티란 특정한 방식이나 형태를 갖추는 일 혹은 상태나 양상, 국면 등을 의미하는데, 본 연구에서는 공간과 사용자의 감각(modal)을 이용해 상호작용을 가능하게 하는 상호 소통을 위한 디자인 방법을 말하며 기호학적 체계를 바탕으로 한 상호작용 모달리티의 문해를 통해 상호작용 모달리티는 상호작용 공간디자인이 가지는 메시지에 포함된 중요한 기호들을 분석할 수 있으며, 상호작용 공간을 디자인할 때 공간 전체의 테마를 명확하게 할 수 있다. 또한 공간의 서사 구조에 대한 분석이 가능하여 상호작용을 통하여 어떤 의미적 변화가 일어났는지 살펴볼 수 있다. 이를 통해 공간에서의 상호작용을 위한 매체의 특성이나 조작이 공간 메시지에 미치는 영향을 분석할 수 있다. 이는 상호작용 공간 디자인에 적용된 조명, 색채, 음향, 영상 등 매체 구성의 방법이 어떤 의미를 형성하는지 혹은 표현 재료의 질과 서체, 그래픽 등이 상호작용을 위한 표현으로서 어떤 역할을 하는지 등을 연구하고자 한다. 이를 위해 본 연구는 다음과 같은 목표를 갖는다. 첫째, 상호작용 모달리티를 통해 상호작용 공간을 읽고 쓸 수 있는 즉, 문해(文解, literacy)를 가능하게 하는데 목적이 있다. 이를 위해서는 먼저, 상호작용 모달리티의 기호학적 체계를 통해 상호작용에서 정보 전달의 양태와 의미화의 특성을 파악한다. 이는 상호작용 모달리티가 대화적 커뮤니케이션으로서 유용성을 가지기 위함이다. 그리고 대화적 상호작용 과정에서 상호작용 모달리티를 통한 의미화와 그 특성을 통해 상호작용 공간을 해석하고 디자인하여, 공간에서 상호소통 가능하도록 상호작용 모달리티의 기호학적 구조를 구축하는 것을 목표로 한다. 둘째, 상호작용 공간디자인의 방법론으로서 상호작용 공간의 기술적 구축 형식을 제시하여 상호작용적 매체 특성의 다각화를 모색한다. 대화적 커뮤니케이션 성격인 상호작용 모달리티의 기호 특성에 따라 기호체계에 맞춰 구조를 구축하고 기술적으로 다각화하여 상호작용 모달리티가 가지는 디자인 형식의 구조와 특성을 다양한 양태의 상호작용 공간디자인 해석을 연구의 주요 활용 체계로 한다. 이를 위한 연구의 범위 및 방법으로서 각 장의 구성을 살펴보면 다음과 같다. 먼저 연구의 대상인 상호작용 모달리티의 기본 개념에 대해 살펴본다. 먼저 감각의 양태로서 모달리티에 대해 살펴본 뒤, 커뮤니케이션 형식에 따라 기호적 영역, 의미적 영역과 함께 디자인 측면인 화용적 영역을 통해 기본적인 모달리티 개념 이해를 돕는다. 2장에서는 커뮤니케이션 관점으로 상호작용 공간과 모달리티의 관계를 고찰한다. 먼저 기술의 세계로서의 상호작용 공간을 살펴보고 다음, 상호작용 디자인이 적용되는 배경이 되는 기술적 관점의 상호작용 모달리티에 대해 고찰한다. 이어서 기호체계로서 상호작용 모달리티가 가지는 의미화와 양태에 관해 연구한다. 이와 같은 과정을 통해 상호작용 공간에서의 모달리티의 기본적인 의미화와 기호체계를 파악한다. 3장에서는 기호체계와 의미화에 의해 나타나는 상호작용 모달리티와 상호작용 공간 디자인의 양태를 퍼스 기호학의 범주론에 의거하여 범주화한다. 상호작용 디자인은 상호작용 모달리티가 작용하는 현상으로 이를 범주화하여 그 실체를 규명하고 퍼스 범주별 양태와 특징을 파악하여 각 범주에서 나타나는 상호작용 모달리티의 속성을 구조화할 수 있도록 한다. 이는 대화적 커뮤니케이션의 형식을 지니는 상호작용 모달리티의 세미오시스, 즉 상호작용이 발생하는 공간에서 상호작용 과정 전체를 기호로 해석할 수 있기 때문이다. 4장에서는 기술적 구축양식으로서 상호작용 모달리티의 체계를 기호체계에 따라 구축한다. 상호작용 모달리티를 표현체와 해석체, 통합체와 계열체의 체계로 만든다. 표현체로서 상호작용의 구조와 해석체로서 범주별 양태들의 치환 구조의 속성들 그리고 프레임의 통합체와 계열체의 체계에 따른 다중 구조의 상호작용 모달리티 체계를 구축한다. 5장에서는 이렇게 구축한 공간의 상호작용 모달리티를 작용 층위와 속성 층위의 매트릭스로 구분하고 각 층위 특성과 속성에 따른 관계 구조와 작용 원리 및 도식을 제시한다. 기호체계에서 해석체에 속하는 상호작용 모달리티의 층위들은 작용 강도에 따라 다양한 범주별 양태들로 나타난다. 이 양태 범주에 따라 표현체로서 작용 층위에 해당하는 세 가지 층위 특성을 가진다. 이들 작용 층위는 단독으로 작용하는 것이 아니라 전일적으로 모든 층위가 작동하며 감각장 조절, 정보표면화, 그리고 지향성의 강도에 따라 표현체로서의 작용 층위와 해석체로서 작용하는 층위의 다중 구조로 구성된다. 첫째, 공간에서의 기호 특성을 나타내는 건축·기호적(Archi-Semiotics) 층위이다. 상호작용 공간은 구축·비구축적인 공간에서 작용하며 이것은 상호작용 단계에서 시몽동의 정보·형태화와 기호 체계로부터 도출된 기술성으로서의 특성이다. 건축 공간이라는 대상과 대상에 적용하는 기술로서 공간디자인이며 기호 활동을 통한 세미오시스 성격을 나타낸다. 또한 감각장 조절 양상과 정보표면화 차원의 사이에서 작동하는 데 이 속성을 강도별로 구분하기 위해서는 기호 활동 정도와 구축·비구축 공간에서의 상호작용 강도에 따른다. 구축·비구축의 다양한 건축 공간에서의 상호작용을 표현성(presentiveness), 상징성(symbolicity), 맥락성(contextuality) 등의 속성으로 나타난다. 둘째, 관계와 감각의 변형 특성을 가지는 매체·공감각적(Media-Synesthesia) 층위이다. 상호작용 모달리티가 인간과 세계를 매개하는 상호작용 공간에 적용된 기술로서 관계의 지향성 구조를 가지며, 그것이 인간과 공간이 가지는 감각 양상과 변형의 성격을 나타낸다. 감각장의 조절, 환경과 맥락의 통제와 조절은 인간-세계의 지평을 변화시키는 감각 지향 구조를 형성한다. 그리고 감각의 강도에 따라 상호작용 모달리티의 문해 방법이 결정된다. 이 층위는 기술적 관점에서 감각장 조절축과 공간 지향성 특성의 사이에 위치한다. 매체를 통한 관계 지향성 속성의 유사관계(quasi-relation), 사용자·환경, 행동과 반응을 통제하는 통제성(control) 그리고 매체를 통한 사용자의 단일·다중·공감각의 반응성(responsiveness) 등의 속성을 가진다. 셋째, 서사성과 의미화 특성의 서사·스토리텔링(Narrative-Storytelling) 층위이다. 행동과 의미 영역의 삼차성 범주 양태를 나타내며, 서사 범주와 영역으로서 해석의 과정에 상호작용 모달리티가 작용한다. 사용자가 공간 디자이너가 의도한 상호작용 단계에 접속하여 표현된 의미를 통해 상황적 맥락 속에서 해석하고 행동할 수 있는 상호작용 공간 문법을 구성하는 상호작용 모달리티의 의미 구성 층위이다. 서사 범주에 따라 속성 층위가 결정된다. 의미 속성(property)영역, 구문성(construction), 통합성(synthesis)이 그것이다. 이는 모두 서사를 다루는 범주에 의한 것으로 정보 표면화 특성에서 공간 지향성까지의 속성 영역이다. 6장에서는 연구 결과의 활용 체계로서 상호작용 모달리티에 의한 상호작용 공간디자인 문해 체계와 그에 따른 디자인 유형을 사례와 함께 제시한다. 프레임 층위 특성을 중심으로 하는 세 가지 디자인 유형 분류와 프레임 속성 층위에 따른 9개 분류를 제시함으로서 상호작용 공간의 해석을 가능하게 하였다. 이러한 과정을 통하여 얻어진 결론을 다음과 같이 유용성으로 제시하였다. 유용성으로는 먼저, 소통 관점에서의 상호작용 공간 문해 능력의 최적화라는 가치로서, 상호작용 모달리티의 정보 전달의 양태와 상호작용 모달리티의 의미화와 특성을 제시하였다. 첫째, 상호작용 모달리티의 정보 전달의 양태에 관한 것으로 상호작용 모달리티는 인간(사용자)과 기술(디자인)과 세계(공간)를 매개하는 관계 지향성 구조를 가진다. 그리고 모달리티는 공간과 사용자 혹은 사용자 간에 감각의 확장과 변형이 일어나게 하는 기술적 매체가 된다. 또한 상호작용 모달리티는 기호적 발화양식을 가지며 상호텍스트성이라는 기호·맥락적 기반 안에서 정보·형태화가 일어난다. 둘째, 상호작용 모달리티의 의미화와 특성에 관한 것으로서 상호작용은 기호 활동인 세미오시스이다. 모달리티는 기호이므로 기호체계를 가진다. 따라서 상호작용 모달리티는 의미를 생성하는 작용을 하는 기호·서사의 속성을 가진다. 다음, 상호작용 공간의 기술적 구축 형식을 제시한 점에서 도구적 유용성 측면의 가치를 확인할 수 있다. 상호작용 공간을 디자인하는데 적용할 수 있는 상호작용적 매체 특성의 기술적 다각화와 구축 형식을 제시하여 공간에서 다양한 목적과 의미를 전달하고 공간과 사용자 간의 대화적 상호작용이 가능한 공간디자인의 방법론을 제시하였다. 첫째, 상호작용 모달리티는 상호작용적 모달리티의 구축을 위한 형식으로서 도구적 유용성을 갖는다. 기호적 영역으로서 기호 체계와 구조로서 상호작용 모달리티를 구축하였으며, 의미적 영역으로서는 작용과 속성 층위 간 관계 구조와 의미생성과 작용을 파악하였다. 그리고 화용적 영역으로서 상호작용 모달리티의 상호작용 공간디자인과 문해 유형을 제시하였다. 둘째, 상호작용 공간 문해를 위한 기호 체계 프로세스를 구축하였다. 퍼스 기호학적 관점으로서 표현체와 해석체의 기호 체계로 구축되었다. 표현체와 해석체로서의 작용 층위와 작용 속성의 위계를 갖는 표현체로서 상호작용의 기호를 가진다. 또한 해석체로서 기호특성과 감각성, 서사성을 지닌다. 또한 통합체와 계열체적 체계를 가진다. 층위 간 강도 차이에 따른 다중 구조와 이중 함축의 통합체적 구조와 작용 층위 계열과 속성 층위 계열 구조를 갖는다. 셋째로, 상호작용 모달리티는 상호작용 공간을 읽고 쓸 수 있는 문법체계 구조를 가진다. 이를 바탕으로 모달리티 디자인 접근을 통해서 공간의 상호작용 디자인과 문해 유형을 제시하였다. 크게 작용 층위를 기준으로 하는 3개의 디자인과 문해 유형으로 분류하였다. 건축·기호 중심 디자인 유형으로 상징적 의미 활동을 지원하는 유형과 매체·공감각 중심 디자인 유형으로 감각의 지향 구조를 형성하는 유형, 그리고 서사·스토리텔링 중심 디자인 유형으로 대화적 의미 행동 범주를 구성하는 유형 등으로 분류된다. 또한 각 디자인과 문해 유형은 작용 층위별 강도 차이에 따라 9개 분류로 디자인 유형과 문해 방법을 디자인 사례와 함께 제시하였다. 본 연구가 각 작용과 속성 층위별로 9개 디자인 유형을 제시하고는 있으나 각 속성이 가지는 심층적 디자인을 다루는 데에는 한계가 있다고 본다. 그것은 본 연구가 상호작용 공간을 작동시키는 상호작용 모달리티에 대한 존재와 성격 그리고 작용 방법과 기호학적 문해에 보다 집중하고 있기 때문이다. 따라서 그것을 응용하는 공간 디자인을 다루는 보다 더 광범위하고 깊이 있는 후속 연구가 진행되어야 할 것이라고 생각한다. 또한 향후 연구 과제로서 각 작용 층위별 디자인 항목과 상호작용 강도에 따른 측정 가능한 지표 체계가 제시될 수 있겠다. 이러한 지표 체계를 바탕으로 하는 상호작용 공간 디자인의 평가 체계 역시 가능하다고 생각한다. 이는 본 연구에서 다룬 상호작용 공간 디자인의 기호학적 문해 체계를 바탕으로 하는 디자인을 측정하고 측정된 지표를 기반으로 하는 디자인 평가 체계가 가능할 수 있다는 것을 의미한다. 이를 통해 보다 효과적인 상호작용 디자인에 대한 활용과 폭넓고 깊은 사용자 경험을 이끌어 내는 공간 디자인 방법론으로 발전시킬 수 있을 것으로 기대한다.

Abstract (English)

The interaction between a user and a space is a form of communication. Information is exchanged in the course of mutual communication between a sender and a recipient, and the information of the both sides is changed through this dialogue. Interactions proceed through the repetition of this dialectic process. If information does not change in accordance with the progress of the dialogue, it is a monotonous response rather than dichotomous analysis consisting of signifier and signified. Because they are not simply a continuous process of reaction and feedback, but rather semiosis is formed from the circulation of signs, in the space where the interaction takes place, they can be interpreted by the signs that circulate throughout the whole interaction process. As such, communication proceeds according to the particular grammar of the semiotic system through the channel for interaction. As well as the channels through which sender and receiver communicate, the communication modality of the space is the channel between the space and the user in the interaction. Modality as a term in logic referring to a matter, condition, pattern, or situation that has a form or method. In this study, it refers to a design technique for mutual communication that enables interactions using the modalities of the space and user. Modality refers to the particular grammar used to transmit information in the process of interaction within a space, as well as the methodology to enable interaction, and the design techniques that are applied to the space. Thus, in order for a designer to bring out a dialectic interaction with a particular significance and intention, they must design modalities that enable reading and writing of the interactive space. To this end, our study has the following objectives. First, I aimed to enable literacy, that is, an ability to read and write interactive space through an interactive modality. To achieve this, I first investigated the modality of information transmission and the characteristics of signification in interactions using the modality’s semiotic system. This is so that the spatial modality can be useful for dialectic communication. Also, I aimed to design and interpret an interactive space using signification using the modality and its characteristics in the process allow interaction in space. Second, as a methodology of interactive spatial design, I presented a technical structural form for the interactive space, and explored diversification of the interactive medium’s characteristics. I aimed to build a structure to suit the semiotic system, in accordance with the characteristics of the modalities’ signs as dialectic communication. Then, by technological diversification of the structure, I aimed to present the design forms of the modality and the characteristics of the structure through a matrix of interactive spatial design in various modalities. Thereby, through the design of interactive space, I aimed to enable semiosis, which is signification through sign circulation. As for the range and method of this study, the contents of each chapter can be summarized as follows. In the first chapter I explore the basic concept of the modality that is the subject of our study. After exploring modality from the aspect of sensory modalities, I help to understand the basic concept of modality through the pragmatic domain, which is an aspect of design, along with the structural and semantic domains in accordance with the form of communication. In the second chapter I examine the relationship between interactive space and modality from the perspective of communication. First, I explore interactive space as a world of phenomenological techniques, then I consider modality from a technical perspective, forming the background to which interactive design is applied. I examine signification structures and modality as a semiotic system. Through this process, I grasp the basic interactive space. The third chapter categorizes the modality, which arises from the semiotic system and signification, and the aspects of interactive spatial design on the basis of Peirce’s category theory of semiotics. The interaction design is a phenomenon on which modality acts, and I categorized this before identifying its substance and ascertaining the aspects and characteristics for each of Peirce’s categories, so that I could structure the properties that the modality shows in each category. This is because, in a space in which the semiosis of a modality occurs in the form of dialectic communication, in other words, in a space in which an interaction occurs, the entire process of the interaction can be interpreted as the circulation of signs. In the fourth chapter, I build the modality structure in accordance with the semiotic system in the form of a technical structure. I make the modality structure from a system of representamens, interpretants, syntagms and paradigms. I build a multi-layered modality structure according to the interaction structure, as a representamen, category-specific properties of the modality substitute structure, as an interpretant, and the frame’s syntagm and paradigm system. In the fifth chapter, I divide the spatial interactive modality constructed in this way into a matrix with an action stratum and a property stratum. I present a relational structure in accordance with the characteristics and properties of each stratum, as well as action principles and diagrams. Finally, in the sixth chapter I present a literacy system of interactive spatial design using the modality and a corresponding example of the design type. By presenting a design type matrix of 3 categories of design the frame properties stratum, and I enabled the reading and writing of interactive space. The conclusions that I drew through this process are presented below in terms of cognitive usefulness value and instrumental usefulness value. First, in terms of value of cognitive usefulness value, which is the usefulness in optimizing the literacy in the interactive space in terms of communication, I presented the signification, characteristics, and modalities of information transmission for the interactive modality. First, as for the modalities of information transmission for the interactive modality, the modality has a relation-oriented structure that bridges human (user), technology (design) and world (space). Additionally, the modality is a technical medium, which extends and changes sensory modalities between space and user or between users. Moreover, it has a semiotic speech style and informatization and formulation occur on the semiotic and contextual basis of intertextuality. Second, interaction, which is related to signification and the characteristics of the modality, is semiosis, which is the action of signs. The modality has a semiotic system because it is made up of signs. Therefore, it has the properties of signs and narration, which generate signification. Next, I were able to confirm the instrumental usefulness value, insofar as the interactive space’s technical structural form was presented. I presented the technical diversification and structural form of the interactive medium’s characteristics, which can be applied to the design of the interactive space, providing a methodology for designing spaces that interaction between space and user. First, the modality has instrumental usefulness as a form for the technical structure of interactive modalities. I built the modality as a structural domain and semiotic system and structure. As a semantic domain, I investigated the generation and action of signification, and the relational structure between the properties stratum and the action stratum. Moreover, as a pragmatic domain, I presented the modality’s interactive spatial design and literacy types in an integrated matrix. Second, I constructed a semiotic system building process for literacy in interactive spaces. As a semiotic structure, it was built as a semiotic system of representment and interpretants. The structure of the interaction forms the representment, which contains the action stratum and the action properties hierarchy as its prop and variables. Moreover the sign characteristics, modality and narrativity act as interpretants. In addition, there are the syntagmatic and paradigmatic structures. There is multi-layered structure according to interstratal strength differences, a syntagmatic structure of dual implication, and a structure of the action stratum series and property stratum series. Third, the modality has the structure of a grammar system that enables reading and writing of interactive space. Based on this, I presented a space’s interactive design and literacy type in the modality’s comprehensive matrix. These were largely classified into 3 designs based on action stratum and literacy type. I classified types that support symbolic meaning activity as construction and sign-based design types, types that form sensory modality-oriented structure as medium and cross-modality-based design types, and types that comprise the category of dialectic meaning behavior as narrative and storytelling-based design were 9 classifications according to strength differences between the action strata; I presented design type and literacy methods together with design case for these. These can be used as a guideline and methodology for interactive spatial design. Although this study presents 9 types in detail by each action and property stratum, it is limited in addressing in-depth designs that each property has. This is because this study is focused on the existence, nature, working methods and semiotic literacy of modalities that operate interactive spaces,. Accordingly, more extensive and in-depth follow-up studies should be conducted that address spatial designs applying these. Moreover, design articles for each action stratum and a system of indices to measure these could be suggested as a future research task. It would be possible to develop an evaluation system for interactive spatial design based on such a system of indices. This means that it might be possible to measure designs based on semiotic literacy system of interactive spatial design addressed in this study, and to develop a design evaluation system based on the measured indices. Through this, I anticipate that it will be possible to develop methodologies of spatial design that bring out the use of more effective interactive design and broader, deeper user experience.

목차