허니 코딩

제주도에서 개최된 The 11th International Conference on ICT Convergence.

시각장애인이 색깔을 인지할 수 있도록 패턴으로 보여주는 장치를 개발했다.

이 논문은 그 패턴의 사용성 등에 대해 정리한 논문이다.

아래는 논문 요약

Abstract—This study aims toward the development of an automatic wristwatch(ColorWatch) tactile system which may assist People with Visual Impairments (PVI) to recognize object colors in their daily life. This work identified perpetual colors in daily lives and associated them with cross-modular tactile patterns. The designed system considers the fundamentals of tactile actuation, color perception, and the intuitive learnability of humans. Achromatic and monochromatic colors as well as the tone of these for each color in two levels are considered and a one-to-one cross-modular mapping with the tactile pattern has been proposed. Furthermore, the system considers artwork as well as a variety of general-purpose object color translation. Focus group experiments indicate good recognition results and usability of tactile patterns for the tactile actuation and their color associations. Based on the proposed concept and experimental evaluation, further ColorWatch prototype and user devices for translation of color into an automatic tactile system may be developed. Index Terms—color recognition, haptic perception, intramodular association, universal design, accessibility, people with visual impairment

이충헌, & 조준동. (2020). 도의시 (圖意詩): 색채-시 (詩) 연상작용을 활용한 예술작품의 사용자 경험에 관한 연구. 한국디자인학회 학술발표대회 논문집, 168-173.

고등학교 대학교를 거치면서 온통 스페인어, 중국어, 영어, 교육학 등 문과 관련 분야만 전공했던 내가 전자전기컴퓨터공학과 석사과정으로 입학하게 되었다. 잘할 수 있을까 많이 걱정했지만 부지런하게 연구하고 실험하고 논문을 쓰다 보니 한 학기만에 논문 한 편을 완성할 수 있었다.

6월에 쓴 논문.

시각장애인들의 미술작품 감상을 돕기 위해 만든 아이디어였다.

간단히 정리하자면 미술작품을 크기에 따라 6개 혹은 9개의 영역으로 나누어 색깔과 상황을 추출하였고 그 색깔과 상황에 맞는 시를 연결해서 연상할 수 있도록 하였다. 해설작품에 설명이 돼있음에도 불구하고 이렇게 한 이유는 시각장애인들은 그 직접적인 색깔이 어떤지 들어도 이미지를 마음에 떠올릴 수 없어서(심상) 진정한 감상을 할 수 없지만 시인들은 일반인과는 다른 감수성을 가지고 이미지를 있는 그대로의 것이 아닌 미적 감각이 더해진 표현으로 재구성 해내어 의미 전달을 잘할 수 있을 것이라고 믿었기 때문이다. 내가 직접 연결하였고 이를 통해 과연 색채 연상을 이용한 것이 잘 어울리는지, 미술작품의 내용을 잘 기억하는 데에 도움이 되는지에 대하여 일반인을 대상으로 실험을 진행하였다. 결과는 아주 좋았고 이후에는 시각장애인을 대상으로 하는 실험을 진행하고 자연어 처리를 통한 미술작품 해설문 요약 및 분석, 인공지능을 통한 미술작품 그리드 나누기, 시와 연결 등을 계속할 예정이다.

아래는 내 논문 내에 있는 요약 내용 전문이다.

제목: 도의시(圖意詩), 색채-시(詩) 연상작용을 활용한 예술작품의 사용자 경험에 관한 연구

한국디자인학회 국제학술대회

Abstract

세계 보건기구 (WHO, 2010)에 따르면, 활동을 방해하는 시력 상실을 겪고 있는 시각장애인(PVI: Person with visual Impairment)은 전 세계적으로 2억 8천 8백만 명이다. 안구 질환의 위험은 나이가 들어감에 따라 증가하며 전 세계 시각장애인의 82%가 50세 이상이다. 특히 PVI들에게 예술을 감상할 수 있도록 하는 감상 보조 도구의 기술적 한계로 인해 모양, 색채 및 질감을 효과적으로 경험하기가 어렵다. 최근 3D 프린팅 및 기타 촉각 인쇄 기술의 발전을 통해 PVI는 터치를 통해 미술작품을 감상하고, 촉각 학습 도구로도 사용하고 있다. 예를 들어, 샌 디에고 미술관(San Diego Museum of Art)은 대화형 부조(relief) 인쇄를 사용하여 촉각적 탐색과 오디오 설명을 위한 공간을 제공하면서 반 고흐의 그림을 재현했다. 또한, 최근 "BlindTouch"[Quero, 2009]는 3D 프린터와 터치 인식 센서를 사용하여 5개의 명화 작품을 재생하고 관련 오디오 설명과 음향 효과를 대화식으로 제공함으로써 PVI의 예술 경험을 향상시키고 있다. 그러나 선천성 PVI와 전맹에 대한 색채 경험은 적합한 다중 감각적 이해를 기반으로 한다. 그림은 색채, 모양, 질감 및 기타 여러 요소가 감상자의 특정 감정에 영향을 주지만, 심리학, 예술 및 색채 과학의 다양한 분야에서 색채 감정 연관성 연구로 인해 색채가 강한 효과가 있는 것으로 보인다.

Kandinsky(1977)는 색채가 관찰될 때 맛, 소리, 촉각 및 냄새의 감각이 모두 경험된다고 말했다. 또한, 색채와 정신의 관계는 자극의 경우 노랑, 에너지의 경우 빨강, 무한대의 경우 파랑, 평온의 경우 초록색이라고 생각했다. 색채는 추상적 구성으로 인식된다. 그러나 현재 미술관에서 제공하는 오디오 설명으로 그림의 색채 정보를 전달하는 방법은 PVI에게 만족스러운 경험을 제공할 수 없다. 따라서 본 연구에서는 감수성이 풍부한 시인들의 표현력이 응집된 시를 명화의 색채와 연결하여 연상작용을 높여 작품 감상의 질을 높이는 것을 목표로 한다. 색채-시 매칭을 통한 색 연상 효과성에 대한 검증은 PVI대상으로 실험하는 것이 이상적이지만 미술작품과 시를 연결한 논리와 연결성이 적절한지는 그림과 시를 실제로 보면서 확인하는 것이 필요하다. 따라서 본 논문에서는 우선 정안인을 대상으로 하여 미술작품과 시를 연결하는 과제를 수행하도록 하고 이 같은 연결이 색채와 상황에 대한 인지 능력 향상에 도움이 되는지를 확인하고자 한다. 또한, 색채 탐구에 대한 내적 동기를 끌어내려는 방안으로 UX(User Experience) 핵심 요소인 게이미피케이션(Gamification)과 몰입이론(Csikzentmihalyi, 1990)을 도입한다 (임승희, 2009). 몰입을 위해서는 명확한 목표와 분명한 피드백, 도전, 기능 등이 조화를 이루어야 한다. 본 연구에서는 몰입이론을 적용하여 테스트에 사용된 작품별로 실험 연구대상자들의 몰입한 정도를 확인하고자 한다.