DOT-DOT

닷-닷(DOT-DOT) 팀 소개

닷-닷은 2022년부터 시공간에 대한 복합적인 감각을 다양한 방식으로 실험해온 2인 콜렉티브다. 실제와 가상공간 기반의 시간성을 상호작용적 매체로 시각화하는 김지연(미술원 건축과 졸업)과 시간예술인 음악을 입체적 공간과 연동하는 차민휘(음악원 음악테크놀로지과 재학)으로 구성됐다. 닷닷은 공간이 내포하고 있는 입체성과 시간성을 소재로 다양한 형태로 이를 연구-분석하여 새롭게 구성하는 작업을 하고 있다.

1/75/75/75 작품 소개

1/75는 ‘찰나’의 순간을 수치화한 값이다. AC-CAVE를 다른 시공간을 이어주는 생명체로 해석하여, 세 개의 존재가 하나의 순간으로 만나 퍼포먼스를 보여준다. ‘실제 공간에 중첩된 가상 공간의 순간’, ‘그 위에 매핑된 사운드의 순간’, 그리고 ‘공간과 사운드에 의해 생성된 제3의 비인간의 존재의 움직임의 순간’으로 세 개의 찰나들이 연결되어 균형을 이룬다.



이미지



사전 리서치 및 작업과정 기록

닷-닷은 공간 속에서 움직임이 어떤 의미를 가지는지를 실험해왔습니다. 그동안 무용으로 움직임의 의미를 찾았는데, 일상의 움직임과 공간을 연결시키는 실험을 하기로 했습니다. 움직임을 인식하려면 시간과 공간이 존재해야 하는데, 이 세 관계는 뗄래야 뗄 수 없는 관계임을 시간과 공간을 움직임에 의해 변화시키며 경험할 수 있습니다.


그리고 작업을 만든 후 공간을 찾는 방식이 아닌, AC-CAVE이기 때문에 만들어낼 수 있는 작업을 만드는 방식을 실험해보고자 했습니다.


더불어 AC-Cave에 있는 다양한 모션캡쳐 센서들을 효과적으로 공연으로 쓸 수 있는 방법을 탐구했습니다.


예술과 기술의 융합 작업을 진행할 대 기술의 이해를 제대로 해야 깊이 있고 의미 있는 융합을 할 수 있다고 생각해서 이에 집중적으로 실험하고 결과를 만들기로 했습니다. 그리고 실시간으로 작업이 반응하도록 하여 퍼포먼스 이후에 관객들도 참여하여 공간 속의 위치들을 새롭게 인식하고 공간의 왜곡을 경험할 수 있게 하고 싶었습니다.


그리고 실시간으로 가상 공간을 현실 공간에 중첩시킴으로써 공간의 가상성을 현실에서 직관적으로 감각할 수 있도록 하고 싶었습니다.

다양한 기술들의 실험

기술을 이해하는 연구를 먼저 했습니다. 다양한 기술들을 이해하기 위해서는 간단한 프로토타입들을 만들어보면서 참여와 제작, 그리고 이를 공연에 녹여내기 위한 방법을 찾아볼 수 있었습니다.

기존 작업으로 3면 프로젝션 테스트

기존에는 벽-바닥-벽을 향해 영사하는 방향으로 프로젝션을 사용했었습니다. 이와 세 면의 벽에 영사하는 방향으로는 어떻게 콘텐츠를 풀어나갈 수 있을지 실험하기 위해 기존의 화면을 새로운 환경에 영사하여 느낌과 가능성을 살펴보았습니다.

립모션과 퍼셉션 뉴런의 조합 연구 - 유니티

그리고 기술의 효과적인 쓰임을 연구하려 했기 때문에 다양한 센서들을 유니티와 연동하여 만들 수 있는 콘텐츠를 연구했습니다.

<아두이노 입력과 플레이트론, 립모션의 조합 연구>


그동안 2D 화면 안에서만 모션캡쳐를 활용하여 퍼포먼스를 만들었었습니다. 이번에는 실제 오브제를 제작하여 관객들이 직접 작업과 쉽게 상호작용할 수 있는 방법을 실험했습니다. 그러기 위해 아두이노와 연결시키는 작업을 진행했고 프로토타입 제작에서는 16개의 스위치를 연결한 오브제를 만들었습니다.


이 립모션과 스위치들은 화면의 행성과 함께 사운드를 변화시켜 관객들이 마치 연주자, 혹은 지휘자가 되어 화면 속 공간의 배치와 함께 음악의 구성도 배치할 수 있도록 만들고자 했습니다.

각각의 기술은 프로토타입을 만들어 오브젝트가 있을 때의 작품 참여도의 실험을 진행할 수 있었습니다. 


그리고 가이드 없이 관객들이 참여를 할 수 있는 방법이 없을까 고민하게 되었습니다.

키넥트 센서로 위치를 받아서 모터로 출력되는 코드 테스트


최종적으로 키넥트와 3면프로젝션, 그리고 아두이노를 사용하기로 했습니다. 센서로서 작용하는 방식에서 출력의 방향으로 아두이노의 사용 방향을 바꿨고, 쉽고 직관적으로 움직임을 볼 수 있도록 만들기 위해 노력했습니다.

배경 공간 실험

배경은 가상공간이 현실 공간과 중첩되어 현실 공간에서의  움직임에 의해 이동하고 변화하는 것을 의도했습니다. 


그래서 배경의 형태를 어떻게 만들면 좋을지 다양한 형태로 만들어 움직여봤습니다.

실험 후, 현실 공간보다 큰 공간을 만들어 움직이는 방향의 속도를 빠르게 만들어 가상공간의 이동을 극대화하여 보여주었습니다. 앞뒤로만 움직이는 것이 아닌, 모든 방향을 자유롭게 이동하며 공간의 특징을 감상할 수 있도록 만들었습니다. 


기술과 배경의 연결은 움직임에 의해 만들어지는 영역으로 구획해서 시공간의 겹침의 의미를 부여했습니다.

이때, 시각적인 공간으로 시간을 표현할 수 있는 방법을 연구했습니다. 이에 공간의 깊이감에 의해 공간이 움직인다는 사실을 활용하고, 키넥트 센서의 특징을 활용하여 몸과 팔의 위치에 의해 시간의 위치가 달라지도록 만들었습니다.


우리의 움직임도 시간과 공간이 있어야 인식되듯, 움직임에 의해 시간과 공간이 결정되는 관계를 가지도록 했습니다.

여기까지 작업한 후, 9월에 음악과 함께 쇼케이스를 진행했습니다. 음악도 기존의 음악에 움직임에 의해 변화하는 부분을 추가하여 몸의 움직임이 악기를 연주하는 것과 같다는 의미를 전달하고자 했습니다.

9월 쇼케이스

그 이후에 시간성을 담을 수 있는 테스트를 추가하여 경험이 풍부할 수 있도록 했습니다.


실험영상(공연 배경 일부)

공간 또한 9월 쇼케이스에서 동굴을 만들었던 것과 달리 기하학적인 건물의 형상을 만들어 보다 공간의 그리드성을 강조하였습니다.

축의 변환 기계의 제작

이런 간단한 기계의 움직임으로 비를 가상으로 보여주는 작업처럼 기계를 만들어 공간의 직선 축과 기계의 회전축을 연결하는 작업을 만들기로 했습니다.


그리하여 이런 모양의 기게를 만들었습니다. 3D 프린터와 로봇팔에서 영감을 받아, 아래 반원의 좌표계와 위 반원의 좌표계의 중심이 한 점에서 만나도록 하고, 이 좌표계의 방향이 두 사람의 움직임 직선 축에 의해 조절이 되도록 설계했습니다.

최종 모양

④ 소리에 의한 입체 공간의 매핑

가상성은 시각적인 것 뿐만 아니라 청각적으로도 매핑이 가능하다고 생각해 입체 사운드를 사용하였습니다. 9월 프로토타입을 만들 때까지는 2채널로 좌우 패닝에 의한 입체성을 강조했고, 마지막에는 기존 입체 사운드를 공간에 매핑할 때 네 꼭짓점에 놓는 방식과 다르게 커진 가상 공간에 맞춰 스피커를 네 면에 배치하여 4채널로 관객들로 하여금 가상공간의 크기를 더 크게 경험할 수 있도록 했습니다.

이 배치는 포스터에 반영하였습니다. 존재하는 네 꼭짓점에 의해 하나의 가상 공간이 만들어지는 착시효과를 모티프로 구성하였습니다.


무엇보다 환경에 적합한 기술과 스토리의 구현을 위한 환경설정이 중요했습니다.

3면 프로젝션 매핑에 적합한 카메라 설정

꺾여 있는 벽에 평면의 화면을 송출했을 때 기둥들이 휘어지는 현상이 있었습니다. 화면의 왜곡을 최소화할 수 있는방법을 연구했지만 이는 더 실험이 필요해 보입니다. 한 번은 유니티에 세 대의 카메라를 90도 꺾이게 배치하여 각각의 화면을 각 벽에 송출하게 해봤고 한 번은 길게 카메라를 촬영하게 만들어 송출했습니다. 각자의 화면에는 각자의 장단점이 있어 무엇을 표현하고자 하는지에 따라 다르게 설정하면 되어 보였습니다.

카메라 1대 설정

카메라 3대 설정

센서와 사운드와 비주얼을 동시에 보여주기 위한 데이터 변환 테스트

공간의 제약이 있어 선을 길게 빼는 것보다 무선 통신을 이용하기로 했습니다. 그리고 이동하는 데이터가 많아 한 컴퓨터에서 모두 처리하는 것이 아니라 각자 컴퓨터가 각자의 데이터를 처리할 수 있도록 만들고자 했습니다.

시간과 공간의 연결을 보여줄 수 있는 방법 연구

처음에는 배경 자체에 시간의 흐름을 보여주는 방향으로 생각을 했었는데, 이후에는 팔의 움직임에 의해 같은 공간의 시간의 흐름의 변화를 보여주는 방향으로 수정했습니다. 통제 변인과 실험 변인에 대해 생각을 하며 이번에는 보다 적극적으로 팔을 움직이며 시간의 흐름에 개입하도록 했습니다. 보다 시적으로 같은 주제를 보여줄 수 있는 방법에 대한 가능성도 함께 살펴볼 수 있었습니다.


 또한 입체 사운드를 배치하여 비주얼과 함께 시간의 흐름을 느낄 수 있는 소리에 의해 공간의 이동을 함께 보여주어, 비주얼적인 방향과 청각적인 방향, 두 가지 방향으로 시간과 공간을 연결하는 실험을 진행했습니다.

1차 멘토링 : Nsyme(엔자임) 작가님

‘오디오 비주얼’ 형태의 작업을 처음 진행하기 때문에, 결과물의 형태와 과정에 관해 질문드렸습니다.


오디오 비주얼에도 작업 방향에 정해진 답은 없다는 것을 배웠습니다. 비주얼을 만들 때 화려하고 다양한 효과를 계속 만들어서 붙이는 것보다 같은 조건에서 다양한 변주를 할 수 있도록 만드는 것에 힘쓸 때 공연이 보여주는 주제를 더 잘 보여줄 수 있을 것 같다는 말씀이 인상적이었습니다. 

2차 멘토링 : 남기륭 작가님

여러 대의 컴퓨터에 여러 방식의 데이터 통신을 해야했기 때문에 이에 대한 사항을 점검받고 추가로 유니티의 Universal Render Pipeline(URP)에 대해 익혔습니다. URP를 적용한 후의 비주얼 효과는, 기존에는 게임의 화면을 구성하는 느낌이었다면, 적용한 후에는 연극의 세트장에서 조명을 조절하는 듯한 느낌을 받았습니다. 이번 프로젝트에서는 깊이 있게 실험하지 못했지만 유니티로 송출하는 영상의 빛을 실험할 수 있는 가능성을 보았습니다.

3차 멘토링 : 김준수 작가님

마지막 축변환 기계를 만들 때 큰 도움을 주셨습니다. 실제로 모터로 작동하는 기계를 만드는 것은 처음이었기에 차근차근 디자인하는 방법부터 설명을 해주셨습니다. 부품간의 연결부위와 모터의 설치 위치 등, 기술적인 힘의 흐름과 함께 설명을 해주셔서 금방 이해할 수 있었습니다. 


아낌없이 기계의 입문자에게 가르침을 주셔서 감사합니다.

그리고 융합예술센터에서 마지막까지 3D 프린터와 공구 등을 사용하게 해주시고 함께 고민 해주신 덕분에 마지막에 결국 성공시켜 공연에 선보일 수 있었습니다. 작은 요소요소들의 실패를 거듭하며 실험하여 성공시킬 수 있었고 마지막에 가장 효율적인 연결방법을 찾아내었습니다.


퍼포먼스라는 예술의 형태로 마지막에 선보이지만 중간 과정의 고민들을 기술적인 테스팅과 연구를 주로 진행할 수 있임에 새로운 경험이었고 만족스럽게 실험할 수 있었습니다.





최종 작업 영상