팀 옙스(YEPS)
옙스는 2019년 프로그래밍을 함께 공부하는 것을 목표로 결성되어 지금까지 다양한 인터랙티브 미디어 작업을 해오고 있다. 2020년 <보지 않는 것, 보이지 않는 것>, <돌곶이 유령지도>, 2021년 <마을, 소원, 신당> 등의 전시를 했으며, 사회 일면의 보이지 않는 것들을 다양한 방식으로 사람들이 보고 경험할 수 있도록 작업으로 풀어내고 있다.
PWP(Pigeon Wants Peace) 작품 소개
PWP(Pigeon Wants Peace)는 가상의 협회 속 비둘기가 건강한 생태계의 일원이 되기 위해 스스로 먹이를 찾아 나서는 모험을 그린다. 관객은 물리적 인터랙션을 통해 게임 속 비둘기가 먹이와 아이템을 획득할 수 있도록 하여 서사를 이어나간다. PWP는 비둘기 먹이 금지 현수막에 쓰여진 '스스로 먹이를 찾는 비둘기가 건강한 생태계의 일원이 됩니다.'라는 글에서 출발했다. 건강한 생태계는 무엇인가? 그렇다면 인간은 건강한 생태계의 일원인가? 팀 YEPS는 비둘기가 건강한 생태계의 일원이 되고 싶을까 라는 질문을 기반으로 인터랙티브 게임을 제작했다. 관객들의 비둘기를 피하거나 몰아내는 행위가 역으로 건강한 생태계를 위해 (스스로) 먹이를 찾아 나서는 비둘기를 만드는 모순점을 통해 공생에 대한 비인간과 인간 각자의 입장을 생각해보게 한다.
사전 리서치 및 작업과정 기록
작업배경
① 키워드 설정 & 아이디어 확장
주제 아이디어 마인드맵
대표 키워드 관련 리서치
‘경계없는 호라이즌'이라는 큰 주제에 맞춰 ‘비인간', ‘경계없음', ‘도시'를 키워드로 다양한 생각들을 발산했다.
도시에 살고 있는 다양한 비인간들을 떠올리게 되었고, 그 중 대표적으로 ‘비둘기', ‘CCTV’, ‘도시'를 꼽아 리서치를 진행하며 아이디어를 발전시켜나갔다.
‘먹이를 스스로 찾아 먹는 비둘기가 건강한 생태계의 일원이 됩니다'라는 먹이금지 현수막에서 출발해,
‘과연 먹이를 스스로 찾아먹으면 건강한 생태계의 일원이 될까?’
‘인간은 그럼 건강한 생태계의 일원인가?’
‘비둘기는 건강한 생태계에 신경이나 쓸까?’
라는 질문을 던지게 되었고, 이를 중심으로 작업을 구체화시켜나갔다.
② 필드트립 : 비둘기 리서치 @ 서울역
도시에 살고 있는 비둘기의 모습을 실제로 관찰하기 위해 서울역으로 필드트립을 진행했다. 실제 비둘기가 스스로 먹이를 찾아서 먹는 모습과 그 먹이의 종류가 무엇인지, 그 모습은 주체적이어 보이는지, 어떤 환경에 놓여있는지 등을 확인해보았다.
서울역에서 발견한 비둘기 먹이금지 현수막
서울역 비둘기를 인터뷰하는 모습
③ 공간(AC-CAVE) 탐색 및 활용 방안 구상
공간이 단순한 디스플레이로서의 활용을 넘어 가상과 현실 사이의 인터렉션을 밀도있게 연결해주는 매개체로 작동하는 것을 목표로 하였다. 비둘기를 주제로 한 게임을 제작하는 데에 있어 어떠한 물리적 행위하는 것이 주제와 관련한 인터랙션으로 연결시킬 수 있을지 고민을 이어나갔다. 이에 따라 신체 트래킹, 호쿠요 센서, 적외선 센서, 동작 인식 등 다양한 방식으로 게임을 진행하는 방향을 실험해보았다.
작업과정
① 자료 수집(인간 욕망 관련 텍스트 & 이미지)
도심 속 비둘기, 행위자 연결망 이론, 비인간 등의 키워드를 중심으로 리서치를 시작하였다. 도심 속 비둘기에 대한 사건 혹은 사람들이 비둘기를 바라보는 관점이 드러나는 글을 아카이브하거나 자연을 대하는 인간의 이중적인 관점이 드러나는 사례를 찾으며 자료를 정리해나갔다.
② 게임 플로우 정리
핵심 주제 질문에서 출발한 게임 플로우를 바탕으로 구체적인 UI를 계획했다. 아이템을 도시 속 비둘기가 먹는 실제 음식과, 건강한 생태계의 일원이 될 수 있는 특수 아이템으로 나눠 비인간의 생활과 비인간에 담긴 인간의 욕망을 표현하고자 했다. 관객이 행위를 통해 비둘기의 움직임을 조종하여 일정 게이지 이상 먹이를 먹으면, 해당 먹이의 점수에 따라 특정 건생일 비둘기로 변신하게 된다.
게임 플로우
게임 UI 설계
③ 핵심 인터랙션 구현
게임을 작동하는 핵심 인터렉션인 ‘던지기', ‘발차기'를 구현하기 위해 터치 디자이너와 유니티, 아두이노를 연동했다. 호쿠요 센서는 터치 디자이너를 통해 유니티와 통신하여 관객이 콩주머니를 CAVE 벽면에 던지면, 그 위치를 인식해 비둘기가 콩주머니가 부딪힌 벽의 반대 방향으로 날아가도록 하고, 적외선 센서는 터치디자이너를 통해 아두이노와 통신하여 관객의 발이 센서를 스치면 비둘기가 앞으로 날아가도록 연결했다.
호쿠요 센서 테스트
④ 환경 제작
비둘기를 쉽게 발견할 수 있는 공간을 메인 환경으로 선정해 비둘기와 우리가 공존하는 현재의 모습을 표현하고자 했다.
초기 구상
지하철, 푸드코트, 유토피아로 이루어진 3개의 공간은 저마다 도시 속 비둘기의 이야기를 담고 있다. .총 3층으로 구성된 각각의 맵을 지나 엔딩맵으로 향하도록 구성하였고, 아래층에서 위층으로 올라갈수록 비둘기가 처한 리얼한 현실세계에서, 비둘기의 소망이 담긴,인간과 비인간이 공존하는 세계로 나아가는 서사이다. 1층의 지하철 맵에서는 비둘기가 인간의 생활 반경에 침입한다. 그래서 인간이 비둘기와 부딪히면 놀라 피하는 등 적대적인 모습을 담아내었고, 2층인 푸트코트는 비둘기가 먹기 위해 도시에서 머무르는 곳이기 때문에 식당,상가의 모습이 많이 보이는 맵 이다. 그에 맞게 인간의 음식물 위주로 먹이 아이템을 배치하였다. 마지막 3층 맵은 비둘기가 꿈꾸는 평화로운 유토피아의 세계에 다다르게 되는 설정인데, 멋진 비둘기의 초상화를 지나, 원래 비둘기가 먹던 건강한 음식들을 먹으며 나아갈 수 있도록 디자인했다.
무드보드
맵 제작
3D블렌더로 제작한 1층과 3층 맵
멋진 비둘기 제작
사이버 비둘기와 깨끗한 비둘기
3D Blender를 통해 전반적인 맵과 멋진 비둘기 제작을 끝낸 후 Unity를 통해 구체적인 설계를 진행하였다.
최종 맵 구성
⑤ 퀄리티(음악, 영상, 세부적인 인터랙션, 공간 구성)
a. 음악
몰입감을 더해줄 각 맵의 사운드와, 사용자의 행위에 반응하는 효과음들 을 선정하여 구성하였다. 실제 관객이 플레이 하는 상황에서 효과음 을 통한 빠른 피드백을 얻으며 더욱 재미있게 플레이하였다.
b. 공간 구성
c. 영상 구성
게임 세계관을 설명해줄 수 있는 영상을 제작하였다. 비둘기가 건강한 생태계의 일원이 되고자하는 선언문을 발표했다는 뉴스 영상을 컨셉으로 시나리오를 작성하였고, 그 안에는 건강한 생태계를 위함이라는 말과는 반대로 공생을 어렵게하는 상황이 담긴 사진을 함께 배치하였다. 영상에 쓰인 소스는 필드 리서치 때 수집한 사진 및 영상을 기반으로 제작되었다.
주요 실험
① 호쿠요 센서와 유니티 연동하기
a. 좌 우로 나눠서 값 인식하는 과정
호쿠요 센서를 처음 접하고 테스트를 진행 했을 때, 터치디자이너로 간단하게 값을 소거해보니 부채꼴 모양의 형태로 값이 받아지는 것을 확인할 수 있었다. 즉, 벽 면 전체에 인터랙션 되는 값을 얻어내는 것이 어려웠다.
센서 자체의 사용 설명서, 터치디자이너 소프트웨어 자체에서 제공하는 HOKUYO CHOP을 사용해서 작업을 시작했고, 데이터 받아오는 데까지는 큰 어려움이 없었지만 초기에는 호쿠요 센서가 트래킹 할 수 없는 영역이 존재했다.
b. 센서 인식 범위 늘렸던 것
케이브에서 몇 번의 테스트, 그리고 중간 발표 이후에 실질적으로 우리가 원하는 인터랙션을 만들기 위해서는 벽면 전체가 인터랙션이 가능해야했다.
터치디자이너 홈페이지 및 커뮤니티를 돌며 호쿠요를 활용해 만든 다양한 라이브러리 테스트를 진행했다. 테스트를 하다 만나게 된 하나의 호쿠요 라이브러리가 다행히 우리가 의도하고자 하는 인터랙션을 만들 수 있도록 도와줄 수 있었고, 해당 라이브러리를 우리의 작업에 맞게 변형하여 사용했다.
② 적외선 센서와 유니티 연동하기 (TD 활용)
a. 센서 테스트 -> 초음파 / 적외선 센서
b. OSC 통신 (with TD)
c. 유니티 반응 -> 비둘기 애니메이션(앞으로 날아가기/양옆으로 뛰기)
d. 센서 키트 제작
③ 유니티에서 아이템 획득 시, 먹은 아이템 프로젝션 되도록 하기
유니티 자체에서 UI로 먹은 아이템을 시각적으로 보여줄 수 있었겠지만, 3면의 광활함을 전반적으로 사용하고 싶었기 때문에 사용자와 아이템의 인터랙션 되는 것을 3면의 공간에서 분리하여 사용하기로 결정했다.
비둘기가 주로 쪼아대는 쓰레기 더미를 케이브 안에 물리적으로 구현하고, 그 위에 프로젝터의 빔을 쏘는 방식으로 진행하기로 했다.
과정
유니티에서 비둘기가 아이템을 먹는 것을 체크하기
아이템을 먹었을 때, OSC 통신을 활용해서 터치디자이너로 데이터를 전송하기 (특정 아이템을 먹었음을 체크하기)
전달받은 네트워크 데이터를 터치디자이너에서 잘 분리, 정돈하여 전달받은 데이터에 맞는 게임 아이템 터치디자이너에서 보여주기
Trouble Shooting
터치디자이너에서 유니티를 통해 ‘아이템을 먹었음’을 체크 받으면, 해당 아이템의 이름을 받아, 터치디자이너에 이미 존재하고 있는 (유니티에도 함께 존재하는) 아이템의 이름을 가진 오브젝트를 복사하여 프로젝션 되고 있는 월드에 떨어뜨려야 했다. 이 과정에서 터치디자이너 상에서도 물리적인 공간(물리법칙과 같은 것들)을 구현해야 했고, 네트워크를 통해 전달되는 데이터가 누락되는 현상들을 방지하기 위한 작업을 해야했다.
④ Touchdesigner에서 통합적으로 관리하기
기술적으로 가장 신경을 많이 쓴 부분이면서, 터치디자이너를 메인 서버로 활용해서 소프트웨어들 간의 통신을 안정적으로 운영할 수 있도록 작업했다.
각각의 소프트웨어로 데이터 전송의 필요가 있을 때, 따로 따로 그 필요에 의해서 각각 보내주는 것이 아니라, 터치디자이너를 꼭 한 번 거쳐서 데이터를 보내도록 작업했다.
한 번의 건너야 하는 공간이 생겨서 약간의 딜레이 이슈가 있을 수 있지만, 개발 경험 상 모든 데이터를 터치디자이너 안에서 관리할 수 있다는 점이 훨씬 더 이점이 크다고 생각했다.
실제로, 데이터의 송수신 오류를 잡아내는 과정에서도 터치디자이너에서만 확인하면 그 오류들이 대부분 어떻게 발생하는 것인지 확인할 수 있었기 때문에 훨씬 더 간결하게 작업을 해낼 수 있었다.
전문가 멘토링
관객이 공간에서 행하는 다양한 동작 인식의 범위와 가능성에 대한 탐색
3면 스크린 공간과 화면 안의 공간을 최대로 활용해 나타낼 수 있는 몰입의 정도 등 다양한 이야기들을 진행하며 전반적인 게임 구성 및 3면 스크린 활용 방식에 대한 멘토링을 진행하였다.
1차 멘토링 이후 보다 실감나는 인터랙션 피드백으로의 개선과 게임의 전반적인 흐름을 구체적으로 탐색 및 정비하고, 서버 간의 통신 테스트를 진행하였다.
작품 진행 과정 및 완성도에 대한 멘토링이 진행되었다.
맵 변화지점, 조명의 효과, 튜토리얼 단계 등 지난 번 멘토링과는 달리 공간 활용 외 우리의 이야기를 명확하게 전달 할 수 있도록 스크린 환경에서 표현되어야 하는 게임 요소에 대해 이야기 하였다. 공간마다 사람들과 비둘기가 인터랙션 하는 모습이 다르게 표현되는 재미 등 다양한 연출 방법을 생각 할 수 었었으며, 멘토링 이후 관객이 맵을 보았을 때 다양한 질문과 상상이 들 수 있도록 방향을 잡아나가며 제작하였다.