버츄얼 싱어를 실재화하는 기술과 연출의 실천적 보고

Technology and Innovation to Bring Virtual Singers to Real Existence

원문 : https://www.jstage.jst.go.jp/article/jjsai/38/4/38_494/_article/-char/ja/

갈무리 : https://www.bilibili.com/read/cv25561694/


저자 정보

사쿠마 히로시

오사카 대학, (주) 후카이카(深化)

PIEDPIPER

(주) THINKR, (주) 후카이카(深化)

2023년 38권 4호 p. 494-501

버츄얼 싱어를 실재화하는 기술과 연출의 실천적 보고

Technology and Innovation to Bring Virtual Singers to Real Existence

1. 개요

버츄얼 빙(Virtual being)이 사회에서 구현된 예로써 언급할 수 있는 주요 사례 중 하나로 「버츄얼 싱어」가 있다. 본고에서는, 엔터테인먼트의 현장에서의 버츄얼 싱어의 프로듀스에 관한 실천적 보고를 수행한다. 버츄얼 싱어란, 3D 모델링된 아바타를 사용하여 활동하는 아티스트를 가르키며, 뮤직비디오의 제작이나 라이브의 출연 등을 아바타를 사용한 가상의 존재로서 수행한다. 동일하게 캐릭터로서의 아바타를 사용하여 동영상 투고나 스트리밍 방송을 행하는 「버츄얼 유튜버 (Vtuber)」가 젊은층을 중심으로 인기를 모으는 흐름 속에서, 같이 발전해온 아티스트로서의 하나의 활동의 방법이다.

크리에이티브 프로덕션인 THINKR에는, 다수의 버츄얼 싱어와 작곡가가 소속되어 있다. 그들에 대한 콘텐츠 프로듀스나 크리에이터의 매니지먼트를 수행하고 있는 것이 「KAMITSUBAKI STUDIO」이다. 이 스튜디오에서는, 버츄얼 싱어의 문화를 대표하는 한 사람인 카후花譜의 프로듀스를 진행했다. 카후의 YouTube에서의 동영상의 총 재생회수는 2억회를 넘어, 국내외의 열광적인 팬 커뮤니티를 형성하고 있다.

전례가 적은 버츄얼 싱어라고 하는 새로운 가능성을 개척하기 위하여 연구개발은 필수이다. 음악제작이나 매일의 연출에 관련된 프로듀스는 물론, 신형 코로나 바이러스의 영향에 의한, 현실의 회장이 없는 버츄얼 라이브를 실시하는 필연성도 생겨나, 버츄얼 싱어를 실재화하기 위해 다양한 대응을 실시해왔다. 본고에서는 이러한 버츄얼 라이브 등을 지원하는 기술과 아이디어에 관해 소개한다.

2. 버츄얼 싱어의 프로듀스

KAMITSUBAKI STUDIO를 대표하는 아티스트는 버츄얼 싱어인 카후이다. 카후는 2018년 10월 18일에 『카후#01』이라고 하는 동영상을 업로드한 시점으로부터 데뷔하였지만, 당시에는 지방에 사는 13세의 중학생이었다. 음악 어플에서 방송하고 있던 카후의 연기자(원문 : 演者)(이하, 오리진이라고 부른다)에게 음악활동에 흥미가 없는지 문의하여, 아티스트로서 데뷔할 방법을 모색하는 와중에, 학업과 생활을 양립하면서, 지방에서도 활동이 가능하고 오리진 본인이 얼굴을 드러내지 않아도 좋은 방법으로서, 버츄얼 싱어를 찾아냈다. 앞에서 언급됐듯이, 연령이나 생활, 장소를 구애받지 않고 목소리를 세상에 닿게할 수 있는 유연한 활동이 가능한 것이, 버츄얼 싱어의 강점이다.

또한, 버츄얼 싱어로서의 활동은, 현실의 아티스트와 달리, 맥락의 설계, 아바타의 디자인이나 3D 모델링, 뮤직 비디오나 라이브 등의 영상제작이 복잡하게 얽혀있다. 그렇기에, 「카후」는 한 사람의 아티스트로서 존재함과 동시에, 팀워크로 만들어지는 종합예술 프로젝트와 같은 측면도 있다.

카후가 데뷔할 당시에는, 키즈나 아이キズナアイ나 카구야 루나輝夜月 등의 3D 모델링된 아바타를 조작하여 짧은 영상을 투고하는 VTuber가 주류였으며, 그 당시에도, 애니메이션과 성우의 문맥을 내포하는 롤플레이성이 시청자들로부터 기대되고 있었다. 반면, 현재 가장 흥행하고 있는 VTuber는 스트리머처럼 생방송이나 동영상 업로드를 반복하는 V라이버가 있고, 9할 이상의 내용을 본인의 경험으로부터 연출하는 다큐멘터리성이 높은 콘텐츠가 담겨져 있다. KAMITSUBAKI STUDIO에서는, 버츄얼 빙을 활용하면서도 어디까지나 아티스트를 프로듀스하는 입장으로서, 오리진 본인의 성격이나 경험을 7할 이상 살리고, 거기에 아바타나 크리에이티브한 연출을 3할 반영하는 밸런스를 의식해서 프로듀스하고 있다.

ChatGPT 등의 대규모 언어 모델이나 이미지 생성 AI 등, 인공지능이 발전하는 가운데에서 여러 창의성이나 직업이 대체되어가고 있다고 생각하지만, 최후까지 남는 것은 감정을 자극하는 엔터테인먼트에 있다고 생각한다. 그 감정의 공유성이 높아지는 것은, 롤플레잉이 아니라, 본인의 본연같은 고유의 경험을 공유하는 다큐멘터리적 기법에 있으며, 그것을 크리에이티브한 측면에서 지탱해주는 것이 버츄얼 빙의 실천에 있어 중요한 사고 방식이다. 

여기에서는, 전술한 카후, 카후를 포함한 버츄얼 싱어 그룹인 「Virtual Witch Phenomenon (V.W.P.)」, 현실과 버츄얼의 신체 양측에서 활동하는 아이돌 그룹 「VALIS」에 대해 각각 소개한다.

2·1 카후의 프로듀스

카후는 데뷔 당시 13세의 중학생이라는 신분으로서, 퍼스트 원맨 라이브의 시점에서는 15세가 되었다. 지방 거주였던 점, 얼굴을 드러내고 활동하기에는 연령이 낮았던 점 등을 포함한 여러 요인으로부터, 본래는 음악 씬의 한 가운데에 등장할 수 없었을지도 모를 재능이었다. 그렇기에 버츄얼 싱어라고 하는 형태로서 데뷔하여 현재의 활동에 이른다. 메인 작곡가로서 젊은 세대에 소구력이 있는 칸자키 이오리カンザキイオリ를 불러들여, 카후의 대표곡 「마녀魔女」에서 이어지는 일련의 악곡을 발표하여, YouTube에 공개돼 있는 MV는 전부 밀리언 재생을 기록했다. 카후의 퍼스트 원맨 라이브 「불가해不可解」에서는, 클라우드 펀딩의 지원도 받아 라이브를 실시했고, 목표금액의 8배가 되는 4,000만엔의 지원이 모여, CAMPFIRE CROWDFUNDING AWARD 2019를 수상했다.

전술했듯이, 버츄얼 싱어의 프로듀스에는 크리에이티브와 다큐멘터리의 밸런스를 세심하게 맞추는 것이 가장 중요하다. 크리에이티브에 관하여, 카후의 아바타의 디자인은 일러스트레이터인 PALOW 씨를 기용, 애니메 문화를 답습한 디자인의 형태지만, 극단적인 비율의 체형으로 한다던지, 피부의 노출이 지나치지 않도록 주의하고 있다. 또한, 뮤직 비디오(MV)의 촬영은 카와사키 켄지川サキケンジ 씨가 담당, 실사의 영상과 캐릭터를 겹쳐서 표현하는 기법을 사용하여, 「카후가 이 거리에 있을지도 모른다」라고 하는 감각을 갖게하는 표현을 실현해왔다.

반면, 카후는 중학생 시절부터 대학생이 될 때까지, 수험 등의 시기에 활동휴지나 단기 유학 등 다큐멘터리성이 강한 「솔직한 설명」도 실시했다. 그렇기에, 팬은 부모나 자매같은 시선에서 카후의 성장을 지켜봐온 과정도 있다. 픽셔너블한 설정이나 창의성이 있으면서, 논픽션의 요소나 라이브 방송 등을 겹치는 것으로 버츄얼 싱어의 매력을 최대한으로 끌어 올리고 있다.

2·2 V.W.P.의 프로듀스

또, KAMITSUBAKI STUDIO에서는 카후 이외의 4인의 버츄얼 싱어, 리메理芽, 하루사루히春猿火, 이세계정서ヰ世界情緒, 코코幸祜들과 5인의 전뇌의 버츄얼 아티스트 그룹 V.W.P.를 프로듀스하고 있다. 카후가 데뷔하고 1년 후부터 그룹을 만드려는 아이디어가 있어서, 이세계정서나 하루사루히가 데뷔하기 얼마 전부터 구상되고 있었다. 버츄얼 싱어의 그룹을 만들 때에는, 멤버의 목소리 특징이나 음악성이 겹치지 않도록 밸런스를 잡는 것에 유의하고 있다.

카후, V.W.P. 양측 다 다큐멘터리성과 크리에이티브의 밸런스에 관해서는, 대부분이 다큐멘터리라는 인식으로 프로듀스를 진행한다. 각 라이브의 연출이나 IP 프로젝트인 「카미츠바키시 건설중神椿市建設中」 등에서는 창작의 요소가 드러나지만, 큰 라이브 연출에서의 시나리오는 기획이라고 해도, 디테일은 오리진으로부터 얻은 것을 상호작용(インタラクティブ, Interactive)으로서 반영하는 형태로 제작을 진행하고 있다. 그러한 점에서, 물론 현실의 아티스트와 다르지만, 애니메의 캐릭터가 라이브를 진행하는 연출방침 또한 아니다. 임프로비제이션(インプロビゼーション, Improvisation, 즉흥연출)이나 프리 재즈(フリージャズ, Free jazz, 즉흥연주)와 유사한 밸런스의 제작을 진행한다. 이에 대해, 구체적인 라이브의 연출방법에 관해서는 후술하기로 한다.

크리에이티브한 요소가 있는 아바타에 관해서는, 캐릭터를 제작한 다음에 연기자의 오디션을 진행하는 것이 아니라, 오리진을 우선시한다. 본인에게 어떠한 아바타나 캐릭터성이 어울리는지를 목소리나 성격을 분석하면서 검토하여, 최종적으로 판단을 진행한다. 이 과정에서, 버츄얼 싱어는 본인의 활동이 이어지는 한 크리에이티브의 병행이 필요시되기에, 필연적으로 장기운용형태의 프로젝트가 된다. 일러스트레이터에 대해서도 장기적으로 일을 진행할 수 있는 분을 고려하여 의뢰한다. 또한, 개인의 재능에 의존하여 나아가기보다, 팀의 부담이 특정한 쪽으로 몰리지 않도록 운영해갈 필요가 있다.

2·3 VALIS의 프로듀스

또한, 현재 KAMITSUBAKI STUDIO에 소속되어 있는 버츄얼 걸즈 그룹인 VALIS에 대해서는, 좀 더 특징적인 프로듀스를 진행하고 있다. VALIS는 버츄얼 아이돌로서 전술한 것과 동일한 라이브나 방송의 활동을 진행하면서, 동시에, 현실의 신체를 가진 아이돌 그룹으로서도 댄스 퍼포먼스나 가창을 진행하고 있다. 아바타와 오리진의 신체의 형태 양측으로 퍼포먼스를 수행하는 특별한 그룹이다.

VALIS의 멤버는 본래부터 오리진(현실의 신체)의 아이돌 그룹으로서 활약할 수 있는 비쥬얼과 댄스의 역량을 가지고 있다. VALIS로 활동하기 이전에 오리진으로서 활동을 진행해 보았고, 카후나 V.W.P.의 프로듀스로 쌓아올린 스튜디오의 능력을 살려, 버츄얼의 가능성도 조합함으로써, 상승효과를 기대할 수 있다고 생각하여 프로듀스를 진행했다.

실제로, 후술할 라이브의 연출 등에서, 오리진으로서의 댄스 퍼포먼스와 버츄얼한 아바타로서의 라이브 퍼포먼스가 연동되는 형태로 등장한다. 라이브 감각과 존재감을 연출할 때에 이러한 형태의 중첩은, 새로운 가능성이 존재한다. 더욱이, 버츄얼과 현실을 넘나드는 구조는, 애니메의 캐릭터와 현실의 성우의 라이브의 관계성과도 유사성이 있다. 고정된 캐릭터를 통하여 인터넷 상에서 활동하지만서도, 라이브 퍼포먼스는 본인이 수행하는 복면 아티스트 등과도 이어지는 흐름이다.

또한, 장기적인 파트너십을 맺어, 다른 VTuber와 차별화되는 방법으로써, VTuber 업계에 아직 기용되지 않은 일러스트레이터에게 의뢰하는 것을 시도하고 있다. VALIS의 캐릭터 디자인은 네코스케ねこ助 씨에게 의뢰하여, 고양이 캐릭터와 같은 아바타를 베이스로 삼고, 오리진의 라이브 의상 등을 디자인과 일치시키는 것으로 현실과 버츄얼의 연속성을 연출하고 있다.

3. 음악 라이브에서의 버츄얼 아티스트의 존재감의 연출

버츄얼 싱어 등의 버츄얼 아티스트의 존재감을 연출할 필요가 있는 현장으로써, 가장 중요한 것인 음악 라이브가 있다. 본래 버츄얼 아티스트는 아바타를 통해 활동하고 있기에, 버츄얼 라이브(인터넷에서 송출하는 라이브)나 현실 회장에서의 라이브 어느쪽도, 현실의 공간에 자유롭게 실재할 수 있는 것이 아니다. 스크린에서의 투영이나, 디스플레이에 띄우는 등의 인터페이스를 사용하는 것으로는 실재감을 느끼게 하기 어려워지는 것을 피할 수 없다.

그렇기에 버츄얼 아티스트를 정말로 실재하게 만들기 위해서는, 다양한 기술·연출의 고민이 필요하다. VOCALOID나 인터넷 문화에 친밀한, 젊은 시청자들 정도는 실재감을 느끼고 있지만, 그러한 문화에 익숙하지 않은 성인들까지 포함하여 실재를 느낄 수 있게끔 무도관 라이브(카후 3rd ONE-MAN LIVE 『불가해3(광)不可解参(狂)』) 등의 설계를 작업해 왔다.

지금까지 KAMITSUBAKI STUDIO에서는, 카후의 음악 라이브 시리즈인 『불가해』를 필두로 다양한 음악 라이브를 개최해 왔다. 여기에서는, 불가해 시리즈 라이브의 바탕에 있는 기술과 연출에 대한 고민에 대해 소개한다. 또한, 전술했던 VALIS의 라이브에 대해서는, 현실과 버츄얼의 경계를 넘어서는 것 등의, 특기해야할 연출에 대해 보고한다.

3·1 버츄얼 라이브와 존재감의 연출

버츄얼 싱어인 카후에 대해, 2019년 8월 1일에 처음으로 개최한 라이브는 카후 1st ONE-MAN Live 『불가해』이다. 도쿄·에비스에 위치한 LIQUIDROOM에서, 배경의 스크린에 투영된 영상의 연출과, 그 앞에 투영되어 등장한 카후, 이와 함께 라이브 연주를 하는 밴드를 조합하는 구성으로 개최했다. 이전에도 반투과 스크린(사막紗幕)을 활용한 버츄얼 캐릭터의 라이브는 개최됐었지만, 이 라이브에서는 배경영상과 라이브 연주를 하는 밴드, 가사의 타이포그래피와의 정합을 세심하게 다루며 제작했다. Twitter에서는 「#카후불가해」가 세계 트렌드 1위에 랭크인하고, 이 성공이 커다란 반환점이 되어, 2019년 10월 18일의 KAMITSUBAKI STUDIO의 시작으로 이어진다.

다만, 이 후에 이어지는 불가해 시리즈의 라이브 연출에 비하면, 이 시점에서는 영상이 특별히 뛰어났던 것도 아니고, 본 적 없던 기술을 채용했던 것도 아니다. 이번의 버츄얼 라이브는, CG영상을 제작하여 투영하는 형태에 가까웠고, 최초의 불가해에서 이어진 불가해2 Q1과 불가해2 Q2에서의 Unreal Engine을 통한 고도의 구현에서부터 경험이 쌓이기 시작했다.

§1 완전한 온라인 송출의 버츄얼 라이브

버츄얼 라이브의 연출에 관하여, 신형 코로나 바이러스 감염증의 상황 속에서 커다란 전환점이 있었다. 2020년 3월에 개최예정이었던, 불가해의 재연이었던 『불가해(재)不可解(再)』의 개최가 중지되어, 무관객 라이브와 전편 온라인 송출만으로 개최되었다. 그 후, 2020년 10월의 불가해2 Q1과 2021년 3월의 불가해2 Q2도 완전한 버츄얼 라이브로서 개최되었다.

본래 불가해는, 실제로 현실 공간에 있는 밴드의 라이브 연주와 어우러진 음악성의 훌륭함과 생생함으로부터, 버츄얼 싱어의 실재감을 느끼게 하였다. 그것이 온라인 송출만으로 보게되는 경우에는, Unreal Engine에서 렌더링된 영상이 기반이 되어, 디스플레이 너머의 완전한 영상작품으로 밖에 보이지 않게 된다. 실재감을 느끼게 하는 것은, 더욱 어렵게 된다. 그래서, 버츄얼 싱어인 카후를 현실 공간에 존재하게 하는 것이 아니라, 밴드 멤버를 버츄얼 공간에 존재하게 하는 영상을 목표로 구성했다. 

이러한 구성과 스테이지 세부에 대한 연출의 집념을 실현하기 위해, 버츄얼 라이브의 제작은 가상의 음악 라이브를 송출하는 범용성의 플랫폼이 아니라, 전부 오더메이드로 제작을 진행했다. 디자이너인 야마자키 히로카즈ヤマザキヒロカズ 씨와 함께, 멸망한 이세계 문명의 교회터를 테마로 하는 버츄얼 라이브 하우스 「PANDORA」를 디자인하여, 밴드 멤버가 버츄얼의 라이브 하우스에 등장하는 라이브를 온라인 송출하는 것으로, 카후의 존재감을 연출하는 것을 시도했다. 

첨언하면, PANDORA에서 개최된 카후 2nd ONE-MAN LIVE 『불가해2 Q2』는 YouTube Live에서 전편 무료 송출을 진행해, 동시 접속 시청자가 4만명, 국내외에서 누계 40만명 이상이 시청해, 「#불가해2 Q2」가 10만건을 넘는 트윗으로 Twitter 트렌드 세계 1위가 되었다.

버츄얼 라이브는 유저에 의해 시점의 이동 등이 가능한 몰입형(イマーシブ, Immersive) 라이브에도 응용가능한 형태의 라이브이며, KDDI와 KAMITSUBAKI STUDIO에서 개발중인 차세대형 3D 라이브 시청 체험 서비스 「αU Live」에서도 연구개발을 진행중에 있다.

§2 현실 회장에서의 버츄얼 라이브

Q1과 Q2의 버츄얼 라이브를 거쳐, 코로나 재난이 지속되는 어려운 사회 정세 가운데, 2021년 6월에 토요스PIT에서 카후 2nd ONE-MAN LIVE 『불가해2 REBUILDING』을 2일간에 걸쳐서 개최하였다.

불가해2 REBUILDING은 불가해2 시리즈의 완결편적으로써, 실재감을 보여주기 위해 Q1·Q2의 기술과 연출을 현실 회장에도 도입하는 것을 실행했다. Q1과 Q2는 각각 Q1:RE와 Q2:RE로서 현실 회장에서의 연출에 맞추어 재구성하여, 카메라워크를 자유롭게 조종하는 버츄얼 라이브가 아닌, 현실 회장의 라이브 특유의 영상으로써 재구성했다.

불가해2 REBUILDING은 엔드롤을 포함하면 67곡, 7시간 이상의 악곡을 피로하였고, 그 전부에 배경영상과 타이포그라피 등의 제작, 밴드에 의한 라이브 어레인지가 존재하고 있어, 종합예술로서의 버츄얼 싱어의 음악 라이브를 구현한 것이었다.

또한, 이어진 2022년 4월 15일과 16일에는 V.W.P.에 의한 음악 라이브 이벤트 『마녀집회魔女集会』와 『현상現象』을 개최하였다. 전경의 스크린에 카후 등 5명이 등장하고, 밴드용의 스테이지는 전경의 스트린 앞의 1층과 배경 디스플레이 앞의 2층에 나뉘어 설치되어, 8명의 뮤지션이 라이브 연주를 했다. 이 두 음악 라이브에의 반응을 보고, 카후와 V.W.P.의 현실 회장에서의 버츄얼 라이브의 연출에 확신을 가졌다.

이는 버츄얼 싱어 최초인 일본 무도관에서의 원맨 라이브 『불가해3 (광)不可解参(狂)』의 성공으로 이어졌다. 일본 무도관은 아레나석과 1층석, 2층석으로 배치되어 있다. 이에 대응하여, 좌석의 일부를 스테이지에 포함하는 형태로 전경에 다수의 데스플레이, 스테이지 2층에 디스플레이, 배경의 스크린, 머리 위의 스테이지 좌우에 디스플레이를 배치하는 구성을 취했다. 원래는, 버츄얼 싱어를 선명하게 볼 수 있는 좌석의 배치를 생각해보면, 좌우의 에어리어나 2층석에서의 시청은 상성이 좋지 않다. 스테이지측에도 턱을 만들고, 머리 위에도 디스플레이를 배치하는 등을 통하여 많은 좌석들에서 볼 수 있게끔 커버했다.

특기해야할 점으로써는, 스테이지 2층에는 현실의 아티스트와 콜라보레이션할 수 있는 세트를 제작하여, 타나카たなか 씨나 오모리 세이코大森靖子 씨들과 카후가 교대로 퍼포먼스를 하는 장면을 실현했다. 또한, 카후의 퍼포먼스의 배경에 실시간으로 회장의 관객이 비춰지도록 합성한 영상이, 스테이지 머리 위의 디스플레이에 투영되는 등의 기술적인 고민도 진행하였다. 회장에는 7,000명을 동원하고, Twitter에는 3만건을 넘는 투고가 있어서, Twitter 트렌드에서 일본 1위를 달성했다.

3·2 버츄얼 싱어의 라이브를 지원하는 기술

여기서부터, 현실 회장에의 버츄얼 싱어의 라이브의 미래에 관한 기술적인 포인트를 제시한다. 구체적으로는, 실시간 렌더링과 버츄얼 프로덕션을 소개한다. 실시간 렌더링은, 게임엔진인 Unity를 채용하여 실시간으로 영상의 생성과 투영을 진행하는 것으로, 후술할 VALIS 『필연적 레종 데트르必然的レゾンデートル』와 카후 『불가해3(상)』 등에 도입하고 있다. 버츄얼 프로덕션은, 무대에 있어서 배경영상과 버츄얼 싱어의 배치를 현장에서 상세하게 실시할 수 있는 기술로, 『KAMITSUBAKI FES '23』에서는 disguise(d3 Technologies)를 활용하였다. 앞으로도 이러한 기술을 도입하여 XR LIVE의 연구개발을 진행할 예정이다.

§1 실시간 렌더링

렌더링이란 3차원의 모델이나 데이터를 영상으로써 투영할 수 있게 하는 공정이며, 실시간 렌더링은 높은 계산기 능력으로 그것을 실시간으로 진행하는 것이다. 카후의 라이브에서는 라이브 제작을 담당하는 팀에 의해 독자적으로 커스터마이즈된 아바타 표현 시스템을 활용하고 있어, 그것에 Unity에 의해 작성된 HD 렌더 파이프 라인(High Definition Render Pipeline, HDRP)를 도입하여 한 층 더 정밀화되는 것을 목표로 하고 있다. HDRP는 GPU의 퍼포먼스를 최적화하여, 정밀하고 고도화된 그래픽스를 렌더링할 수 있다. 서브서피스 스캐터링(Subsurface scattering)을 포함한 고도의 셰이더(Shader), 물리적으로 가능한 빛과 음영의 표현, 시네마틱한 효과 등이 가능해진다.

이러한 연구개발을 진행하여, 다인원에 대한 실시간 렌더링의 최고봉으로써 개최된 것이 VALIS의 『필연적 레종 데트르』이다. 2023년 1월 29일과 2월 4일에 각각 「Act.1」과 「Act.2」를 개최하여, 「Act.1」에는 버츄얼 아바타, 「Act.2」에는 현실의 오리진이 등장했다. 「Act.1」과 「Act.2」 양측에 대해, 기본적인 공연 구성을 통일하여, 「Act.1」의 라이브 방송용의 송출영상을 「Act.2」의 배경영상으로서 유용하는 것으로, 시간을 초월하여 버츄얼과 현실의 융합을 목표로 했다. 실시간 렌더링으로 진행한 버츄얼 라이브 「Act.1」을 배경으로 등진 오리진 라이브 「Act.2」에서는, 본인들이 「Act.1」과 완전히 일치하는 댄스 퍼포먼스를 피로했다. 그것은, 동시에 본인들의 댄스 퍼포먼스의 탁월성의 우수함을 증명하는 것으로 이어졌다.

실시간 렌더링을 활용한 라이브로써, 더욱 연출에 힘을 들인 것이 『불가해3(상)』이다. 카후의 3rd 원맨 라이브인 『불가해3(상)』은 3월 4일에 개최되어, 전편 온라인으로 송출을 진행했다. 이것은 일본 무도관에서 진행한 『불가해3(광)』의 재구축판으로, Unity 베이스의 버츄얼 라이브이다. 버츄얼 공간에 설치된, 현실의 무도관과 동일하게 제작된 개념 무도관이라고 하는 스테이지를 무대로 삼았다. 개념 무도관 이후에 카후는 거대한 엘레베이터에 탑승하여, 높이감을 느끼게 하는 다양한 스테이지를 이동하면서 카후 등이 퍼포먼스를 진행했다. 실시간 렌더링의 기술을 통해, 현장감과 실재감을 느낄 수 있는 연출을 목표로 했다.

§2 버츄얼 프로덕션

또한, 스크린에의 투영에 관해선, 스테이지에 맞춰 만들어진 배경영상을 시트에 배치해 나가는 프로젝션 매핑(Projection Mapping)을 사용한다. 여태까지는 이 배경영상과 배치를 만들어 두어야 할 필요가 있었던 것이, 버츄얼 프로덕션의 기술을 사용하여 영상편집소프트로 조정하는 것처럼 그 현장에서 레이아웃을 잡아갈 수 있게 된 것이 가장 큰 변화이다.

버츄얼 프로덕션은, 배경영상의 공간과 실제의 스테이지와 피사체를 실시간으로 동시에 촬영하여 합성하는 영상제작 플로우를 말한다. 예를 들자면, 디스플레이나 스크린에 배경을 투영하고, 그 앞에 연기자나 피사체를 두고 촬영하는 방법이 있다. 오브젝트의 추가나 변경, 이펙트를 사용한 연출 등도 가능하여, 촬영과 편집의 시간 축소, 이제는 라이브 스테이지의 설계시간의 축소까지 가능해졌다.

우리가 사용하고 있는 것은 버츄얼 프로덕션의 기술의 일부이지만, 「【조곡】 카후X타나카 #95 「비상하는 meme飛翔するmeme」【오리지널MV】」 등에서는, 버츄얼의 무대 세트를 만들고 거기에 맞추어 카메라 워크를 진행하면 세트가 따라오는 형태의 촬영을 진행했다. 또, 2023년 3월 30·31일에 개최한 KAMITSUBAKI FES '23에서도 버츄얼 프로덕션을 도입했다. KAMITSUBAKI STUDIO에 소속된 버츄얼 싱어, 싱어송라이터부터 음악적 동위체까지 많은 아티스트들이 출연했다. 이곳에서는, 버츄얼 프로덕션과 관련된 서버와 소프트웨어가 세트로 이루어진 disguise(d3 Technologies)를 사용했다. 뷰 포인트의 설정이나 연출효과의 타이밍까지, 영상자체의 레이아웃을 현장에서 진행할 수 있어, 스테이지의 최종 퀄리티 업에 불가결한 기술이었다.

구체적으로는, 앞의 사막(紗幕)에 밝은 타이포그라피가 있으면 아티스트의 얼굴이 너무 밝아진다는 문제가 있었지만, 그 타이포그라피를 현장에서 후면으로 변경하는 것 같은 수정을 가능하게 했다. 또, 앞의 사막과 1층의 디스플레이에 캐릭터가 비춰지고 있을 때, 이것들을 일체화시키는 것과 같은, 디테일한 부분까지 일치시키지 않으면 안 되는 어려운 연출도 조정하는 것이 가능하다. 이러한 기술을 발전해 나가서, 뮤직 비디오나 그 외의 용도를 위해 Unity로 미리 제작해둔 카미츠바키시라고 하는 무대를, 세트로써 현실의 회장에도 담아내어 배경으로써 투영하는 것도 가능하게 한다. 앞으로 예정되어 있는 XR LIVE(SINKALIVE 시리즈)에서는, 카미츠바키시의 모델과 스테이지의 연동을 도모할 예정이다.

4. 음악적 동위체의 개발과 프로모션의 전략

카후를 비롯한 V.W.P. 등 버츄얼 싱어의 프로듀스를 진행하는 와중에, 유저에 의한 창작의 가능성을 넓히기 위해 태어난 것이 「음악적 동위체」이다. KAMITSUBAKI STUDIO의 버츄얼 싱어의 목소리를 학습시켜 CeVIO AI(후술)의 인공 가창 소프트웨어를 개발하여, 그것을 중심으로 전개하는 다양한 기획을 종합하여 「음악적 동위체 프로젝트」로써 진행하고 있다.

본래, KAMITSUBAKI STUDIO의 버츄얼 싱어의 테마 중 하나에는, 「노래 부르는 것을 좋아하는 오리진의 소녀들의 가능성을 가상에서 확장시킨다」라고 하는 것이 있다. 그 목적을 향해 나아가는 가운데, 인간의 목소리를 기계학습시켜 인공 가창 소프트웨어인 CeVIO AI를 제작했다. 이 소프트웨어는, 소녀들을 넘어서, 많은 유저에게 있어서, 창작의 가능성을 확장할 수 있게 하는 파트너가 될 수 있다. 후술할 유저 생성 콘텐츠(UGC : User Generated Contents)의 범위를 넓혀가는 것으로, 버츄얼 싱어로서의 V.W.P.의 인지도를 넓히는 것으로도 이어진다.

이하에서는, 음악적 동위체 프로젝트의 개요, 음성 합성 소프트웨어의 내용, 그것들의 프로모션에도 관련된 유저 생성 콘텐츠의 확산과 전략 등에 대해 서술한다.

여기서 말하는 음악적 동위체 프로젝트의 동위체란, 버츄얼 싱어 그룹인 V.W.P.에 대응하는 형태로 디자인된 합성 음성 소프트 유닛.

카후의 목소리를 좀 더 많은 사람들에게 알리기 위해, 프로모션의 관점에서 시작된 프로젝트였지만, 예상을 넘는 히트작이 수없이 많이 만들어진 것으로, 유저 생성 콘텐츠를 확산시키는 전개로 이어져, 음악적 동위체를 중심으로 하는 V.I.P가 시작되었다.

4·1 음성 합성 소프트(CeVIO AI)에 대하여

음악적 동위체는, 전술한 것과 같이 KAMITSUBAKI STUDIO의 버츄얼 싱어를 모방하여 디자인된 캐릭터 집단이며, 그 중심에는 오리진의 목소리를 학습시킨 인공 가창 소프트웨어 CeVIO AI가 있다.

CeVIO AI는 나고야 공업대학에서 개발된 딥 러닝을 채용한 음성합성기술을 바탕으로 하여, 실재의 싱어의 목소리를 학습시킨 소프트로 대사나 악보의 데이터를 입력하면, 본인같은 특징이나 가창방법을 재현한다. 피치 패턴이나 타이밍을 GUI로 지정하는 것이 가능하며, 많은 보컬로이드 음악 유저들에게 사용되고 있다.

이 학습에는 싱어의 가창 데이터 등을 제공하지만, 싱어에 따라서 여러가지 기능의 추가도 진행하고 있다. 이세계정서는 차분한 저음의 가창 방법부터 보컬로이드스러운 고음의 가창 방법까지, 다채로운 목소리의 특성을 표현해내는 가창 방법을 살려, 음악적 동위체인 세카이(星界)에게는 여러 가창 방법을 조정할 수 있는 「감정 파라미터」라고 하는 기능이 탑재되어 있다. 또, 랩 싱어인 하루사루히에 대응하는 하루(羽累)는, 보컬로이드 등의 음성 합성 소프트웨어로서는 처음으로 퀄리티가 높은 랩을 노래할 수 있는 기능이 탑재되어 있다.

전부 보컬로이드 음악의 발전과 수요를 고려하여, 오리진 본인의 가창보다는 다소 기계스러운 분위기를 남긴 음성으로 제공하고 있지만, 기술적으로는 보다 본인스럽게 개발하는 것도 가능하다. 굳이 보컬로이드스러운 분위기를 남긴 것은, 버츄얼 싱어와 그 가창 소프트의 듀엣 등이 가능하게 되는 것을 의도하고 있다.

4·2 유저 생성 콘텐츠의 확산과 전략

보컬로이드 음악에서 채용되는 음성 합성 소프트웨어에 대해서는, 이미 여러 가수의 음성이 라인업되어 있어, 오랫동안 새로운 가창용의 소프트를 발매할만한 시장의 타이밍이 없었다. 카후(可不)는 작곡가 유저층 사이에서, 이런저런 기업의 주도적인 대응을 거쳐 캐릭터성이 커뮤니티에 정착되어, 음성 합성 소프트의 본체와 더불어, 하츠네 미쿠의 굿즈가 팔리는 것과 유사한 존재감을 확립하고 있다.

KAMITSUBAKI STUDIO에 있어서 음악적 동위체의 IP를 육성하는 전략으로는, 예를 들어 2022년 7월부터 V.I.P.를 등장인물로 하는 공식 4컷 만화 「동위체 관찰 일기」를 Twitter에서 전달하고 있다. 니코니코 초회의 등의 현실 회장을 수반하는 이벤트 등에서도, 각각의 음악적 동위체의 캐릭터성을 의식할 수 있는 전개를 시도하여 UGC를 유인하고 있으며, 최근에는 캐릭터(IP)로서의 굿즈도 판매되고 있다.

5. 마치며

여기까지, 버츄얼 싱어를 실재화하기 위한 기술과 연출이라고 하는 관점에서, 엔터테인먼트의 현장에서의 아이디어와 사례를 소개했다.

버츄얼 싱어의 실재감을 시청자가 느끼게 하기 위한 프로듀스에 관하여, 오리진 본인의 성격이나 경험을 7할 살리고, 아바타나 크리에이티브의 연출을 3할 반영하여 밸런스를 취하는 것, V.W.P.와 같은 그룹에서는 멤버의 목소리 특성의 밸런스를 맞추고, 오랫동안 일할 수 있는 팀으로 부담을 분산시키는 운영을 하는 것, 아이돌 그룹 VALIS의 현실의 오리진과 버츄얼의 아바타 양방향에서 활약하는 연출을 진행하는 것 등, 다양한 아이디어와 연출을 소개했다.

음악 라이브는 실재감의 연출이 기대받는 현장이다. 밴드의 라이브 연주와 버츄얼 싱어를 현실 회장과 버츄얼 공간 양측에서 잘 어울리기 위한 연출과 기술에 관해 소개했다. 불가해 Q1:RE와 Q2:RE에서부터 무도관 라이브에까지, 디스플레이와 스크린을 복잡하게 조합한 스테이지의 구성을 진화시켜 왔다. 무도관의 스테이지 2층에 현실의 아티스트와 버츄얼 아티스트의 콜라보레이션용의 세트라던지, 카후의 퍼포먼스의 배경에 실시간으로 회장의 관객을 비쳐 합성해내는 영상의 투영 등, 다양한 고민을 소개했다. 또, 실시간 렌더링과 버츄얼 퍼포먼스 등은, 버츄얼 라이브의 연출을 보다 리얼하고 정밀하게 구현하는 것을 가능하게 하는 기술이었다.

마지막으로, KAMITSUBAKI STUDIO의 버츄얼 싱어의 목소리를 학습시킨 인공 가창 소프트웨어를 중심으로 하는 「음악적 동위체 프로젝트」에 관해 소개했다. 음성 합성 소프트는 많은 유저들에게 이용되는 것이 중요하여, UGC를 확산시키는 전략에 관해 설명하였다. 공식의 데모송을 다양하게 제작하는 것, 콘테스트 등을 개최하는 것, 음악적 동위체를 등장인물로 하는 공식만화를 공개하는 것 등에 의해, UGC의 범위를 넓혀갈 수 있다.

이상과 같이, 데뷔 이래 매일의 활동을 프로듀스하여 연출하고 있는 포인트, 음악 라이브에서 실재감을 느끼게 하기 위한 연출과 기술, 음성 합성 소프트의 개발과 UGC를 확산시키는 전략 등, 버츄얼 싱어를 중심으로 하는 중요한 토픽을 보고했다. 버츄얼 싱어는 버츄얼 빙의 사회에서의 구현의 중요한 사례이다. 대학 연구기관에서 버츄얼 빙의 연구와 개발을 하는데에 있어서, 이러한 엔터테인먼트 현장의 실천적인 지식과 견문이 힌트가 되길 바란다.

2023년 5월 22일

사쿠마 히로시 (佐久間洋司) (학생회원) 오사카 대학 대학원 기초공학연구과 박사 후기 과정, (주) 후카이카 이사회 멤버. 2025년 일본국제박람회(오사카·간사이 박람회) 오사카 파빌리온 추진위원회 디렉터 등을 맡음. 일본학술진흥회특별연구원DC1, 손 마사요시 육영재단 제2기생. 일본 오픈 이노베이션 대상, 문부과학대신상 등을 수상. 문샷(moonshot)형 연구개발사업 밀레이어·프로그램 팀 리더, 오사카부 새로운 전략 책정을 위한 지식인 간담회 어드바이져 등을 역임. 도쿄 대학 대학원 종합 문화 연구과 석사 과정을 수료. 석사(학술). 일본 SF 작가 클럽 회원. 본 학회 산업계 연계 회원, 학생편집위원장.

PIEDPIPER (주) THINKR 소속. Web3 시대의 IP 개발을 진행하는 스토리 프로토타입 컴퍼니 「(주) 후카이카」 창업자. YouTube발의 크리에이티브 레이블 KAMITSUBAKI STUDIO의 총괄 프로듀서이며, 후카이카의 창업자. 버츄얼 싱어인 카후, 리메, V.W.P., 음악적 동위체 시리즈, 카미츠바키시 건설중, SINSEKAI STUDIO의 프로듀스 등을 담당, 새로운 아티스트를 발굴하는 한편, 프로듀스를 직접 맡지 않는 소속 아티스트들의 감수 등을 실시. 「음악에서 이야기로」 이어지는 다양한 기획개발에 매일 도전하고 있다. 

카테고리
#기타

댓글 0



추천 포스트