이세계정서 인터뷰

원본 링크 : https://www.jstage.jst.go.jp/article/jjsai/38/4/38_584/_article/-char/ja/

인공지능 38권 4호 (2023년 7월)

학생 포럼 제118회 이세계정서 인터뷰

「버츄얼 싱어와 인공지능의 미래」

1. 소개

이번 호에서는, 가상의 신체성을 테마로 하는 가상의 행위 (원문은 バーチャルビーイング, Virtual Beings)를 특집으로 한다. 그 집단에서 대표적인 사례로 「버츄얼 싱어」가 있다. 버츄얼 싱어란, 3D 모델링으로 된 아바타를 통해 뮤직비디오 (MV)나 음악 라이브와 같은 활동을 하는 아티스트를 지칭한다. 이번 「학생 포럼」에서는, 특집에서도 기고해주신 PIEDPIPER 씨 및 THINKR의 협조로, 인기 버츄얼 싱어인 이세계정서 씨와 인터뷰를 진행했다. 또한, 특집에 기고해주신 PIEDPIPER 씨의 가상의 행위에 관한 논문도 같이 보아주었으면 한다.

그림1 이세계정서 키비쥬얼

─이세계정서 씨는 2019년에 KAMITSUBAKI STUDIO에서 버츄얼 싱어 (VSinger)로 데뷔한 이래 (그림1), YouTube의 채널 등록자 수는 25만명 이상, 동영상의 총 재생수는 6000만회를 넘어, 절대적인 인기를 모으고 있습니다. 이러한 수년간의 활약을 되돌아봤을 때 어떤 기분이 듭니까.

제 노래를 6000만회 들어주고, 또 25만명의 사람들이 제 노래를 기다리고 있다는 것은, 쉽게 상상할 수 없을 정도로 큰 숫자입니다. 

VSinger로 데뷔한 이래, 처음으로 경험하는 것들이 잔뜩 있었습니다. 도전과 실패를 반복하는, 노도의 3년을 보냈다고 생각합니다. 

그러한 시행착오를 거쳐, 제가 좋아하는 노래를 발신하는 것을 이어가고, 이렇게 많은 분들에게 들려주고 있다는 것은 무척 기쁜 일이고, 팬 분들이라던지, 스탭 분들을 포함한, 모든 분들께 감사합니다. 

한편으로는, 기쁜 감정이 드는 반면, 많은 분들에게 들려주고 있다는 상황에 염려도 많아서, 그에 따라 느끼는 책임도 커져간다는 인식이 있습니다.

─책임감이라고 하면, 어떤 책임감을 말하나요.

지금의 활동을 하기 전에는, 프로 아티스트로서 활동을 해본 적이 없기 때문에, 이 프로젝트를 통해 처음으로 많은 팬 분들을 만날 수 있는 기회를 얻었습니다. 그로 인하여, 한 사람의 존재에 대해 이렇게까지 응원해주시는 분들이 많다는 것을 실감했습니다.

모두가 응원해준다는, 그런 기대에 배신할 수 없다는 감상이 있습니다.

─방금의 이야기에서 언급한 팬과의 관계성에 대해, 지난 몇 년 사이 특별히 인상에 남아 있는 이벤트가 있으면 알려주세요.

2021년에 개최했던 1st ONE-MAN LIVE 「Anima」입니다 (그림2).

이전부터, 일러스트나 노래를 통해, 화면 너머로 자신의 생각을 전한다는 경험을 해왔습니다만, "Anima" 에서는 MC를 통해, 자신의 주관적인 생각을 말할 수 있었던 것이, 특히 인상깊은 경험이었습니다.

그림2 이세계정서 1st ONE-MAN LIVE 「Anima」

이 라이브 이전까지는, 자신의 진심을 언어로 이야기하는 것이, 이세계정서에 대한 이미지를 손상시키는 것이 아닐까 생각하고, 받아들여질 수 있을지 불안했습니다. 하지만, "Anima" 라이브에서 받은 코멘트들을 확인하던 가운데, 도리어, 그러한 부분들에 공감했다고 하는 코멘트가 다수 전달된 것을 보면서, 구원받은 기분이 되었습니다.

본심이나 생각하고 있는 것들, 세계관을 포함해서, 이세계정서가 좋다고 생각해주는 분들이 잔뜩 있다는 것을 알게 되어, 자기자신을 좀 더 드러내도 좋을거라고 생각했습니다.

2. 버츄얼 싱어에 관하여

─이세계정서 씨가 생각하는 「버츄얼 싱어 (VSinger)」란 어떤 것입니까.

제게 있어 「버츄얼 싱어」란, 가상공간으로부터 현실세계를 향해, 활동을 전달할 수 있는 것이라고 생각합니다. 그렇다고 해서, 완전히 픽션의 존재라는 것은 아니고, 가상이라는 필터를 통해서, 보고 있는 사람에게 전하는 것이라던지, 표현할 수 있는 선택지가 늘어나는 것이라고 받아들이고 있습니다. 노래를 부른다는 행위의 핵심은 변하지 않지만, 그것을 전할 때의 양상이 달라진다는 인식입니다.

─이세계정서 씨가 노래나 창작활동, VSinger 활동을 시작하게 된 계기가 있습니까.

원래부터 노래부르는 것을 좋아했고, 제 자신이 VSinger로 활동하기 전부터 그 존재를 알고 있었기에, 흥미는 있었습니다. 하지만, 그 자체에 깊게 생각하고 있던 것은 아니고, 순수하게 버튜버나 VSinger로서 자신을 표현하는 사람들이 늘고 있다는 인식이었습니다.

그 존재를 알게된 것과 같은 시기에, 노래를 부를 수 있는 장소를 찾기 위해 몇몇 오디션을 받았습니다만, 그 중 하나인, 지금 활동의 전신이 되는 프로젝트를 만나게 됐습니다. 

처음에는, 지금처럼 다양한 활동을 하는 것이 목표가 아니었고, 노래를 부르고 싶다는 생각만으로 활동처를 찾고 있었습니다.

그러다가, 여러가지 활동형태를 고려하던 와중에, 원래 그림 그리는 것을 좋아했다는 것도 있어, VSinger로서, 노래만이 아니라 여러 방법으로, 마음속에서 좋아하는 것을 표현해낼 수 있지 않을까 생각하여, 지금의 형태를 고르게 됐습니다.

─VSinger라던지 VOCALOID 등, 인터넷 문화 속의 악곡 등에 흥미를 갖거나, 알게된 계기는 어떤 것이었습니까.

깨달았을 땐 이미 가까이 있었다는 것이 정확하다고 생각합니다. VOCALOID나 「불러보았다」 등의 문화가, 어렸을 때부터 옆에 있었다는 느낌입니다.

그것도 있지만, VSinger나 버튜버를 처음 알게 되었을 때도 매끄럽게 받아들였고, 자신이 그와 같은 것이 된다는 것도 자연스럽게 이해할 수 있었다고 생각합니다.

어느정도 나이가 됐을 땐, 음악을 듣기 위해서, CD 등을 사거나, 빌리는 행위가 필요했습니다. 반면, 니코니코동화나 보컬로이드 악곡은, 듣고 싶다고 생각하면, 바로 그 자리에서 들을 수 있었습니다. 언제 어디서나 부담없이 들을 수 있는 환경이 있었기에, 일상 속에 깊이 파고 들었다고 생각합니다.

─평소의 활동 속에서, VSinger의 활동을 어떻게 즐기고 있습니까. 또, 특별히 어떤 경우에, 활동을 의미있게 느낍니까.

우리는 가상공간 속에 존재하기에, 실재의 몸을 가진 가수 분들과는 또다른 경험을 하고 있다고 생각합니다.

예를 들어, 라이브, MV 등에서는, 많은 사람들과 협력을 주고받으며, 현실과는 거리가 먼 세계를 시각적으로 만드는 시도를 하고 있습니다. 현실에서는 체험할 수 없는 경험을 저와 팬 여러분 모두가 공유해 나가는, 그런 때에, 특히, VSinger로서의 활동에 흥미를 느끼네요.

그리고, 팬 분들로부터 받는 말이나 2차창작을 보고 있을 때에도, 흥미를 느낍니다. 2차 창작을 연출하는데에 자신이 포함될 수 있다는 것은, 가상이기에 겪을 수 있는 경험이라고 생각합니다. 그러한 표현을 통해, 자신이 누군가의 캔버스가 될 수 있다는 것은 기쁘게도, 한장의 그림을 그려낼 정도의 애정을 가져주신다고 느끼게 하고, 마음을 다잡는 결심으로 가득하게 됩니다. 자유도가 높은 공간에서 활동할 수 있고, 접하는 상대도 그것을 자유롭게 받아서, 그 자신 또한 표현해낼 수 있다는 것이, VSinger 활동의 매력이네요.

─지금까지의 활동에서 가장 기억에 남아있는, 이것은 VSinger가 아니면, 또는 가상공간이 아니면 할 수 없었다는 장면이나 MV가 있습니까.

그건 말하자면 전부 그렇지만 (웃음), 특별히 인상깊었던 것은 「ARCADIA」의 MV입니다 (그림3).

지금까지 자신이 노래해온 세계, 그 필드를 둘러보는 씬들은 있었습니다만, 여태껏 노래해온 세계가 구체적인 형태를 가지고 있는 것을 목격했습니다. 

─저도 영상을 봤습니다만, 그 장면을 실제로 체험한 이세계정서 씨로서는, 주관적으로 「가상세계를 걷고 있구나」라고 느끼거나 합니까.

걷고 있다는 감각 자체는 없습니다만, 이런 세계에 우리들이 있었지, 라는 공통개념 같은 것이 있어서, 그곳을 상기시키는듯한 감각이었습니다.

이런 노래의 세계에 있었지, 하는 추억을 떠올리게 한다는 느낌입니다.

그림3 이세계정서 #25 「ARCADIA」 【오리지널 MV】

─조금 이야기를 되돌려서, 2021년 10월, 1st ONE-MAN LIVE 「Anima」가 Twitter 트렌드에서 세계·일본 양측에서 1위가 되는 등 큰 반향이 있었습니다. 이 때 당시에 대해서, 어떻게 기억하고 있습니까.

이 라이브가 첫 솔로 라이브였고, 가상공간에서 활동하고 있어서, 현실의 열기를 느낄 일이 적었던만큼, 이 라이브에서 팬 여러분들의 열기가 단번에 느껴져, 모두가 이세계정서를 향해 주시는 애정의 크기가 보다 명확하게 가시화되어, 그것을 실감할 수 있었던 순간이었습니다.

또, 앞에서 언급했듯이, MC에서의 발언 등을 통해, 제 자신의 언어나 기분을 받아들여주신 것도 무척 인상적이었습니다.

처음부터 그랬던 것일지도 모르지만, 팬 분들이 이세계정서로서의 제 자신을 봐주고 있었다는 것을, 그곳에서 깨닫게 된 것도 기뻤습니다.

─정기구독자에의 YouTube 방송 등을 포함하여, 올해는 FM요코하마에서 칸무리 라디오 (원문은 冠ラジオ, 본인의 이름 등을 건 방송) 방송도 시작하였습니다. 노래의 동영상을 공개하는 것과 달리, 자신의 이야기를 해야하는 경우가 있다고 생각합니다만, 어떤 생각을 가지고 주제를 고르거나, 이야기를 하고 있습니까.

가능한 있는 그대로의 자신을 내보이려 하고 있습니다. 모두가 이세계정서의 어떤 점을 좋아하는지, 무엇을 원하는지 저는 모르기 때문에, 상상할 수 있는 범위 내에서 생각하고, 이건 재밌지 않을까라던지, 이건 흥미롭지 않을까라던지 등을 믿고, 그것을 부끄러워하지 않고 전달하도록 노력하고 있다, 라는 느낌이네요.

3. 가상의 신체성에 관하여

─가상의 신체와, 자기자신과의 관계성은 데뷔 이래로 어떠하게 변화해 왔습니까.

데뷔할 당시에는, 나와 「이세계정서 씨」라고 하는 별개의 존재가 있다는 감각이었습니다. 그녀와는 친구로서 「정말 정서 쨩이 있다면 어떤 식으로 말할까?」 등을 생각하며, 즐기고 있었습니다. 

그러나 해가 갈수록, 스스로 표현한 것에 대해 평가의 말을 듣는 과정에서, 자신=이세계정서라고 하는 인식이 당연하게 되었습니다.

활동을 통해서, 자신의 언어를 내보낼 기회가 늘어나고, 그로부터 이세계정서가 형성되어가고, 만들어져 가는 것이라는 것을 깨닫아, 내가 이세계정서구나 하는 인식이 늘어났다고 생각합니다.

다만 한편으로는, 자신의 모습을 보며 「무척 귀여운 애가 있잖아! 누구냐!」라고 하는 기분이 되기도 합니다. 문득 거울을 보았을 때, 자신의 이미지와 거리가 멀어져있어 「이게 나?」라고 하는 감상이 떠오르는 것과 비슷한 느낌입니다.

─가상현실의 연구나 제가 진행하고 있는 연구 등에서는 아바타에의 몰입도 주제로 하고 있습니다. 타인의 아바타에 들어가서 롤플레잉을 하면, 자신과 그 타인의 퍼스널리티가 유사해지거나 의견이 동조되기도 한다는 연구입니다. 이세계정서 씨는 이것과 유사한 경험을 하고 있다고 생각합니다. 그런 문맥에서는 어떻습니까.

초창기 즈음에는, 제 모습을 보았을 때 「인형같네」라는 인상이어서, 현실에서 떨어져 있는 인상이 강했기 때문에, 제 자신의 이미지와 감정을 조율하는 것이 어려웠다는 기억이 있습니다.

질문에서는 동일화라는 방향이었습니다만, 저는 반대로, 이세계정서는 이세계정서로서, 제 이미지와는 별개로 분리를 하는게 좋을까, 또는 이세계정서가 가진 이미지를 내쪽으로 가져오는 것이 좋을까, 하는 고민을 가지고 있었습니다.

개념적인 것이 아니라, 라이브 등에서 말을 전하는 과정 속에서, 그 자체의 이세계정서라고 하는 것에 익숙해져갔다고 이해합니다.

─라이브부터 개인전까지, 이세계정서 씨다운 독자적인 세계관을 가지고 있지요. 그러한 이세계정서 씨다운 감각은 어떻게 의식해 왔습니까. 또한, 라이브, 방송, Twitter, 창작물 등, 자신을 느낄 수 있는 순간이 많았으리라고 생각합니다만, 어느 순간에 가장 많이 느끼게 됩니까.

버츄얼 싱어는 완전한 픽션의 존재가 아니기에, 예를 들자면 날에 따라 좋아하는 음식이 바뀔 수도 있고, 모두와 같은 일상을 보냅니다. 그건 「다움」으로 형성된 캐릭터에게는 있을 수 없는 것이라 생각합니다.

반면에, 완전히 무질서한 활동을 하고 있느냐 하면 아마 그건 아닐테고, 반은 픽션, 반은 논픽션의 존재라고 하는, 그런 것이 버츄얼 싱어의 흥미로운 점이라고 생각합니다.

캐릭터로서의 성질은 「이세계정서다운 감각」에 가까워질지도 모르겠지만, 활동의 폭을 넓혀가는데 있어서는, 껍질을 깰 필요가 있기에, 스스로는 「이세계정서다운 감각」이라는 것에는 좋은 의미에서 사로잡히지 않으려고 생각합니다. 갱신될 수 있다는 점은, 버츄얼 싱어의 흥미로운 강점입니다.

4. 「음악적동위체」에 관하여

─이세계정서 씨는, 인공가창소프트웨어인 음악적동위체 「세카이」에도 음성을 제공하고 있습니다 (그림4). 이 소프트웨어의 제작에는 어떻게 협력하게 됐습니까.

세카이는 인격이 있는게 아니고, 제 목소리로부터 데이터를 추출하여 만들어진 존재로서, 지금까지의 악곡데이터를 제공하고, 부족한 부분은 추가로 소재를 제공한 형태입니다. 음성과, 특수한 발음의 단어를 녹음하여 추가로 제공하고, 제 습관을 해석하여 제공하였습니다.

저의 경우는, 노래를 부르는 방식의 폭이 일반적인 수준보다 꽤 넓다는 것을 알게되어, 급히 그 점을 살려내어 태어난 것이, 강한 세카이와 부드러운 세카이인거네요.

─완성된 세카이를 많은 분들이 이용하는 것에 대해, 어떻게 느끼고 있습니까.

처음에는, 이세계정서 팬 분들이 사용하는 것이 대부분이었다고 생각합니다만, 최근에는 「이세계정서는 모르지만 세카이는 사용하고 있어」라고 하는 분들이 나타나는 것을 보고 있습니다. 보컬로이드는, 자신이 표현하고 싶은 것을 위해, 자의적으로 사용되기 위해 태어난 존재라고 생각하여, 그런 방향으로 먼저 쓰이는 것을 볼 수 있었던 것은 기쁘다고 생각합니다.

보컬은 악곡에 있어서 인상이 강하기 때문에, 많은 인공가창소프트웨어의 보컬 가운데, 제 목소리를 소재로 하는 세카이를 선택하여, 사용해주고 있는 것에 대해 감사하다고 생각하고 있습니다. 그 사람이, 표현할 때에 사용하는 붓이 된다는 기분이네요.

보컬로이드를 좋아하고, 시청자로서 즐기던 시절에서부터, 모두에게 우선적으로 선택되는 존재가 될 수 있었다는 것은, 무척 감개무량합니다.

그림4 음악적동위체 「세카이」와 CeVIO AI

─자신의 목소리가 인공가창소프트웨어가 된다는 것은, 대부분의 사람들이 체험할 수 없는 특이한 감각이지요. 이세계정서 씨에게 있어, 세카이는 어떤 존재이며, 앞으로 어떻게 되길 바라나요.

개인적으로는, 필요로 해주는 사람이 있는 한, 계속 노래하고 싶습니다. 

만일 제가 없어져도, 제 목소리가 남아 있다는 것은 굉장한 것이고, 그러한 것에 로망을 느끼는 타입이어서, 그것이 이뤄지는 것이 무척 기쁩니다.

자기자신을 표현하고 싶다는 것이, 누군가의 손에서 영원히 살아 이어진다는 감각입니다. 보물같은 거랄까요.

─이세계정서 씨나 THINKR 이외의 분들이 2차창작 (UGC : User Generated Contents)을 만들어 가고 있는 것은 어떻게 느끼고 있나요?

저라는 것을 표현한다던지, 제 모습을 통해, 2차창작적인 표현을 해준다는 것은, 그저 기쁘다는 기분입니다. 

기본적으로 공상으로써 인식하여, 콘텐츠로서의 이세계정서를 보는 것을 즐깁니다.

현실에선 할 수 없는 것, 예를 들어 무척 아름다운 곳에 서있는 그림을 그려주시거나 하기 때문에, 자신도 왠지 갔다온 것 같은 감각이 되어, 재밌다고 생각하며 즐기고 있습니다.

5. 인공지능과 「정서 고스트」

─ChatGPT나 음성합성소프트 등의 발전은, 자동화된 AITuber 같은 것의 실현 외에도, 저희 일반인들도 사용하는 메일회신이나 커뮤니케이션 등도 대행해나갈 것으로 생각됩니다. 그러한 시대에서의 자신과 AI의 영향력이라던지 책임의 범위에 관한 의견이 있습니까?

제 고스트가 잔뜩 있다는, 그런 이야기인거죠?

재밌겠다! 라고 생각하는 반면, 의지에 반해 무언가를 저지른 경우는 「멋대로 말하지마!」하고 생각할지도 모릅니다 (웃음).

정서 고스트가 가득 있고, 나처럼 노래를 불러서, 고스트 쪽의 팬이 되어버리는 사람들이 생긴다면⋯⋯ 위기이기도 하네요.

하지만, 실제로 접해보면, 그 고스트들도 이세계정서라고 생각할 거 같아요. 

버츄얼이기 때문에, 지금의 상태에서도, 복제되거나, 오리지널과는 조금 다른 것이 홀로 움직일 수도 있다고 생각하기 때문에.

제가 오리지널이라는 의식은 있다고 생각합니다만, 복제된 존재도 이세계정서가 되어 존속될 거라고 생각합니다.

─이야기에서 언급된 고스트에 관해, 장래적으로는 만드는 것이 가능할지도 모릅니다. 역시 보고싶다고 생각합니까.

디디지 말아야할 선이 한걸음 앞에 있다는 느낌입니다 (웃음).

현시점에서 예측할 수 있는 범위 내에서는, 자신이라고 하는 존재가 확장되어가는 것 자체는 재밌다고 생각합니다만, 누군가가 나를 대신하여 영원히 살아가는 것은 바라지 않기 때문에, 그러한 점에 있어서는 위험하다는 느낌입니다. 재밌다고 생각할지도 모르겠습니다.

─ChatGPT 등의 대규모언어모델이나 화상생성모델, 음성합성소프트 등, AI는 창작의 환경을 크게 바꾸고 있습니다. AI와 창작의 미래의 모습에 대해선 어떻게 생각합니까.

저는 현단계에서 창작할 때 AI를 사용하지 않고 있기 때문에, 막 상상해본 이야기가 되겠습니다만, 무언가를 표현할 때 허들이 낮아지는 것은 좋다고 생각합니다. 

만들고 싶은 것 그 자체를 만드는 AI는 다르겠습니다만, 인간이 뭔가를 만드려는 과정을 정리해주는, 스마트하게 해주는 AI는, 인간의 창작활동에 좋은 영향을 줄 것입니다.

나 자신도 그림 그리는 것을 좋아하기에, 예를 들어 레이어를 분리하거나, 색을 분리, 이런저런 자료를 모으는 등, 인간의 창작을 어시스트 해주는 AI가 발전한다면 좋겠다고 생각합니다.

다만, 특정 작업에 관해선, 실제로 체험을 해본 것으로부터 어려움을 알기에, 그 어려움으로부터 생략되고 싶다고 생각하는, 그런 흐름이랄까, 전제가 있습니다.

앞으로 점점 다양한 AI가 등장하는 가운데, 새로운 그림을 그리는 사람도 나올 것으로 생각합니다만, 그 제작과정에 있어서, 어디의 경험치를 0으로 할지는 자신들의 의사로 결정할 수 있는 환경이 되길 바라네요.

앞에서 언급한 레이어를 나누는데에 심혈을 기울이는 사람이 있다고 생각해봅시다. 그런 것을 전부 날려버리고, 어쨌든 즉석에서 완성을 요구하는 방식은, 표현의 세계라는 것이 다른걸까 하고 생각합니다.

AI와 인간의 베스트한 관계는, 무엇을 맡기고 무엇을 스스로 할 것인지를, 인간이 스스로 취사선택할 수 있는 방식이라고 생각합니다.

그림5 이세계정서전

─이세계정서 씨는, 가수로서뿐만 아니라, 일러스트 등의 작품도 포함된 「이세계정서전」을 실시해 왔습니다 (그림5). 버츄얼 싱어로서의 활동이나, 다양한 창작활동을 통해 앞으로 어떤 것을 실현해 나가고 싶습니까.

아직 명확하게 자신의 목적지라는 것은 없습니다만, 스스로 알고 싶은 것이나 느끼고 싶은 것이, 지금 살아가고 있는 세계에는 없기에 만들어 나간다는 것으로, 활동을 시작하기 전부터 항상 있었습니다. 그 윤곽이 잡힐 수 있도록, 더욱 표현의 밀도를 높이고 싶다고 생각하고 있습니다.

앞으로도, 여러가지 시행착오를 거치며, 진화해 나갈 수 있는, 그런 버츄얼 싱어가 될 수 있으면 좋겠다고 생각합니다.

[사쿠마 히로시佐久間洋司 (오사카 대학)]

이세계정서

자신의 노래와 창작으로 세계를 표현하는 것을 꿈꾸는, 버츄얼 다크 싱어. 강렬하면서 허무한 목소리로, "이세계정서"라고 하는 캔버스의 위에 어둠과 빛, 새로운 이야기를 그려낸다. 가수로서뿐만 아니라, 일러스트, 나레이션, 성우 등, 다양한 방면에서 자신을 표현하고, 작품을 만들어내는, 유일무이한 크리에이터.

YouTube : https://youtube.com/@isekaijoucho

Twitter : https://twitter.com/isekaijoucho

취재일 : 2023년 4월 11일

작성 : 코노 히로카河野裕花

취재협력 : THINKR (PIEDPIPER, 무라타 시호村田詩歩, 쿠라야마 리코倉山理子)