[GSCT 콜로키움] 6.8 (화) | 김호 (더랩에이치 대표)
[GSCT 콜로키움] 6.1 (화) | 김영욱 (Hello AI CEO)
[GSCT 콜로키움] 5.25 (화) | Georgios Toubekis (Researcher at Fraunhofer-Institute for Applied Information Technology)
[GSCT 콜로키움] 05.18 (화) | 노승림 (숙명여대 문화행정학과 교수)
[GSCT 콜로키움] 05.11 (화) | 한경순 (건국대 조형예술학과 교수)
[GSCT 콜로키움] 4.27 (화) | 이준환 (서울대 언론정보학과 교수)
[GSCT 콜로키움] 4.13 (화) | 고건혁 (붕가붕가레코드 대표)
[GSCT 콜로키움] 4.6 (화) | 주재걸 (KAIST AI대학원 교수)
[GSCT 콜로키움] 3.30 (화) | 민세희 (국민대학교 겸임교수)
[GSCT 콜로키움] 3.23 (화) | 이대원 (중앙대학교 예술공학대학 교수)
[GSCT 콜로키움] 6.8 (화) | 김호 (더랩에이치 대표)
일시 : 2021. 6. 8. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : <사람일까 상황일까>: 사회심리학이 우리에게 주는 영향에 대하여 – 커리어 개발에서부터 커뮤니케이션까지 
연사 : 김호 (더랩에이치 대표)



학력

KAIST 문화기술대학원 박사 졸업(2015)

Marquette University(Milwaukee, WI), PR 전공 석사 졸업(1997)
 

경력

THE LAB h® 대표: 조직 및 리더십, 위기 커뮤니케이션 전문 (2007-현재)

Edelman 한국 법인 대표 (2004-2007)
Edelman 한국 법인 부사장 (2002-2004)
MSD Korea 커뮤니케이션팀장 (2001-2002)
Edelman 한국 법인 컨설턴트 (1998-2001)


주요 자격

Certified Professional, Linking Leader Profile by Team Management systems (2020-현재)
Certified Professional, Team Management Profile by Team Management Systems (2018-현재)
Certified Professional, Organizational Culture Inventory / Organizational Effectiveness Inventory, Group Style Inventory (2017-현재)

Advanced coach, Stakeholder-centered coaching (by Marshall Goldsmith) (2013-현재)
Cialdini Method Certified Trainer (CMCT by INFLUENCE AT WORK): 설득의 심리학 공인 트레이너 (2008-현재)


강연 소개
“저 사람은 왜 저렇게 행동하지?” 혹은 “나는 그 때 왜 그렇게 행동했을까?”라는 궁금증을 갖게 될 때가 있다. 이 때 많은 사람들은 그 사람이 갖고 있는 독특한 성향을 들어 행동을 이해하려고 한다. 최근 유행을 끌었던 MBTI 심지어 혈액형이나 별자리를 들어 특정 행동을 설명하려고 할 때가 있다. 이는 ‘흥미로운’ 해석이 될지 모르지만 많은 경우 비과학적인 해석이 되곤 한다.

한 개인 행동에 미치는 그 사람 성향이나 성격(Personality) 요인이 갖는 영향을 과대평가하고 (우리에게 잘 안 보일 수 있겠지만) 그 사람 주변 상황(Situation) 요인을 과소평가하는 인간 심리 경향성을 사회 심리학자인 리 로스(Lee Ross 스탠포드) 교수는 기본적 귀인 오류(Fundamental Attribution Error)라고 제시했다.

카이스트 문화기술대학원 박사과정 중 관심을 갖게 된 사회심리학 고전 (Lee Ross and Richard Nisbett, 1991)은 이 문제를 다루고 있다. 베스트셀러 작가인 말콤 글래드웰은 이 책이 자신이 쓴 <티핑 포인트>, <블링크>, <아웃라이어> 등이 속한 책 장르를 포괄하는 플랫폼이며 자기 삶을 바꿔놓았다라고 뉴욕타임즈와 가진 인터뷰에서 말했다 (심지어 오래 전 이 책을 뉴욕 대학교 도서관에서 불법으로 전체를 복사했었다고 이 책의 추천사를 통해 고백하기도 했다)

문화기술대학원 박사과정을 마치고 나는 이 책을 번역(<사람일까 상황일까>, 2019, 심심)하기 위해 더욱 꼼꼼히 읽게 되었고, 이 책은 내게도 세상과 타인 행동, 그리고 나를 이해하는데 큰 영향을 미치게 되었다. 그리고 졸업 후 스타트업에서부터 글로벌 기업에까지, NGO에서 정부기관까지 컨설팅과 코칭을 하는 데에도 많은 도움을 주었다.

사회심리학의 이러한 과학적 지혜가 내 커리어 개발에 어떤 영향을 줄 수 있을까? 사회심리학이 스타트업 창업가나 일반 조직의 리더로서 저지르는 실수에 대해 무엇을 말해줄 수 있을까? <사람일까 상황일까>에 대한 이해가 나의 영향력(influence)을 키우는데 도움이 될 수 있을까? 이런 이론적 지식들이 기업의 위기관리에 어떤 실천적 의미를 가질 수 있을까?

본 세미나에서는 사회심리학이 밝혀낸 과학적 지식이 삶과 커리어, 리더십과 경영 및 위기관리 등 다양한 측면에 어떤 실천적 지혜를 줄 수 있는지에 대해 컨설팅과 코칭 경험에서 관찰하고 연구한 바를 놓고 설명하고자 한다.

[강연 내용] 
When translating the Book “The Person and the Situation” (Lee Ross and Richard Nisbett, 1991) into Korean I thought about why this book has not been translated before. The book’s content was good, but it’s style of writing was dry. The book is about the two main methods in which people analyze other people, the first being to look at the person’s actions and determine that those are defined by their disposition or personality, and the second method is to look at the surrounding situation of that person. The conclusion of the book is that the effect of a person’s individual personality and disposition is smaller than we think.
Reading this book can change your view of the world and the reasons behind how people behave.  For example when you go to Starbucks and the cashier is nice to you, you can question whether it is the person who is nice or Starbucks which created a working environment which allowed the cashier to be nice. Why is the person acting this way?
 
There was an experiment which tested how many people on a campus would help a person if they have time until their next appointment and if they don’t time and saw that the people who didn’t have time only helped in 10% of the cases. Another experiment shows that whether in a question the words “Martin Street” or “Valentine Street” are included people are more likely to later on help a woman to get a phone back from a group of men. This is probably because “Valentine” is more romantic and encourages gender-role typical behaviour such as a man helping a woman. The participants did state that this had no influence though, which shows how things we don’t even realize ourselves can have an effect on our behaviour. Even though it might be more interesting to interpret a person’s behaviour as a result of their personal characteristics this is often not scientifically true. This tendency of people to overestimate the effect of a person’s characteristics and personality on that person’s behaviour is called the fundamental attribution error.
 
Consequently in the field of personality studies, there is the expression of personality states not traits, emphasizing the change in personality depending on the context. This encourages companies to have their employees not work at home, since the working environment is important. Some researchers are therefore opposed to personality types such as MBTI and emphasize that personality traits are a spectrum. They would then not say someone is an introvert but has introvert tendencies. Additionally people show a very different personality in different environments such as at work and at home, you could be an introvert at home and an extrovert at work. Another concept is ‘Nudge’ which suggests people’s behaviour can be changed through small changes in the environment.
 
Due to the higher effect of the environment on people, their actions are not as consistent as we might think. We do other actions and show different sides of ourselves to different people. However since we see most people always in similar surroundings such as only at work or only in our free time, we only face one side of them, which appears consistent to us.
 
이러한 여러가지 실험 결과가 보여주듯, 사람의 행동은 일관되지 않습니다. 누군가 특정 상황에서 어떤 행동을 하고 어떤 태도를 보였다고 해서, 그 사람이 다른 상황에 다른 사람과 있을 때 똑같이 그런 모습을 보이리라 기대하기는 어렵습니다. 그런데 주변 지인들을 떠올려 보시면, 가족들, 친구들, 직장 동료들은 거의 항상 같은 모습으로 변하지 않는 것처럼 보입니다. 왜 그렇게 보이는 걸까요? 그것은 내가 그 사람과 만나는 상황이 거의 비슷하게 유지되기 때문입니다. 가족들은 보통 집이라는 공간에서 다른 가족들과 함께 만나게 되고, 친구들은 같이 어울리는 친구들과 사석에서 만나며, 직장 동료들은 직장에서 일을 하며 만나게 됩니다. 가족들이 직장에서 어떤 모습인지, 친구들이 다른 사람들과 있을 때는 어떤 모습인지, 혹은 직장 동료가 집 같은 사적인 공간에서는 어떤 모습일지 예측할 수는 없습니다. 특히 어린 아이의 경우, 학교에서 선생님이나 친구들과 있을 때의 모습이 집에서의 모습과 상당히 다른 경우가 있는데, 이는 부모가 아이에게 일종의 ‘감시자’ 역할도 하기 때문입니다.
우리는 우리에게 주어진 각각의 상황에서 자신에게 주어진 ‘옷’을 입고 그 역할을 수행합니다. 상황에 따른 변화가 극단적으로, 안 좋은 방향으로 나타나면, 평소에 다른 사람과 있을 때는 전혀 그렇지 않은 사람에게서 비인도적이고 폭력적인 모습이 나타나기도 합니다. 종종 흉악한 범죄자의 지인들이 ‘그런 사람인지 몰랐다.’고 하는 경우도 이에 해당하겠습니다.
반면, 능력은 성격이나 성향에 비해 상대적으로 일관적이고 예측 가능합니다. 기업에서 채용을 할 때도, 면접 시간 동안 본 지원자의 모습만으로 그 사람을 판단하는 것보다, 그 사람이 전에 일했던 곳의 동료들에게 그 사람에 대한 평가를 묻는 것에서 훨씬 더 믿을 수 있는 정보를 얻기가 쉽습니다. 면접 장소에서 잠깐 속일 수 있는 지원자의 성향에 비해, 다른 직장에서 보인 업무 능력은 이 새로운 직장에서도 같을 것으로 기대할 수 있기 때문입니다.
나를 힘들게 하는 사람이 있으면, 그 사람을 바꿀 수는 없을까요? 그 사람은 스스로 바뀌지 않습니다. 내가 그 사람에게 같은 상황을 주면, 그 사람은 항상 나에게 같은 모습을 보일 것입니다. 그 사람이 알아서 태도를 바꾸길 기다리기보다, 내가 그 사람을 대하는 태도를 바꾼다면, 그 사람 또한 내게 다른 모습을 보여줄 가능성이 큽니다.
작가 배윤민정은 결혼생활을 하면서, 친인척 사이의 호칭이 성별에 대해 대칭적이지 않다는 것에 문제의식을 가졌고, 처가 가족들에게 서로 이름 뒤에 “님”자(字)를 붙여 부르자고 제안했습니다. 시부모님은 흔쾌히 수락하는 것으로 보였으나, 예상치 못한 반응은 남편의 형 내외에게서 나왔습니다. “어떻게 그런 말이 아래에서 위로 나올 수 있냐”며 강하게 반발했습니다. 배윤민정 작가는 여기서 물러서지 않고 아주버’님’에게 들은 말을 적은 머그컵 100개를 사람들에게 나눠주기 시작했습니다. 작가의 적극적인 맞대응에 남편도 태도를 바꿔 적극적으로 힘을 실어주었고, 처가 식구를 설득하는 데에 성공했습니다. 이 사건에서 흥미로운 사실은, 처음부터 남편의 형 내외의 태도는 부모님의 영향을 받은 것이었고, 그 태도를 바꾸게 된 것도 작가가 적극적으로 대응하며 새로운 상황에 처하게 했기 때문이라는 것입니다.
 
삼성동에 봉은사라는 절이 있는데 700년대에 세워진 아주 오래된 절입니다. 이 절에서는 매년 1월1일 새벽 4시에 복을 빌기 위한 타종행사를 합니다. 그런데 이떄문에 매년 이 때 호텔에 묵는 투숙객들이 잠을 꺠는 일이 발생했습니다. 이 호텔의 첫 여성지배인은 이 상황을 타개하기 위해 아이디어를 냈습니다. 그것은 투숙객들에게 타종행사에 관한 안내문을 나눠주는 것이었습니다. 그러자 컴플레인이 줄고 오히려 이 시즌에 호텔에 묵는것에 대해 프리미엄이 붙기도 했습니다. 또 다른 예시를 들어보겠습니다. 마당이 있는 어떤 집에 가서, 마당에서 잘보이는 곳에 '안전 운전'이라고 써진 전단지를 크게 붙여도 되냐고 물어보면 17퍼센트의 사람만이 그것을 허락했습니다. 그렇지만 한 달전에 그 집에  같은 내용의 작은 스티커를 주고 그것을 자기 차에 붙인 사람들을 대상으로 같은 부탁을 하면 무려 76퍼센트의 사람이 전단지를 붙이는 것을 동의했다고 합니다. 이는 상대방의 행동을 바꾸기 위해서는 부탁 이전에 어떠한 행동을 하였는지가 큰 영향을 준다는 점을 알 수 있게 합니다. 즉, 이전에 취한 조치가 설득의 성공에 영향을 준다는 말입니다.
 
사람들의 행동을 그 상황 자체보다 맥락에 크게 영향을 받습니다. 제가 카이스트에 있었을 적 왕입성이라는 중국집을 자주 갔었는데, 왕비성에는 10만원 짜리 세트메뉴가 있습니다. 물론 10만원짜리만 있는 것은 아니고 3만원, 5만원, 7만원 짜리 세트도 있습니다. 만약 가게가 10만원 짜리 세트메뉴가 안팔린다고 이 메뉴를 없앤다면 어떻게 될까요? 아마 5만원, 7만원 세트메뉴의 판매량이 급감할 것입니다. 또 다른 예시를 볼까요? 우리는 보통 50만원, 30만원을 비싸다고 얘기하지만 만약 그 돈이 5천만원짜리 자동차의 옵션이라고 한다면? 아마 5천만원에 비하면 얼마되지 않는 돈이라고 생각하고 옵션들을 추가하기 시작할 것입니다. 절대적인 수치보다 그것이 가지는 상대적인 위치, 맥락이 더 중요한 것입니다.
 
제가 클라이언트를 만나면 항상 하는 얘기가 있습니다. 그것은 바로 "리액션말고 액션을 하라." 입니다. 리액션은 어떤 상황에 대한 단순한 반응입니다. 반면 액션은 생각을 하고 주도적으로 행동을 하는 거죠. 예시를 들어볼까요? 제가 영업사원인데 고객이 경쟁사의 제품을 쓴다고 가정해봅시다. 여기서 단순한 리액션은 "왜 예전 꺼를 계속 쓰세요?" 라고 질문을 하는 것입니다. 이렇게되면 고객은 경쟁사 제품의 장점을 먼저 떠올리게 되고, 이는 영업 실패로 이어질 가능성이 높습니다. 이떄, 해야할 것은 바로 액션입니다. "지금 쓰는 것에서 불편한 점은 무엇인가요?" 라고 질문을 던지는 것이죠. 이는 고객에게 경쟁사 제품의 단점을 떠올리게 하고, 이는 영업 성공 확률을 높여주게 됩니다. 또 다른 예시로 취업 인터뷰가 있습니다. 질문을 기다리지 말고 먼저 질문을 하는 것입니다. "오늘 내가 인터뷰를 하는 것은 서류 면접을 통과했기 때문인데, 왜 저에게 인터뷰 기회를 주시게 되셨나요?" 이 질문 하나로 면접자는 나의 장점을 떠올리게 됩니다.
 
우리는 액션이 중요하다는 얘기를 하고 있는데, 그럼 액션의 타이밍은 언제가 중요할까요? 예전에 맥도날드를 방문하는 가족을 상대로 실험을 한 적이 있습니다. 부모가 아이를 데리고 들어올때 풍선을 나누어 주는데 가게를 들어올 때, 나갈 때로 구분해서 줘본 것입니다. 결과는 들어올 때 풍선을 준 그룹에서 미래의 오더량이 증가한 것을 관찰할 수 있었습니다. 판매 이전에 맥락을 세팅해야 효과가 있습니다. 나중에 하는 것은 효과를 기 어렵습니다. 제 이야기를 해볼까요? 2017년 아내가 휴가를 받아 북부 이탈리아 여행을 계획한 적이 있습니다. 호텔 비용을 아끼기 위해 환불 불가 옵션을 걸었죠. 그런데 갑자기 아내 회사에 급한 일이 생겨 휴가를 못가게 되었습니다. 저는 이 상황에서 돈을 조금이라도 돌려받기 위해 어떤 행동을 했을까요? 저는 우선 공통적 합의 맥락을 형성했습니다. 우선 전액 패널티라는 상황을 호텔 쪽과 저 모두 알고 있다는 말을 했습니다. 그 다음 제 아내 회사가 급한일이 생겨서 못 가게 되었다는 상황 설명을 했고, 마지막으로 패널티를 조금이라도 깎아 줄 수 있느냐는 요청을 했습니다. 그러자 호텔 측은 흔쾌희 패널티 없이 전액환불을 진행하여 주었습니다. 이렇듯, 공통의 맥락을 형성하는 것은 설득의 확률을 높여주는 중요한 방법입니다.
 

네 번째로, 상대방이 특정 상황을 어떻게 해석(구성)하는지 알아야 그 사람이 어떻게 행동할지를 예측할 수 있습니다. 직업을 예시로 들어보겠습니다. 우리가 일을 해석하는 방식은 돈을 벌기 위한 수단, 성공을 하기 위한 수단, 어떠한 의미를 만들어내기 위한 수단 이렇게 세 가지로 볼 수 있습니다. 이렇듯 일을 모두 다르게 해석한다는 점을 고려하면 우리가 직장에서의 경험을 해석하는 방식 자체가 달라져야 한다는 점을 알 수 있습니다. 보통 우리는 직장에서의 경험을 이를 분석할 때 불만족, 만족이라는 두 가지 축으로만 보는 오류를 저지르지만, 사실 불만족과 만족은 아예 다른 축의 경험입니다. 일에 대한 불만족은 지위, 보상, 고용 안정, 직무 조건 등 위생요인에 좌우되는 한편, 일에 대한 만족도는 동기부여 요인, 즉 일의 의미, 도전적 과제를 통해 전문가로 성장하는 것 등과 연관되어 있습니다.

이에 연계하여 우리가 직장에서 경험하는 인지부조화를 어떻게 해석하는지 알아볼 수 있습니다. 우리가 직장이라는 상황 한 가지만 생각해 해당 상황에 적응하는 것에만 신경을 쓰게 되면 일을 통해 남는 것이 별로 없어질 수 있습니다. 하지만 직장이라는 것의 해석을 다르게 하면 새로운 길이 보일 수 있습니다.   직장은 결국 남이 만들어놓은 조직이기 때문에 직장이 없어지면 매우 힘들어지기 쉽습니다. 하지만 직장을 직업으로 해석한다면 어떨까요? 직업은 내가 만들어가는 전문성, 즉 개인기이기 때문에 직장이 없어진다고 해도 여전히 나의 전문성을 통해 돈, 성공, 의미를 찾을 수 있습니다. 머스타드의 김도엽 대표의 예시를 들어보겠습니다. 김 대표는 20대 초반부터 ‘내가 원하는 것’에 맞춰 삶의 중요한 결정을 해왔으며, 이를 통해 30대 초반에 이미 자신이 평생 하고 싶은 분야에서 10년 이상의 경험을 쌓았습니다. 이를 통해 김 대표는 젊은 나이에 자신이 좋아하는 분야에서 계속 일할 수 있게 되었습니다. 조희연 매니저의 예시 또한 비슷합니다. 조 매니저는 비서로 일을 시작해 홍보 회사, 제약회사 홍보팀, NGO, 벤처회사 등 여러 직업을 두루 거쳐왔습니다. 그 과정에서 자신이 원하는 것을 질문하며 다양한 상황에 자신을 노출해 자기만의 진로를 찾고, 이를 통해 남들보다 더 일찍 자신만의 분야를 개척하고 전문가가 될 가능성이 높아졌습니다. 요즘 많이 이야기하는 워라밸이라는 단어도 자세히 들여다보면 ‘남의 일’을 하고 있을 때 그 중요성이 커지는 단어입니다. 내가 내 일을 하면 일하는 과정이 너무 재미있어 어느 것이 적정한 워라밸인지, 워라밸에 대한 의미가 달라질 수 있습니다. 즉, 상황에 따라 워라밸이란 같은 상황 또한 다르게 해석할 수 있는 것입니다.


그렇다면 나는 어떻게 상황을 해석하며 살고 있는지 돌아볼 필요가 있습니다. 우리가 흔히 상황에 대해 오해를 하고는 하는데요, 상황에 대한 오해는 사실 실력과 운에 대한 오해와도 연관이 있습니다. 예를 들어 
밀리언셀러 ‘머니볼’의 실제 주인공인 마이클 루이스의 경우, 식당에서 우연히 유명한 증권가의 부인과 같이 밥을 먹게 되면서 이를 계기로 증권가에서 일하게 된 후 그 곳에서 얻은 경험과 인사이트를 바탕으로 머니볼이라는 밀리언셀러를 집필할 수 있었습니다. 반면, 릭 고프라는 사람은 불우한 가정 환경에서 태어나 좋지 않은 일의 연속을 겪은 후 가난에서 탈출하지 못하게 되었습니다. 이처럼 우리의 삶은 어느 나라에서 태어났는가, 어느 시점에 태어났고 학교를 다녔는가, 부모의 형편 등 우연한 요소에 많이 좌우될 수 있기 때문에, 이런 상황적 요소를 많이 고려해야 합니다.
 
또한 남들이 나에게 기대하는 것과 내가 나에게 기대하는 것을 잘 구분해야 합니다. 우리가 불행하다고 느끼는 것은 어쩌면 사회적 증거(상황)의 저주의 결과일 수 있습니다. 우리가 남들이 나에게 기대하는 것을 수행하며 그것이 자신의 욕망이라고 착각하게 되면, 타인의 욕망을 내가 욕망하며 쫓아가는 현상이 일어나고, 사실 불행할 일이 아닌 것에도 불행하게 될 수 있습니다. 집단적 문화인 우리나라에서는 특히 이 부분이 중요할 수 있습니다. 이를 관통하는 키워드로 ‘대리자적 자세 (agentic state)’를 꼽을 수 있는데요, 자기 자신을 주체자가 아니라 남의 지시를 이행하는 대리자의 자세로 바라보는 것을 말합니다. 이를 조건중심적 마인드셋 (Fixed mindset)과 성장중심적 마인드셋 (growth mindset)으로도 이해할 수 있습니다. 조건중심적 마인드셋을 가진 사람은 남에게 내 능력을 증명해내려 하지만, 성장중심적인 사람은 남의 기준에 맞추기보다는 과거의 나를 기준으로 삼고, 오늘보다 내일 더 개선된 삶을 추구합니다. 또한 조건중심적 마인드셋을 가진 사람은 만사를 이기거나 지는 것, 즉 경쟁으로 바라보지만 성장중심적 사고를 하는 사람은 나를 평가할 때 남을 이겼는지 여부보다는 내가 낸 성과로 평가합니다.
 
마지막으로 대학원생 여러분께 몇 가지 조언을 드리고자 합니다. 첫 번째로, 내 생활을 어떤 스테이지의 시작과 끝이라는 관점으로 넓게 바라보시기 바랍니다. 스티븐 코비의 유명한 말 중 “Begin with the end in mind” 라는 말이 있습니다. 이처럼 대학원 생활 또한 내가 겪는 하나의 단계로 바라보고, 그 끝이 어떻게 될지 생각하는 마음을 가지시길 바랍니다. 이 맥락에서, 대학원 생활에서 배우는 이론을 단순 지식으로 배우는 것과, 그것을 내 삶에 적용할 수 있는 현명한 것으로 대하는 것은 매우 다른 자세라는 점을 강조드리고 싶습니다.

질의 응답
Q1) 사람이 말, 행동할 때 상황의 영향 받는다고 생각하게 되면 그 사람에 대한 윤리적 판단이 어려울 것 같습니다. 그것이 확장되면 어떤 나쁜 일의 가해자에게 책임을 물을 수 없게 되는 것이 아니며, 나아가 피해자에게 “네가 다른 식으로 행동했다면 이런 결과는 일어나지 않지 않았을까”라고도 말할 수 있게 되지 않을까라고 물을 수 있게 되는 건지 궁금합니다.
A1) 그 가해자는 누구에겐 나쁜 사람, 나에겐 좋은 사람일 수 있지만 그것이 그 사람이 한 행동의 나쁜 정도에 영향을 미치는 것은 아닙니다. 즉, 여전히 그 사람의 가해는 가해로 남을 수 있지요. 그렇다면 그 사람에게는 그 사람이 한 행동에 대한 합리적 처벌을 내려야하는 것입니다..
 
Q2) 사회과학을 학부에서 전공한 학생으로서 굉장히 반가운 사고방식이 보이는 강의였습니다. 두 가지 질문이 있는데, 1)사람들은 살면서 한 가지 상황이 아닌 복합적 상황에 놓이게 되고 그 중에선 내가 바꿀 수 있는 상황과 없는 상황이 혼재하게 됩니다. 제가 바꿀 수 없는 상황이 있는데 그럼 그 상황은 내가 해석을 바꾸는 방법 외에 어떤 방법이 있는지요.
A2) 사람들은 모두 삶 속에서 위기를 겪게 되는 상황이 있죠. 폭력적인 부분과 같은 아니면 질병이 걸린다던지 내 힘으로는 그 상황을 피할 수 없는 환경들이 있습니다. 저는 혹시 선생님에게 도움을 되는 방식에서의 재해석이 어떻게 가능할까를 질문을 드립니다. 어떠한 위기상황에서 해석을 바꿈으로서 다른 행동으로 이어질 수 있습니다.
최근에 가정폭력 상황에 있는 분의 상담을 하게 되었는데, 폭력이라는 상황에 길들여지는 것이 걱정됐습니다. 그래서 저는 그 상황을 다르게 해석해보라는 조언을 드렸습니다. 해석이 바뀌면 행동이 바뀌게 될 수 있다고 생각합니다.

Q3) 이곳에서는 기술 자체, 또는 기술을 사용한 환경을 설계하게 됩니다. 그렇다면, 저희가 시스템을 설계할 때 상황 관찰을 통해 얻은 여기서 얻은 인사이트를 어떻게 활용할 수 있을까요?
A3) 게임이라는 시스템을 디자인하는 것은 상황을 디자인하는 것이잖아요. 게임이라면 유저 데이터로부터, 내가 만들어놓은 상황에 사람들이 어떻게 반응하는지를 봐야되는거죠. 어떤 요소가 어떤 구매로 이어질까 이상으로, 특정 구매 상황에서 사람들이 행동을 할 때 사람들이 우리가 바라는 어떤 행동을 하는지 이렇게 물어보는 지렛대로 삼는 질문이 달라져야하는 것 아닐까요. 판매로 이어지는지 판단하는것만이 아니라요.

Q4) 소득 격차가 커지고, 성별간 세대간 갈등이 커지고, 디지털 사회에서 사람들이 자기 맥락을 통해서만 상황을 관찰하려고 하는 현상이 나타나는 것 같습니다. 맥락을 만들 수 있는 기회가 힘이 있어야지 가능하지 않을까요? 이해관계가 강력하게 연결되어 있는 사람들은 맥락을 만들 수 없지 않을까요. 그런 행복한 맥락을 만들 수 있는 방법은 무엇일까요.
A4) 첫 번째 질문에서 사례를 들어서 이야기, 실제 고객의 사례를 말씀드리겠습니다. 연초에 사장이 계획했던 맥락이 있었습니다. 회사의 전문성을 높이는 것이었는데 원래 계시던 비서보다는 새로운 전문가를 뽑게 되었습니다. 생각보다 우리가 더 힘을 갖고 있습니다. 상대방의 맥락을 파악해서 우리가 원하는 방향으로 상황을 만들 수 있었습니다.
 
Q5)  연사님은 어떤 맥락에 노출되셔서 더랩에이치에서 일하시고 이 강의를 하게 되셨는지 궁금합니다.
A5) 저는 30대 이전에 목표가 최고의 커뮤니케이션 전문가가 되고 싶었습니다. 우연히 싱가폴 출장을 가다가, 같이 가고 있던 분이 갑자기 teaching 과 coaching의 차이가 뭔지 아냐고 물어보셨습니다. Teaching의 경우 답을 알려주는 것이지만 coaching은 적절한 질문을 통해 상대방이 직접 답을 듣게 하는 것이었습니다. 40대가 되면서 목표는 내가 훌륭한 커뮤니케이터가 되기 보다, 내 고객이 나를 통해 최고의 커뮤니케이터가 되도록 돕자는 것으로 되었습니다.
 
Q6) 재밌게 잘들었습니다! 상황에 많은 영향을 받는 인간을 푹 느꼈네요. 전 생명화학공학과 석사로 이차전지 공부하는 황병훈입니다. 사람의 행동을 결정하는게 성향과 상황이 있을 떄, 상황의 영향이 크다면, 어쩌면 상황을 인식하는 능력과 범위의 차이가 성향과 행동에서의 차이가 나타나는게 아닌지 여쭤보고 싶습니다. 예를 들면 누군가에겐 공동선(common good)을 추구하는 행동을 하는게 자신에게 이득이 된다고 상황(사회)을 인식하는 것이고, 누군가에겐 지금 사기를 쳐서 100억을 땡기는게 자신에게 이득이 된다고 상황(사회)를 인식하는게 아닐까요?
A6) 일반적으로 사람들이 생각하는 것보다 성향이 미치는 영향이 우리 생각보다 적고 상황의 영향이 우리 생각보다 크다는 것이 사회심리학에서 밝혀낸 바입니다. 상황과 성향은 계속해서 영향을 줄 것 같습니다.
[GSCT 콜로키움] 6.1 (화) | 김영욱 (Hello AI CEO)
일시 : 2021. 6. 1. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 기계와의 경쟁 
연사 : 김영욱 (Hello AI CEO)


학력

  • 서울시립대 대학원 컴퓨터 과학과 재학중 (2020-)
  • 세종사이버대학교 컴퓨터 과학과 학사 졸업 (2016)
  • 부산동의과학대학교 전자통신과 학사 졸업 (1996)
  •  

경력

  • AI전문 기업 Hello AI 창업 (2021.04-Present)
  • Microsoft 플랫폼 사업부/Technical Evangelist (2008.04-2021.03)
  • 프리랜서 (2003.11-2008.04)
    (삼성전자, 삼성SDI, SK C&C, LGCNS, 포스코건설, 롯데건설 등 프로젝트 다수 수행)
  • ITWill (2001.09-2003.10)
  • ㈜ 두일넷 (1999.08-2001.07)
  • 하이미디어 스쿨 솔루션 개발팀 근무 (1997.05-1999.07)
  • ㈜ 유진 데이터 (1996.03-1997.04)

 

강연 소개

 인공지능의 발전은 점차 인간의 일자리를 가져가고 있습니다. 이는 인간의 자기 수익 결정권을 악화하고 있으며 이런 현상은 하나의 사회 현상으로 이어지고 있습니다. 

 본 세미나에서는 인공지능의 발전 속도와 여기에 적응해야 하는 사람의 역할 등을 함께 살펴봅니다.

[강연 내용]
강연을 통해 인공지능의 발전속도와 사람의 역할에 대해서 살펴보고자 한다.
지난 달 3월까지 마이크로소프트에서 총 13년동안 일을 하면서 IT 업계의 변동 과정을 모두 겪었다.
IT쪽은 약 2년에 한번씩 테마가 바뀐다. 이 때 적응 속도에 따라 해당 테마에 대한 결과물도 많이 바뀐다.

1. 처음 입사는 개발자 포지션으로, 이 당시 C언어 개발 툴만 사용할 줄 알아도 회사에서 인정받을 수 있었다.
2. 하지만, 2년도 채 지나지 않아 웹 세상이 오게 되어 실버 라이트와 같은 툴을 활용하여 웹 개발을 할 수 있어야 했다.
3. 시간이 조금 더 지나자 앱 세상을 만나게 되었고, 앱을 개발하게 되었다.
4. 그 후 1년 반정도 지나자, IoT 세상을 만나 IoT작업을 하며 센서들을 다루게 되었다.
그 때 양평 딸기 비닐 하우스에 가서 IoT 기기를 통해 딸기에게 최적의 환경을 제공하여 주는 작업등을 2년간 진행하였다.
5. 이 2년의 기간이 지난 후, 회사 조직이 또다시 급격하게 클라우드 쪽으로 변해갔다.
이때 투입된 프로젝트 팀은 예산이 조 단위였는데, 이 과정 속에서 만난 인도 사람 매니저는 AI에 대한 중요성을 강조하였다. 이로 인해 업무의 70~80%가량 AI로 변화하게 되었다.
IT쪽에도 수많은 직종이 존재한다. 그러나 이 중 내 일이 무엇인가 심각하게 고민할 필요는 없다. 굉장히 빠른 속도로 변화하고, 그 변화하는 기술이나 서비스에 따라 정체성을 맞추면 버티기가 힘들다. 기술들은 시간이 지나면 가치가 떨어진다. 처음부터 내 것은 없었다는 마음으로 새로운 것들을 받아들일 수 있는 오픈 마인드가 중요하다.
파이썬은 짧은 기간에 많은 기능적, 편의성 여러 측면에서 발전을 이룩했다. 지금은 음성분석, 데이터 처리, 머신 러닝, 영상 처리에 표준적인 언어가 되어 기본 소양이 되었다.
이 파이썬 언어 동호회 행사에 재밌었던 기억이 있다. 바로 토이 프로젝트들을 발표하는 들었던 시간이다.

예를 들어보자면,
1. 아이폰에 몇 년 동안 쌓여있는 사진들을 분석하여 위도 경도를 활용해서 사진을 어디에서 찍었는가를 분석하고, 추가적으로 그 사진 중 어디서 가장 많이 웃었는가 파악한 프로젝트를 통해 어디서 그리고 누가 웃는가에 대해 파악해볼 수 있었던 프로젝트가 존재하였고,
2. 위험한 프로젝트 예시로, 국회의원들의 의정비를 웹 크롤링을 통해서 수집하여 공무 집행을 추정한 예시,
3. 그리고 보수적인 사람들과 진보적인 사람들이 활용하는 멘트들을 긁어와서 dictionary를 만들어 비교함으로써 보수 지수, 진보지수를 평가하는 ML프로젝트들이 존재하였다.
이 프로젝트 발표를 듣는 시간을 통해서 파이썬을 통한 데이터분석의 다양한 활용도를 느꼈다.
기존 5000명 인원이 접속할 수 있던 온라인 교육 서비스를 확대하여 300만명이 접속할 수 있도록 설계해보았는데, 이 과정을 통해서 기계를 사용함으로써 기존이라면 사람의 의존도가 높았으나 이를 점점 줄어들어 사람의 일자리가 적어진다는 분석을 내렸다.
무어의 법칙에 따르면 2년마다 computing power는 2배씩 성장한다.
그동안 엄청난 컴퓨터 성능의 성장을 통해 특정 업무에서는 기계가 사람말을 더 지속적이고 정확하게 알아들을 수 있게 되었다. 불과 몇년 전과 비교하면 엄청난 변화이다.
boston dynamics 와 아시노를 비교하는 등의 기술의 혁신적인 변화가 예제이다.(휴머노이드 로봇)
중간 가구의 실질 소득은 정체되어 있지만 1인당 실질 GDP는 증가하고 있다. 일반적인 사람은 소득이 갇혀 있고, 부를 가지고 있는 사람들만 돈을 번다는 것이다. IT 기술이 여기에도 영향을 미쳤다.
경제가 커진다고 해서 고용이 그만큼 늘어나는 것은 아니다. 늘어나는 일을 기술이 커버하면서 일자리가 정체되는 현상이 시작된다. 인간의 자기결정권이 로봇때문에 사라지고 있다는 것이다. 단순노동자, 비전문가, 비지식노동자는 물가상승률보다 못한 임금상승률을 체험하고 있다. 일부의 뛰어난 사람만이 돈을 벌 수 있는 것이다.
기계의 발전에 따라오지 못하는(기술혁명에 뒤쳐지는) 사람들은 전쟁으로 인한 피해나 경제적 빈부격차로 인해 소외될 수밖에 없고 그로 인해 생활환경이 기술에 맞춰서 바뀌어 간다.
오픈 마인드 즉, 어차피 처음부터 내 것은 아무것도 없었다라는 마음을 가져야 한다.
사회 현상을 어떻게 바꿀 것인가에 대한 답변으로 새로운 기술을 접하고 적용해보는 것이 매우 중요하다는 것을 강조할 수 있다. ”모든 회사는 AI 기반의 회사다.” 전공에 상관없이, 어떤 것을 하더라도 기본적으로 AI를 해야 하는 시대가 도래했다. 다양한 분야를 접목시키지 않으면 경쟁력이 떨어진다.
수많은 IT 트렌드, 자산들을 어떻게 다 볼 것인가에 대한 답변으로 자율주행 자동차를 예시로 들 수 있다. 자동차는 가장 검증되었으며 발달한 인공지능이 들어간다. 예를 들어, 엘론 머스크의 “로봇 택시” 서비스에서는 차를 사용하지 않을 때 자율주행 택시를 운영함으로써 소득을 얻도록 한다. 자율주행을 나눌 때는 다섯가지로 나누는데, 지금 현재 타고 있는 차는 0단계, 모두 수동이다. 아직 현재까지는 2단계의 자율주행 기술이 나와 있으며, 4단계 정도 되면 완전한 자율주행이라고 이야기할 수 있다. 아직 자율주행 자동차가 완전하다고는 볼 수 없다. (현철)장기적으로 모든 자동차가 자율주행을 시작하면 오히려 인간 운전자보다 더 안전해질 것이다. 3단계 자율주행 자동차가 움직이는 수준은 사람과 비슷하다(Cruise의 사례를 참고).
사회적으로도 자율주행자동차를 도입하면, 경제적인 혜택이 커지고, 이는 자율주행차 도입 속도를 가속화시킬 수 있다. 하지만 완전화 된 자율주행이 도입되면 어떻게 될까?
운전기사들이 일자리를 잃게 될 것이다. 정유 산업에서도 많은 일자리가 사라지게 될 것이다. 자율주행차와 더불어 전기자동차가 도입되어 내연기관을 가진 자동차도 줄어들 예정이기 때문이다. 정유 산업과 더불어, 자동차 수리와 관련된 업종도 몰락할 수 있다고 한다. 전기차의 도입으로 향후 자동차의 판매량이 줄어들고 수명이 길어지게 되면, 많은 자동차 회사들은 자동차를 ‘판매'하기보다 ‘서비스'로서 제공해야한다는 전략을 세우고 있다. 도시 곳곳에서 주차 및 정비 타워가 생기고, 필요에 따라 자동차를 사용할 수 있는 형태가 될 것이다.

결론
미래의 직업은 어떻게 될까? 두 가지 종류로 나눌 수 있다. 인공지능에게 명령을 내리는 직업, 그리고 받는 직군이다. 또한, IT기업들이 많은 주도권을 가져가게 될 것이다. 우리의 할 일은 인공지능에게 명령을 주는 직업을 가져야하고, 이런 것들을 위한 지식을 갖춰야 한다고 생각한다.

질의 응답
질문1) 현실적으로 모든 사람이 인공지능을 다루기 어려우며, 이는 소득불균형을 심화시킬 수 있을텐데 이러한 문제에 대해서 어떻게 생각하시는지?
긍적적인 측면으로서 기술이 발전하면 추상화경향이 늘어나고 모듈화되는 경향들이 생깁니다. 인공지능이 초기에는 고도의 수학적 지식을 요구했지만, 요즘 같은 경우에는 많은 부분이 모듈화되어 접근성을 굉장히 많이 높아졌습니다. 이러한 흐름을 바탕으로, 한명이라도 더 인공지능을 다룰 수 있도록 해야할 것입니다.

질문2) 자율주행 자동차가 왜 인간 운전사보다 더 안전한지?
사람마다 운전하고 있는 습관, 차이가 있습니다. 반면, 기계는 개량화되고 표준화된 프로그램이 있습니다. 뿐만 아니라, 자동차가 스스로 운전하는 것도 있지만, 추가적인 센서 등을 통해 차와 도로가 소통할 수 있기 때문에 훨씬 더 안전할 것이다라는 낙관론적인 관점을 표한 것입니다.

질문3) 챗봇 테이가 편향성에 대한 학습으로 문제가 된 사례가 있으며, 인공지능의 공정함 문제가 계속 제기되고 있는데, 이에 대해서 이전에 마이크로소프트에서는 어떤 논의가 있었는지?
테이의 사례는 위험 사례로 많이 언급되며, 그 사례로 인해서 데이터의 중요성이 강조되고 있습니다. 마이크로소프트 뿐만 아니라 관련 기업들이 뭉쳐서 Responsible AI에 대한 논의가 계속되고 있으며, OpenAI 주도로 진행하고 있습니다.

질문4) 사회 현상에서 완전한 중립은 어려운데, 데이터들을 모으고 라벨링 하느냐에 따라서 편향성이 개입이 될 수 있을 것 같은데 공정함이 가능한가?
지금의 시도는 시작으로 보아야 합니다. 구조 데이터 표준화와 트래킹/모니터링을 하려는 지속적인 노력이 필요합니다.

질문 5) MS에서 했었던 AI 또는 현재 Hello AI에서 하는 일을 소개를 해주실 수 있나요?
지역 사회 문제 해결을 위한 정부 과제로 저소득층 아이들의 학력 격차가 큰데, 이를 모니터링하기 위한 측정 시스템, 더 나아가 맞춤형 교육을 제시할 수 있는 알고리즘 개발 중.
또 처방된 약이 아닌 건강 보조제 (비타민) 끼리 상극인 약이 있지만 모르고 먹는 경우가 많음. 이러한 경우를 방지하기 위해 데이터를 모으고 권장할 수 있는 방법을 AI로 개발하고 있음.

질문 6) 실제 산업에서의 AI 활용 경향?
자체적으로 비즈니스를 새로 만들지는 않고, 기존에 있는 것을 자동화하려고 함. 대표적인 예로 챗봇이 있음. 상담 내용 등의 통화 내용을 갖고 새로운 챗봇 모델을 만들어 반복되는 서비스들을 대체하고 있음. 또, 의료 데이터 CT를 분석하여 10년 경력의 의사들이 라벨링한 데이터를 활용하여 그 경험을 유지해나가는 방법도 개발되고 있음. Toss, 뱅크샐러드의 경우 데이터 자체가 아이템이기 때문에 적극적으로 AI를 도입하려하고 있고 인력도 보충하려함. 카드사의 경우 소비 패턴 데이터를 활용하려고 함.

질문 7) AI 산업이 안정화가 되니 처음과는 다르게 수요-공급이 달라졌음, 앞으로 어떻게 될지?
2000년에 웹 개발자 붐이 있었을 때가 있었는데, 지금과는 다른 것은 그때는 SI인력에 가까웠지만 AI, ML의 경우 한번 만든다고 완성되는 것이 아니고 데이터가 계속 업데이트 되기 때문에 인력이 더 많이 필요하고, 개발 한 뒤에도 지식이 있는 사람이 지속적으로 개발을 해줘야함. 그 때문에 AI를 만들고 검증, 피드백하고 개선하는 것이 클라우드 ML OPS도 개발되어 있어서 Dev ops 처럼 ML ops로 영역이 확대되었음. AI와 관련해서는 새로운 직종 업무들이 지속적으로 개발될 것임.

질문 8) AI에게 명령을 내리는 직업과 AI의 명령을 받는 직업으로 나뉘게 될 것이라고 했는데, AI에게 명령을 내리는 직업을 갖기 위해서는 깊이 있는 공부가 필요해서, 대부분의 사람들이 AI에게 명령을 갖게 될 것 같다. 이로 인한 사회적인 문제에 대해서는 어떻게 생각하시는지?
AI 기술이 발전하게 되면서 AI 기술에 대한 접근성도 낮아지게 될 것. 예전에는 AI를 한다고 하면 아주 깊은 공부를 요구했지만, 현재는 AI 개발 플랫폼이 점점 개발되면서 점점 문턱이 낮아지고 있음.

질문 9) 자율주행 자동차가 보급되면 안전성이나 경제성 면에서 더 이득이라고 했는데 왜 그런가.
주어진 상황에 맞게 안정적으로 특정 대처를 하도록 되기 때문에 사람의 일시적인 판단에 기대는 것보다 더욱 안전할 것으로, 낙관적인 전망을 하고 있음.

질문 10) 마이크로소프트에서 하던 AI, 지금 HelloAI에서 하고 있는 AI. 소개 부탁
지역사회의 문제를 해결하기 위해 정부와 손잡고 일하고 있다. 특히, 가정과 학교에서
충분한 관심과 지도를 받지 못하는 아이들을 위해. 사람들이 복용하는 약이 건강 상태와 타 복용 약품 등에 따라 달라져야 하는데 그걸 모르는 경우가 많아. 그에 대한 AI 해결책을 제안하고자 한다.

질문 11) 대기업/창업/취업 관련. AI는 어디로?
챗봇 / 의료 데이터 분석 / 사용자 소비 패턴 분석

질문 12) 정부/기업에서 Bio에 대한 지원을 많이 했었는데, 필요한 것보다 과하게 인력이 나와서 오히려 문제인 것 같다. AI도 그렇게 되지 않으리라 보장이 있는지?
한 번 만들고 끝나는 것이 아니라, 계속해서 발전시키고 관리하고, AI 모델이 세상이 바뀌는 것을 따라가게 할 수 있는 사람이 필요하다.
 

[GSCT 콜로키움] 5.25 (화) | Georgios Toubekis (Researcher at Fraunhofer-Institute for Applied Information Technology)
일시 : 2021. 5. 25. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : Remote Sensing–Remote Control? Advanced ICT for Heritage Documentation and Management of UNESCO World Heritage properties
연사 : Georgios Toubekis (Researcher at Fraunhofer-Institute for Applied Information Technology) 


학력

  • Graduate in Architecture at RWTH Aachen University
  •  

경력

  • Researcher at Fraunhofer Institute for Applied Information Technology (2019-present)
  • ICOMOS Field Mission Expert in the context of the UNESCO World Heritage Convention (2009-present)
  • Researcher at Oman Center for Documentation and Conservation (2018-2019)
  • Researcher and Lecturer at RWTH Aachen University, Aachen Center for Documentation and Conservation (2007-2018)
  • ICOMOS expert -Safeguarding Campaign for the preservation of the Bamiyan Buddhas (2003-2007)
 

강연 소개

 Advances in remote sensing technologies in recent years have become essential for monitoring environmental processes at the Earth's surface and in the atmosphere. The increasing number of sensors contributes significantly to efficient land management in general, and to the detection of land and sea surface changes in particular, in almost all scientific fields related to the human and natural environment. Consequently, the field of cultural heritage management also benefits from the increased availability and reduced cost of using this technology. 

This presentation will provide a brief introduction to the physical principles of remote sensing and provide examples of its application in archaeological investigations from discovery to documentation and risk assessment, as well as in the development, management and conservation of cultural heritage and landscapes.

The benefits for the management of cultural landscapes are presented through a detailed case study of the UNESCO World Heritage Sites in Afghanistan, where the protection of cultural heritage and landscapes is now a priority, also with the aim of using them as strategic and valuable economic assets in the context of tourism. 

 The balance between landscape protection and sustainable development is an extremely important key factor for countries that have exceptional cultural heritage, which is nowadays particularly at risk for many reasons, including uncontrolled development, pollution impacts and degradation factors. Remote sensing provides regular and repeated imagery of unprecedented importance for monitoring the impacts of climate change, urban and rural development, and conflict.

[강연 내용]

Georgios Toubekis is a researcher of Fraunhofer-Institute for Applied Information Technology in Germany since 2019. And since 2009, he also works as an ICOMOS Expert in UNESCO World Heritage and as CIPA Heritage Documentation expert. He received his degree in architecture at RWTH Aachen University in Germany and he is an expert in documentation of cultural heritage sites with use of remote sensing, laser scanning, GIS, databases, and mixed reality.
Remote sensing is defined by Georgios Toubekis as “making use of your senses from far away to observe and understand the world around you.” Origins of remote sensing starts way back at the renaissance times where people started to investigate the environment in a more systematic way. This involves the analysis of perspective and light rays. Camera obscura is a notable example which is a room-sized apparatus first used to study celestial bodies where a hole is placed in the wall and an image is projected to the opposing walls from the hole. This led Leonardo da Vinci to realize that the human eye acts like the camera obscura. The camera obscura also became a study instrument for artists years later where artists used it to understand the natural behavior of shadows and light to produce better art.
To explore the origin of remote sensing, Prof. Toubekis talked about the history of using lightweight instruments such as the camera Lucida to capture the sensation of the world. Camera Lucida was a very small and portable instrument that can be used as a drawing aid. Camera Lucida projects the view in front of the artist on a paper and allows the artist to simultaneously observe the object in front and control the drawing on the paper. The device helped world explorers in the early 17th and the late 19th centuries to produce very accurate paintings, resembling reproductions of the real world.
 
In the 19th century, the world changed dramatically by industrialization. The invention of photography in the first half of the 19th century probably was the most influential open source technology in history. At that time a lot of people investigated in a way to capture images resembling the environment around us. However, the only possible way was either to capture them by drawing or the early way of photography. It was very difficult to capture the world as images on chemical substances, and the process was very cumbersome. In 1839, Louis Daguerre invented a procedure to make the capturing process easier and faster. He presented his idea to the president of the academy of sciences at that time, and the president decided to make the procedure available to the public. Newspapers reported about the procedure to capture images, and within just a few months, the invention of photography spread across the world and became a hype.
 
The invention of photography also had a very deep impact on science because new ways were available to capture not only the immediate environment around scientists, but also capturing in a far more rapid way. Considering applications of photography in the military and industry, photography is used in land surveying, for example for making railways or industrial expansion. Therefore, it was very important to get the topography quickly documented and drawn on maps that facilitated the invention of new optical instruments and lenses. Photogrammetry was also invented in 1867 to accurately capture metrically correct images of buildings. From German and European  perspective, Albrecht Meydenbauer was very influential for the new science of photogrammetry because he looked for a way to make accurate drawings of buildings by inventing special cameras. He became the president of the so-called general archive of photogrammetry which was the first institution world-wide that was occupied with taking pictures of historical monuments for reproducing drawings of buildings and storing them into an archive. The invention of photogrammetry was a way to capture reality in such a way that one, at least, was able to make drawings of a monument even if the original has been lost.
 
The cameras were not just used on the ground. Adventurous people like Nadar took the camera into the sky by constructing a huge balloon to carry his entire laboratory including up to 20 people. He flew over Paris and captured the city from the sky. Already at that time, stereoscopic view was invented and using it as a kind of today’s virtual reality became popular. Fifty years after Nadal in 1980, five million pictures were taken from allied forces in the last nine months of world war 2, showing the influence of military research in developing aerial photography.

A big jump to a variety of sensors today
 
A hundred years ago, probably having cameras on an airplane was advanced.
Our complete environment is full of sensors.
-> We now have sensors capturing our environment instruments, capturing environment at almost every scale (from as high as 500 kilometers, and even higher - in the atmosphere until the ground). It is able to capture not only images, even videos with small satellites in real time. This brings me now to of course to the definition of remote sensing that you find in the books, so what is remote sensing today, and what is it used for?
 
The standard definition of remote sensing is, the process of detecting and monitoring the physical characteristics of an area of an environment, which is made use of the reflected and emitted radiation at a distance (typically from satellite or aircraft). So remote sensing is the study of emitted radiation from a distance in order to study physical characteristics of the world.
 
Satellites are all around us, that are observing from space: phenomena, weather, climate, etc. Every industrialized country, even India has its own set of satellites to be somehow autonomous in capturing and receiving information of environments, and not to rely on the information source from the others.
 
Very basic principles of this technology
 
Basically you can divide the systems that are around us when it is about observing the Earth into two types. The first type is the one that is making use of radiation (the energy the the Sun is sending onto the Earth - the electromagnetic radiation from the Sun, is reflected from the Earth surface and this relefection can be measured by instruments on its energy level, on its level of intensity of reflectance, and of course its colors). These types of satellite instruments are called passive, so they receive the energy that some other source is emitting.
 
Once we have passive systems, we also have active systems. Active systems carry a source of radiation with them, they send electromagnetic radiation to the ground, then they capture the reflection with a large antenna carried with them. You can also differentiate sensors in the way how accurately they are able to capture the surface of the environment. The active observation satellites have less radiation because their scope of observation is a little bit different larger areas. So it is measuring the quality of the air, for example, that is what those active systems are used for.
 
The difference what resolution makes
 
It is not so easy to observe what is happening on the Earth from the sky, because our atmosphere basically is quite dense and it does not allow all the spectrum of wavelengths which are coming from outside of the universe to enter even the ground. There are so called atmospheric windows only in these small ranges. We have a lot of  instruments in the sky, and the amount of these instruments will continuously grow. For almost every atmospheric and scientific area, new specialized instruments are sent up into the atmosphere to capture especially environmental parameters over the course of time, and to provide better information on predicting weather, or change the quality of life.
 
Electromagnetic spectrum of the radiation which is emitted across us has a quite broad range, and based on the home appliances or medical devices that use electromagnetic radiation, depending on the energy level it can be made use for different application areas, and it can be used for different ways of observation as well. This is due to the electromagnetic wave which has two specific parameters, depending on the wavelength it is possible to study even very small objects or larger objects. The visible light we see around us only covers a very small fraction of the electromagnetic spectrum. Regarding our subject it is especially the area on the right hand side, the infrared spectrum which interests us the most because that is approximately the size of the wavelength (you can say something like the point of a needle which is the size these wavelengths capture, that makes it ideal to capture the physical environment that interests us from the architectural point of view in the best way).
Airborne observation is also used to measure land . Its combination of active and passive sensors. This allows aircrafts to measure objects in different size and different scales. This calls to new technology, Lidar which stands for Light Detection and Ranging using laser beams in the infrared spectrum. As a result, this outputs 3D plot data of an object. LIDAR works as follows : 1) Pulse based Scanners measures Time-of-Flight(TOF) of a laser pulse beam. That is, it measures how long it takes for light to come back after hitting an object.
 
  • Airborne observation (summarized by Kyung Taek Oh, 33min~)
    • Remote sensing has become very important when it comes to observing and monitoring architectures and planning at heritage sites. Dr.Toubekis uses the Light Detection and Ranging (LIDAR) technology in order to create digital elevation models. Utilizing both pulse-based and phase shift-based scanners allowed him to survey large amounts of land from air and uncover the surfaces of hidden cultural sites. These instruments are able to scan through vegetation and provide accurate measurements of an environment or building.
  • Heritage at Risk (summarized by Kyung Taek Oh, 40min~)
    • In practice, Dr.Teoubekis made use of these technologies in the heritage sites that are at risk of destruction due to either natural or human-made factors. The main goal of his projects is to obtain as much information or data about the heritage sites in a short period of time, so that those collected data can be reutilized to maintain or preserve currently threatened heritages. Moreover, he acknowledged the issues of illicit excavation and trafficking of artifacts. He suggested that satellite imaging technology can be used to monitor the sites.
  • Cultural landscapes.. “..combined works of nature and of man”
  • Vision - Future complex socio-cultural information systems
    • New generation of 4D information systems with seamless integration of heterogeneous data sources
 
Closer observation can be done with drones. At the time, it was complicated tasks. This allowed more sophisticated 3D scale, which was not possible from viewing from satellite. A lot of erosion was made to the environment. Compare these two photos. One was taken in 1910 and the other was taken recently. We can clearly see how environment affected the structures. Towers melt down as the time passed by. So, we need some measurements to conserve this monuments. To do this, we first took satellite imagery. However, this picture was not enough for restoration. To overcome this, we used detailed pictures taken from the land. With some training (one week), workforce marked their position.
 
Last thing to consider is mediation. Whatever you do to the land, it affects the property of people already living in. So it is important to engage with people in all means. For us, we took maps and showed them their location and explained that our work will help them in the future. Bamiyans have very beautiful mountains which could expect a lot of tourisms. So, they have reasonable fear what environmental change might bring them.
 
The value of digital documentation is audacity which is FAIR use and reuse. By FAIR, i mean Findable, Accessible, Interoperable, and Reusable. Hopefully, this principle can lead to new values.
Conclusion of the lecture is suggesting significance of digital heritage. 1)Argue with digital heritage for a new role model of cultural institutions 2) Foster the role of digital heritage as facilitator of meaning within complex socio-technical systems 3) Refer to ethical principles to address societal challenges.
 
 
Q & A session
 
  • Since it is hard to manually detect damaged areas, is there a dataset to train AI that certain monuments are damaged?
Using AI in the cultural heritage domain is a brand new idea. Therefore, we never had a chance to try AI automation algorithms to detect damaged historical sites. However, my team has documented photos from undamaged and damaged places in a historical site in Afghanistan. Therefore, a research direction worthwhile to explore is to train a network to automatically detect damaged areas. I think it can be an interesting research topic and can be really useful because of increasing time efficiency, reducing costs and human labor to manually detect damaged areas.  
 
  • Is there a startup or company that monitors heritage with drones?
There is a company that uses drones to monitor historical sites. However, I think the success of a new startup company in this domain depends on their business model. Any aerial photography solution that can quickly capture a historical site, build a 3D model, and reduce the human labor costs can be beneficial for the community.  
 
  • What do you think would be the “End Game” of photography? Zoom in to view cell-level? Photoshooting distant planets?
            
A : Its hard to determine what is the end technology of photography. Before, there was no idea that we would be able to carry photography in mobile. However we do now. Likewise happened to other technology when air balloon and airplanes were invented. A lot of things did not seem possible but it became possible now. Currently, apple devices carry LIDAR technology. So, rather than having preset limitation, it would be better for young technologists to apply diverse possibilities.
  • Does data that you obtain at the heritage sites get outdated or obsolete due to technological advancement or replacement?
 A: Data never becomes outdated. In the heritage fields, the physical heritage sites are exposed to nature and will vanish; however, the digitized materials provide snapshots and reality of an object at given moments. If a heritage object still exists, the digitized version becomes a source of study; if it is gone, you only have the documentation to be the source of analysis and historical data.
 
  • Given that there’s limited human resources, how do we prioritize which heritage sites to document?
A: In the context of climate and environmental change, Scotland has made an approach to create a heat map that shows the level of direct environmental risks on heritage sites. This type of quantitative records along with archeological needs can be used when it comes to deciding which heritage sites to document. But in heritage sites, you cannot always rely on quantitative values; you also need to consider the emotional component and more. The most important part that you need to keep in mind is the community engagement and societal values. No heritage can exist without context. We need to understand the value of a certain heritage site to that embedded community and think of ways to raise the available resources.
 
[GSCT 콜로키움] 05.18 (화) | 노승림 (숙명여대 문화행정학과 교수)
일시 : 2021. 5. 18. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 한국 사찰벽화의 보존
연사 : 노승림 (숙명여대 문화행정학과 교수)

학력

  • 영국 워릭 대학교 문화정책 대학원 박사 졸업 (2017)
  • 영국 워릭 대학교 국제문화정책 & 경영 대학원 석사 졸업 (2010)
  • 서울대학교 공연예술학 협동과정 석사 수료 (2009)
  • 이화여자대학교 독어독문학과 학사 졸업 (1995)
  •  

경력

  • 숙명여대 문화예술행정 대학원 초빙교수 (2020.03-Present)
  • 숙명여대 문화예술행정 대학원 겸임교수 (2018.09-2020.02)
  • 대원문화재단 전문위원 (2007-2009.05, 2015-2019)
  • 대원문화재단 사무국장 (2005.10-2006.02)
  • 성남문화재단 홍보실 과장 (2005.01-2005.10)
  • 공연예술전문지(돌꽃컴퍼니) 월간객석 수석기자 (2001.02-2004.12)
  • 공연예술전문지(돌꽃컴퍼니) 월간객석 기자 (1997.09-2001.01)

 

강연 소개

 예상치 못한 코로나19 유행은 공유된 장소 내에서 무대와 객석 사이의 공감과 집단감화를 중시하던 공연계에 위기를 가져왔다. ‘비대면’이 뉴노멀(New Normal)로 정착한 것은 다중이용이설인 공연장도 예외는 아니다. 공연이 잇따라 취소되고, 사람들의 이동이 제한되자 공연계는 자신들의 역량에 맞추어 각자의 생존방식을 고민하게 되었다. 코로나에 의해 유발된 새로운 공연 형태와 규칙들을 장르별로 살펴보고, 이를 기반으로 코로나가 종식된 이후의 상황을 조심스럽게 예측해보고자 한다.

강연 소개
예상치 못한 코로나19 유행은 공유된 장소 내에서 무대와 객석 사이의 공감과 집단감화를 중시하던 공연계에 위기를 가져왔다. ‘비대면’이 뉴노멀(New Normal)로 정착한 것은 다중이용이설인 공연장도 예외는 아니다. 공연이 잇따라 취소되고, 사람들의 이동이 제한되자 공연계는 자신들의 역량에 맞추어 각자의 생존방식을 고민하게 되었다. 코로나에 의해 유발된 새로운 공연 형태와 규칙들을 장르별로 살펴보고, 이를 기반으로 코로나가 종식된 이후의 상황을 조심스럽게 예측해보고자 한다.
 
 
[강연 내용]
 
코로나 시대 이전 어떤 공연들이 대세였는가를 알아보고자 합니다. 코로나 이전 마지막으로 본 벨기에 연출가 3부작 을 보고 이야기를 나눠 봅시다. 비디오의 내용만 봐서는 뭐지? 하겠지만, 내용은 다음과 같습니다. 로마 비극 공연은 immersive 극장이라는 형태로, 관객과 무대 사이의 공백을 나누지 않습니다. 좌석이 지정석이 아니고, 관람객에게 입장권처럼 나눠주는 형태입니다. 무대와 객석이 구별이 없으며, 관객들이 배우가 직접 움직이는 무대 위에 앉아서, 공연을 관람하는 예술 형태 입니다. 2019 년에 관람하신 분도 있을 듯 한데, 로마 3부작, 셰익스피어 희곡 시저, 클레오파트라 비극 시리즈 하나하나를 2~3 시간동안 연달아서 진행했습니다. 총 5시간 30분 정도 공연이 계속되었으며, 인터미션이 전혀 없었습니다. 무대 장치를 바꾸기 위해서 사이사이 쉬는시간이 5분여 있었지만 거의 run through의 형태였습니다. 공연 중 배우가 앞에서 연기를 하고 독백이나 방백을 할때, 본인이 원하면 어디를 가서든 볼 수 있었습니다. 무대 한켠에는 바가 마련되어 있어서 간단한 음료 음식을 시켜서 먹을 수 있었습니다. 때문에 연기를 실사 관람처럼 볼 수 있었고 매우 인상깊은 공연이었습니다. immersive  극장은, 2006년부터 연극을 시작으로, 극 예술계에서 각광받는 공연 방식으로 부상하고 있는 중입니다. 더 나아가, 무용 음악 등 다른 공연 예술분야에서도, 객석과의 벽을 허물고자 하는 시도들이 많이 진행되고 있으며, 연기자와 무대, 관객이 merging 되는 것이 새로운 흐름입니다. Immersive 극장의 중요한 요소는, 공연과 관객 사이의 커뮤니케이션이고, 여기에서 나타나는 즉흥적인 효과를 추구하는 실용적인 무대입니다. 코로나가 발생한 이후로, immersive는 커녕, 배우들과 음악가들 사이의 소통조차도 금지되었습니다. 지난 해 2020년은, 공연계를 기자였던 1996년부터 보았지만, 이런 초유의 역사가 없었습니다. 초기에는 예술계를 살려보고자 많은 노력을 했지만, 예술의 전당 그리고 세종문화회관이 공공기관이기 때문에, 코로나의 전파원이 되었을 경우 받게될 사회적인 비난을 감수해야하기 때문에, 다른 어떤 사설 극장 보다 더욱 엄격하고 보수적으로 대응할 수 밖에 없었으며, 사실상 폐쇄했다고 볼 수 있습니다.
 
2020공연예술계 결산(KOPIS)
암울한 흔적이 통계 슬라이드 처럼 보여준다. 코피스의 통계를 보면 얼마나 1732억 전년도에 의해서 44% 감소된 수치이고, 그래프에서 보다 시피 4월에는 공연이 안되서 집계조차 되지 않았다. 이러한 실적을 감안을 했을 때, 2019년도의 데이터 전송의 의무화가 진행되기 전이라서 감소폭이 높을 것이라는 것을 알 수 있다. 하반기 슬라이드를 보게되면 2020년도 7월 부터 2021 1월 까지 잡혀있네요 공연의 영향을 전반적으로 확인 가능합니다. 7월을 기점으로 확진자가 대폭 늘어났습니다. 급격히 떨어지는 예매에서 8~9월에서는 70%이상 감소하였습니다. 다행이 확진자수가 감소하면서 사회적 거리두기가 1단계로 완화 되면서 공연 매출 까지 소폭 상승하긴 했지만 2019녀에 비교하면 30%도 미치지 못했습니다. 혹독한 한 해를 보내게 되었습니다.
 
장르별 매출 분석을 해 보면 어떤 장르가 가장 큰 피해를 보았는지 알 수 있습니다. 보통 7개로 나뉩니다. 그 중에서 큰 낙폭이 있었던 장르는 뮤지컬입니다. 2019년 대비 전반적으로 감소를 하였습니다. 이는 예술가들이 어려움을 겪고 있음을 알수 있었습니다. 매출액에서도 그 피해를 알 수 있습니다. 특히 무용 분야의 경우 그렇습니다. 2019년 대비 86퍼센트 매출이 감소한 것으로 집계되었습니다. 다른 분야도 마찬가지입니다. 수치 상 뮤지컬이 그나마 상승하였습니다. 그렇다고 하여 뮤지컬 시장이 확대된 것은 아닙니다. 다른 기타 장르 대비 상대적으로 그러한 것입니다. 그래도 나아지는 상황입니다. 공연장이 문은 열었으며 유연해진 것입니다. 또한 코로나 시대에 익숙해 지면서 가장 큰 발견이라 한다면 공연장 안의 감염 확률이 다른 공공 시설에 비해 높지 않습니다. 어느정도 확신을 가질 수 있는 사례입니다. 기본적으로 공연장의 경우 마스크를 쓰는 것이 원칙이며 같은 방향을 보며 잡담을 할 수 없는 에티켓이 있기 때문입니다. 서로 대화하거나 마스크를 벗거나 소리를 지르거나 노래를 부르거나 하면 감염 확률이 높겠으나, 공연예술계의 공간은 그렇지 않다는 인식이 잡혀가고 있습니다. 물론 이러한 공간에서 확진자가 한명도 없었던 것은 아닙니다. 코로나 감염은 뮤지컬, 오페라, 성악 분야에서 그 사례가 있었습니다. 왜냐하면 대사가 있는 장르의 경우 리허설 중에 보통 그랬습니다. 그래서 공연장 내 여러가지 감염 관련 이슈가 생겼을 때에는 방역 당국이 신경을 곤두 세우며 엄격히 행동을 통제하며 검역 검사 방역을 진행하였었습니다. 하지만 올해 부터는 방역당국이 확진자 신고에도 크게 유연해진 상황입니다. 다시 말해 공연 공간은 안전한 곳으로 인정을 받고 있습니다. 그리고 공연이 꾸준히 진행되고 있습니다.
 
저는 코로나 시국에 문화생활을 할 때 사람들이 비난을 할 것이라 생각하였었습니다. 현재 의외로 코로나 이전의 경우 사람들이 많이 찾지 않을 것 같은 공연들 조차 항상 만석인 상황입니다. 가장 대중적이지 않은 장르를 예를 들자면 4중주 이지만 요즘은 그러한 장르도 매진인 상황입니다. 이를 코로나의 역설이라고 저희는 부릅니다. 공연계의 미래의 갈림길이 여기서 결정이 되고 있습니다. 클래식 음악계나 전통적 공연 방식을 그대로 유지를 하는 동안 또다른 예술 장르들은 코로나 시국에 그 이전부터 진입을 하고 있었으며, 점차 박차고 발전하는 등 실험적 컨텐츠가 더욱 발전하고 있습니다. 언텍트 콘서트가 그렇습니다. 메타버스 콘서트라던지 코로나 시대에 각광받고 발전하는 또 다른 코로나의 역설을 살펴볼 수 있습니다.
 
비대면 콘서트 예시
비대면 콘서트의 진화를 보여주는 슈퍼주니어 라이브 공연이 그 예시입니다. 슈퍼주니어 라이브 공연이 유료 공연이었습니다. 메타버스 및 증강현실을 어떻게 적용할지 참신한 시도를 볼 수 있었습니다. 이러한 것이 보여주는 신선함을 가지고 코로나의 시국에 제한된 한계를 극복하려는 모습을 볼 수 있었습니다. 이러한 과정이 어떤 식으로 구현이 되고 어떤 조건이 필요한지 메이킹 필름으로 만든 것도 있었습니다. 이는 대중문화 공연인데 이러한 테크놀로지를 순수예술공연에도 가져 올 수 있을까에 대한 고민을 하였습니다. 이 메이킹 필름은 무대의 경계와 기술의 한계를 넘어선 신개념 온라인 콘서트를 보여줍니다. 카메라 워킹 뿐만아니라 AR 연출로 더 생동감있게 효과적으로 극대화 시키고 관객과 아티스트가 다가갈 수 있는 화상 연결을 통해 실시간으로 연결됩니다. 인터렉티브한 공간 시도를 위해 화상 채팅 리허설을 하고 전세계의 팬들이 전부 접속이 가능합니다. 오프라인 공연을 할 수 있을 때 까지 임시방편적 대안의 공연으로 이야기를 하지만 이 프로그램이 임시 방편 대안으로 사라질까요? 이러한 거금과 자본으로 완성도 높은 이 프로덕션이 사라질까요? 심지어 이 기술은 그 자체로 남아 스트리밍 서비스를 통해 유료로 진행하고 있기도 합니다.
 
SuperM Beyond Live
슈퍼주니어 언택트 공연의 사례에서 메타버스, 증강현실을 구현한 방식에 신선하고 참신한 시도들이 많았습니다. 전체적인 공연 모습은 물론, 멀티캠으로 원하는 멤버도 골라서 볼 수 있었습니다. 증강현실 및 가상현실, 3D 모델링 기술 등을 무대마다 적절하게 사용하였습니다. 실시간으로 전세계의 팬들과 만나볼 수도 있었습니다. 여기서 ‘Beyond Live’란, 무대의 경계와 기술의 한계를 넘어선 신개념 온라인 라이브 콘서트라는 뜻입니다. 코로나 시국에 일반적인 공연이 가지고 있는 한계를 극복하는 모습을 보여줬습니다. 여기서 기존의 대면 공연과 다른 세 가지 관전 포인트는 카메라 워킹, AR, 인터랙티브입니다. 이 공연은 오프라인 공연의 임시방편적인 대안으로 얘기되고 있기는 하지만, 거금과 자본을 들여서 완성도 높게 만든 프로덕션으로, 유료로 스트리밍 판매가 되고 있습니다. 슈퍼주니어의 공연은 큰 화제가 되었고, 매출도 크게 올리고 있다고 합니다. 이러한 상황에서 봤을 때 코로나가 잠잠해지더라도 이러한 공연의 형태가 계속 이어질 수 있을 것입니다. 연사님께서는 대중문화공연이 가진 기술들을 순수 공연, 예술과도 접목시킬 수 있을지를 계속 고민하셨다고 합니다. 예술을 영상으로 만드는 작업은 완전히 새로운 현상은 아닙니다. 주요 예술단 등은 이미 시행하고 있었고, 특히 시각을 활용하는 예술들의 경우 촬영하여 전세계에서 상영될 수 있도록 하는 것은 흔합니다. 스트리밍 서비스로 공연을 접하는 경우, 무대 뒤에서 무슨 일이 벌어지고 있는지 볼 수 있기도 하고, 공연의 해설, 백스테이지에서의 인터뷰등도 볼 수 있었습니다.
 
메트로폴리탄 오페라단
그때당시 메트로 폴리탄 오페라단의 라이브 스트리밍 서비스를 보고 가실께요! 이러한 시도가 21세기 초부터 되었고 블루레이, DVD등으로 판매하며 수익을 남기려는 전략을 오페라와 연극이 advantage로 삼으면서 진행되었습니다.
 
언텍트 트렌드 안에서 Beyond live와 같은 콘서트나, 이전부터 시도되었던 영상 사이에는 큰 간극이 있습니다. 그 의미를 살피자면 national theatre live같은 경우 대중문화와 고전 순수 예술 사이에 가운데서 줄타기를 잘한 경우입니다. 실제로 코로나 직전까지 매출이 올랐고 작품의 완성도도 올라갔습니다. 연극 안에 영화적 기법들을 적극적으로 도입하며 영화와 연극의 구분을 헤치려는 노력을 보이는데 오페라의 경우에는 바뀌는걸 싫어하는 보수성 때문에 시도에 제약이 있을 수 밖에 없습니다. 예를 들자면, 인터뷰 분장 등을 보여주는 시스템은 결국 공연을 찍는 영상 자체만 현대적일 뿐이라는 사실을 더욱 부각시키지 않을까요. 즉 여전히 사람이 만들어야 하는 수동성을 보여줍니다.
 
오페라 등의 문제가 저는 규모의 경제를 적용하지 못한다에 있다 생각합니다. 초기 창작물을 만들때 다양한 비용이 드는데, 반면 이를 녹화한 영상 등은 재현할 때 큰 돈이 들지 않습니다. 이것을 프로덕션의 규모의 경제라 합니다. 그러나 순수 공연 예술은 이게 불가합니다. 즉 공연을 만드는 제작 과정에서의 아날로그 형식을 디지털로 바꾸는 것 그 이상을 하지 못하고 있는 것 같습니다. 그 이유로는 아마
1)   극장의 대체 불가능성 (구조 변화에 한계가 있음, 예술성이 변화할 위험이 있음)
2)  테크놀로지를 이용해 동작이 많아지는 것에 오페라 가수들의 거부감 : 노래를 망가뜨릴 수 있다는 두려움, 소리의 품질을 신경쓰지 않아도 되는 매체에 대한 주저함
과연 공연장 안에서의 감동을 테크놀로지가 재현해도 동일히 느낄 수 있는 걸까 의문이 끊임없이 있기 때문입니다.
 
그럼에도 불구하고, 오케스트라 혹은 콘서트 공연을 할 수록 적자를 보는 형태입니다. 타 생산품 같은 경우 대량생산이 가능하기 때문에 인건비 감소가 가능합니다. 하지만, 공연예술의 경우 가장 큰 비중을 차지하는 것이 인건비인데, 공연에서 사람을 대체할 수 있는 연기자, 배우, 등이 있는것이 아닙니다. 그사람이 공연을 해야 의미가 있는 것이지 로봇이나 누군가 대체할 수 있는 자원이 투입 될 경우 이는 성립하지 않기때문입니다.
 
메트로폴리탄의 가장 큰 문제는 영상을 제작하는 등 겉으로는 진보적으로 보이나 인터미션에서 일어나는 일을 살펴보면 그렇지 않다는 것을 알 수 있습니다. 보통 인터미션에서 무대의  커텐을 닫고 있을때 무대장치나 무대 디자인을 변경해야하는데 이를 사람이 해야합니다. 극장 자체가 너무 오래되어서 기계로 할 수 없으며 사람이 직접 무대를 변경해야하는데, 영국의 텔레그라프라는 신문사가 제작하여 위와 같은 문제를 보여준 영상(영상 시청: Behind the curtain: 타임랩스) 을 보면 좀 더 잘 이해할 수 있습니다. 무대와 무대사이의 인터미션중에서 무대 장치를 바꿀때 약 100명의 스텝이 움직여야하기 때문에 공연장 무대 위에서 보여지는 배우나 음악가를 제외하고 무대를 제작하는 많은 인건비등을 생각할때 이익이 남을 수 있는 구조가 아닙니다.. 메트로폴리탄의 경우 이익을 남기기 위해서 메트로폴리탄 HD 영상을 서비스하는 시도를 하나 반면에 반대에 부딪히기도 합니다. 이러한 영상을 만들기 위해서 추가적인 예산이 필요하기도 하고, 전세계에 영상을 판매를 하였으나 판매를 통한 수익이 그런한 예산을 커버할 만큼 이익을 내지 못하는 데에 문제가 있습니다.
 
 
공공재로서의 문화상품의 한계
비배제성, 비경합성이란 조건이 충족이 되었을때 문화상품을 공공재라고 할 수 있습니다. 보통의 사람들은 비용을 지불하고 공연을 봐야하는 것으로 보통 인식하지 않고, 국가의 지원이나 후원 등을 통해서  제작하는 것이 공연이라고 인식하기 때문에, 상품을 만들면 만들수록 적자의 폭이 커지는, 즉 자본주의 사회에 어긋나는 상품이라고 볼 수 있습니다. 그럼에도 불구하고 인간의 정신을 살찔 수 있는 주요한 자원이 바로 공연예술이고 바로 여기서 예술경영이라는 것이 출발하게 되는 것입니다. 예술경영은 지원을 받아서 수순 예술, 음악, 발레, 클래식 콘서트 등을 만들어서 상품으로 판매하는 것으로, 적자를 전제로 이러한 상품을 제작하고, 무임승차를 당연하게 여기는 것을 감안하고 미디어나 영상물을 제작하여 추가적인 적자를 만들고, 또 다시 경제적인 적자를 야기하는 것이 코로나 이전의 공연예술계의 현실이었습니다. 
 
메트로폴리탄의 경우 국가 지원금 이외에 전세계의 다양한 기부와 후원을 통해서 운영을 해왔습니다. 후원자들의 경우 영상제작과 같은 새로운 시도 및 변화를 받아들이기 보다는 단순히 수익을 창출하기 위한 수단으로서 영상을 인식하는 경향을 보였고, 돈을 벌기 위해서 이러한 시도를 하는 경우엔 후원을 중단하려는 움직임을 보이기도 하였습니다. 메트로폴리탄 오페라 공연 표는 구하기 힘들고 항상 매진되었으나 영상 제작 직후에는 표 판매가 부진하는 등의 상황이 발생하기도 하였습니다. 그래서, 영상 제작 기획자가 코너에 몰리는 상황에 직면하기도 하였습니다. 대중문화가 시도하는 참신한 방법들이 공연쪽에 도입이 되기 위해서는 아날로그적인 공연장에 최첨단의 시설 접목 여부와 관계된 기술적인 문제, 수순예술에 대해서 우리가 갖고 있는 보수적인 생각 등을 극복할 필요가 있습니다. 하지만 그런 부분에 대해서 매우 회의적이라고 생각합니다.
 
공연계가 위축되어 있는 동안 새로운 시도를 하려고 했던 단체가 음악계 중에서 서울시향인데, 정기공연의 변경 사례도 많았고, 사과문도 많이 싣기도 했습니다. 또한, 해외 협연과 같은 것들이 취소되거나 연기되는 사태를 경험하기도 하였습니다. 반면에 KBS 교향악단의 경우 그 기간 동안 단원들을 무급휴직을 시키고 아예 공연을 올리지 못하였습니다. 이러한 어려운 상황에서 서울 시향의 경우 영상을 제작하려는 시도를 하였고, 단원들이 모여있는 상태가 코로나에 어긋나는 상황인 것을 고려하여 안전한 공연을 위한 매뉴얼을 제작하는 등 여러가지 시도를 하였습니다. (영상 시청: 오스모벤스케 서울시향 온라인 콘서트 영상 2020년 5월: 뉴노멀에 적합한 공연을 준비하고 제작하기 위한 매뉴얼에 대한 설명. [예] 연주자의 안전조치, [2] 온라인 공연으로서의 전환조치, [3] 해외 출연자의 출현을 최소화, 협연자 및 객원연주자의 경우 국내연주자를 우선적으로 고려, 공연참여인원은 마크스 쓰는 것을 원칙으로 함, 관악기 연주자의 참여를 최소화, [4] 공연장의 방역 및 환기, 거리두기 자석제 실시, 상황에 따라서 유관중을 무관중으로 변경 등). 서울시향에서 제작한 동 메뉴얼은 전세계 오케스트라 등이 개발한 메뉴얼과 비슷합니다. 예를 들면, 단원들 사이에 간격을 2미터를 유지하거나 비에나 필하모닉의 경우 관악기 주자의 경우 비말전파와 관련한 과학적인 실험을 진행하기도 하였고, 1인 1보면대 사용하는 것으로 규정하는 등 코로나 시대에 적합한 조치를 취하기위한 노력을 단행중입니다. 공연을 하면서 레파토리나 프로그램이 대규모 공연을 하기에 어렵기 때문에, 특히 말러와 같은 음악 공연이 어렵고, 앙상블에 대한 어려움도 있기 때문에, 온라인 콘서트 등을 통해서 관객을 만나려고 노력을 합니다. 많은 노력을 했지만 영상에서 보여주는 것이 대중 공연과 비교하여 지루한 면도 있습니다. 공연계가 매우 보수적이기 때문에 예를들면, 리허설때 기획사가 무대위에서 촬영을 할 경우 연주자 이외에는 다른 사람들이 올라오지 못하게 하는 등의 보수성이 짙기 때문에 대중음악 공연과 비교해서 다양한 시도를 적용하지 못합니다. 코로나의 상황들에 따라서 여러가지 시도들을 하고 있고, ‘이러한 변화가 포스트 코로나 이후에도 지속될 것인가?’ 라는 부분에 대해서 얘기를 해보고자 하였습니다.
 
 
결론: 모든 장르가 똑같은 미래를 맞이할까?
공연계술계 중에서 ‘클래식 음악계가 코로나 시대 이후에 바뀔 수 있을까?’라는 물음에 저는 결국에 버티다가 전통적인 방식으로 돌아갈것 같은 생각이 듭니다. 그러나 이러한 것이 바람직한 방식인지는 모르겠습니다. 저는 진화론자이고, 개인적으로 진화를 못하는 수순 혈통주의자라면 도태할 수 밖에 없다고 생각하는데, 공연예술계에서 진화를 할 의지가 없는 곳이 클래식 음악계가 아닌가 싶습니다. 제가 너무 비관적인 관점을 견지한다고 생각할 수 있겠지만, 클래식 음악계를 생존시킬 수 있는 방법에 대해서 고민을 해보기 위함입니다.
 
 
질문 답변
 
질문 1: 요즘 사람들은 유투브를 통해 성악, 연주하는 사람을 많이 접하고 있습니다. 예를 들어 성악하시는 분이 한국 가곡이나 4-50년대 옛 한국 노래들을 올리거나, 첼로 연주하는 사람이 편곡한다던지 등의 컨텐츠가 많다고 합니다. 이런 움직임이 어떤 유의미함이 있다고 생각하시나요? CT에 자동 연주, 클래식 연주를 하는 연구자들이 많습니다. 조성진 연주를 분석 후 연주 스타일을 살아내도록 하는 기술을 연구합니다. 최신 음악 정보 기술들이 맞닿아 있는 부분이 있지 않을까 하여 공연예술계에 어떻게 연결될까요?
 
답변: 클래식 음악을 보편화 시키는 데에 있어 유투브나 스트리밍 서비스는 도움이 됩니다. 코로나 종식 후에는 유투브같은 그런 음악 작품을 무대에서 연주하는 것을 보고싶다라고 생각하고 스스로 공연장을 갈 확률은 통계적으로 비관적입니다. 앞서 말씀 드렸다 싶이 공공재로서 순수 공연예술의 성격때문에 무료로 즐기는 것은 즐기지만 돈을 주고 사려고 할 때 손해보는 감정을 느낄 수 있어 기꺼이 지불하는 것을 주저합니다. 이것이 한계입니다. 음악 자체의 보편성을 보았을 때 영상매체와 온라인을 활용하는 것은 교육 가치로서도 좋습니다. 우리는 하지만 자본주의 사회이며 예술가도 돈을 벌어야 합니다. 그들의 예술을 노출시킨다고 해서 그들의 경제적으로 올라갈 것인가에 대해서는 그렇지 않다고 생각합니다. 조성진 공연이 클래식 음악계에서 그들의 공연은 흑자를 이룹니다. 희귀한 케이스입니다. 특히, 조성진 같은 경우가 그러한 사례입니다. 공연을 보러 오는 관객을 분석한 경우가 있었는데, 비슷한사람들이 와 있습니다. 한사람, 소수의 팬이 여러 공연을 소화하고 있는 경우가 많습니다. 조성진 공연은 반대로 보이지 않은 팬들, 새로운 팬들이 유입이 됩니다. 그 사람들이 클래식이 좋아서 왔는가 보았을 때 다른 공연장에 나타나는 것을 볼 수 없습니다. 그사람은 조성진을 보러 온 것이죠. 클래식 음악 향유 차원은 아닙니다. AI가 조성진을 흉내내서 그것을 공연을 한다라고 햇을때 조성진이 없으면 티켓팅을 매진시켰던 조성진 팬들이 과연 조성진이 없는 조성진의 연주를 볼려고 티켓을 기꺼이 지불할 것인가에 대해는 미지수라고 생각합니다. 다시 말해 스타 마케팅이라할 수 있습니다.
 
 
질문 2: 연극을 비대면으로 송출할 때, 생방송 송출하듯이 편집된 영상을 보이는 것이 불만이었습니다. 연극과 뮤지컬에서의 매력은 조연의 행위 하나하나가 완성된다 생각하기 때문입니다. 이러한 형식에 대해 어떻게 생각하시는지 궁금합니다.
 
답변 : 우리는 지금껏 카메라가 보여주는 것만 볼 수 있지 않았나요. 다만 돈을 더 들일 수 있다면 카메라가 보여주는 것을 넘어서 볼 수 있지 않을까 싶습니다. 5G로 갈 때 카메라가 증가하는데, 이 때 내가 원하는 카메라 앵글을 골라 볼 수 있게 됩니다. 극예술에서 소외되었던 작은 장면들도 앞으로 볼 수 이게 되지 않을까 싶습니다
 
 
질문 3: 코로나 상황이 끝나면 클래식 계가 다시 보수적이 되지 않을까요. 좀 더 캐주얼하게 본인의 연출로 유튜브 영상을 만들거나, AI 연주 같은 것이 오히려 클래식을 듣지 않았던 사람들도 클래식에  접근하게 할 수 있지 않을까 싶습니다.
 
답변 : 같은 필드 내에도 다양한 생각이 있기 때문에 어떻다고 말하기 어렵지만, 클래식 음악 자체가 호소하는 계층이 매우 소수입니다. 이에 아마 어떤 기술이 접목된다 해도 매니아를 늘리지는 어렵지 않을까 싶습니다. 대중음악과 다르게 클래식은 똑같은 악보를 정확히 연주해야 하고, 이런 점이 클래식의 접근성을 떨어뜨리게 됩니다. 또 공연계가 orthodox하게 유지하게 될것인가 라는 질문에는, 기획력의 문제를 생각해볼 수 있습니다. 어떤 새로운 기획을 도와줄 수 있는 사람을 만난다면 바뀔 수 있지만 음악가들끼리 무언가 새로운 것을 한다는 건 어려움이 있습니다. 즉 새로운 성공을 위해선 좋은 기획자도 있어야 할 것 같아요.
 

[GSCT 콜로키움] 05.11 (화) | 한경순 (건국대 조형예술학과 교수)
일시 : 2021. 5. 11. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 한국 사찰벽화의 보존
연사 : 한경순 (건국대 조형예술학과 교수)




학력
  • 국립 상트페테르부르그 헤르젠대학교 예술학 박사 졸업 (2005)
  • 고려대학교 미술학 석사 졸업 (1999)
  • 국립 로마 문화재 보존학교 보존학 석사 졸업(1994)
  • 인하대학교 미술학 학사 졸업 (1989)


경력

  • 대한민국 문화재위원 (2017.05-Present)
  • 충청북도 문화재위원 (2012.01-Present)
  • 건국대학교 교수 (2005.03-Present)
  • 경주대학교 교수 (2000.03-2005.02)
  • C.N.R Con. Lab 연구원 (1991.02-1994.11)
  • 조계종 성보보존위원회 위원(문화재보존) (2004.03-Present)
  • 문화재청 전문위원(회화보존) (2004.04-2016.04)
  • 국무총리실 자문위원(문화재보존) (2004.03-2005.02)
  • 문화재청 감정위원(회화분야) (2000.04-2004.03)


강연 소개

 종교적 행위로서 파생되는 불교 예술품은 매우 다양하겠으나, 시각적인 효과를 구체화시키는 불교벽화는 종교적 표현 의지로서 고대부터 끊임없이 제작되고 변화해온 대표적인 종교적 산물이라고 볼 수 있겠다. 사찰벽화는 불교 표현 매체로서의 시각적 효과와 함께 예배의 공간과 함께 공존한다. 또한 역사적 증거와 학술적 미술사적 자료를 제공해 주는 사찰벽화는 우리와 선대에 있어 종교적 지식 전달의 매개체인 중요한 위치에 있다고 볼 수 있다. 

 한국 사찰벽화는 다른 유물에 비해 벽화가 위치한 산지가람의 급격한 온, 습도 변화와 같은 환경적 요소와 건물에 귀속된 관계에서 발생하는 목조건축의 변형으로 인한 물리적 파손, 그리고 사찰벽화 자체가 가지고 있는 재료적 한계성으로 인해 오랜 세월을 유지하기에 많은 어려움이 따르게 된다. 이러한 요인들로 인해 한국 사찰벽화는 다른 문화재들과는 그 수량이 상대적으로 적은 편이며, 보존 및 관리 그리고 지속적인 보존방안과 그에 관한 연구 등이 절실히 요구되고 있다.

[강연 내용]
  • 불교벽화 개요
 
이번 강연은 불교 벽화를 중심으로 합니다. 우리나라의 벽화라고 하면 대중적으로 떠오르는 것이 없습니다. 주로 서양의 프레스코 많이 떠오르고는 합니다. 저도 보존을 공부하는 것 역시 이탈리아의 로마에서 시작을 하였습니다. 보존 공부를 마치고, 한국에 돌아와서 한국의 벽화들이 많이 평가가 절하되어 있다고 느꼈습니다. 고구려 고분 벽화가 한국의 벽화에서는 대중적인 편에 속합니다. 저 역시 개인적으로 고구려 고분 벽화가 고려의 불화와 더불어 큰 가치를 갖는다고 생각합니다.
 
남쪽에는 고분 벽화가 많이 남아 있지 않은데, 사찰 벽화의 경우는 종교적인 색채를 갖기 때문에 많이 훼손도 있었고 비종교인에게는 거리감을 갖고는 합니다.  한반도에는 서기 4세기 중후반에 중국의 남조의 영향을 받아서 불교 미술을 하기 시작합니다. 불교는 17세기가 되면서 우리나라화 되었다고 말할 수 있습니다. 하지만 불교 문화재, 특히 불교의 그림은 특히 많이 남아 있다고 할 수는 없습니다. 많은 이유들이 있을 수 있겠는데, 외세의 침입이 대표적인 원인이기도 합니다. 외세의 침입을 받아, 이때 사찰이 피해를 보게 되고 그 사찰의 장식적인 요소인 벽화는 훼손을 피할 수 없었습니다. 이러한 이유와 더불어 불교 벽화는 그 수가 매우 적습니다. 본 강연의 주제는 이러한 불교의 벽화를 다루게 될 것 같습니다. 그리고 이렇게 많이 문화기술대학원의 기술들을 통해서 어떻게 복원할 수 있을지에 대해서도 이야기해볼 수 있는 시간을 가질 것입니다.
 
우리나라의 남아 있는 불교 벽화 중 가장 오래된 것은 고려 말의 부석사 조사당의 벽화 입니다. 부석사는 경상북도 영주에 있는 사찰로 최순우 선생의 무량수전 배흘림기둥에 기대서서”의 배경지이기도 합니다. 부석사는 경사진 지형에 지어진 사찰로 전형적인 산지가람을 느낄 수 있습니다. 여기의 조사당에 있는 여섯 점의 벽화들이 국보로 지정된 불교 벽화들입니다. 이 그림들은 일제강점기 때 일본 사람들에 의해서 해체되었습니다. 일본으로의 반출을 목적으로 하는 것인지, 낡은 건물로부터 보존하고자 하는 것을 목적으로 하는 것이었던지, 정확한 목적은 밝혀지지는 않았습니다. 봉정사에도 주목할 만한 불교 벽화가 있습니다. 영국의 엘리자베스 2세도 방문한 봉정사는 작은 절임에도 불구하고 그 매력을 지닌 절입니다. 봉정사의 불교 벽화는 정확한 명문이 없기 때문에 학자마다 그 만들어진 시기가 엇갈립니다. 조선 초기의 벽화로 훼손이 매우 심각한 상황입니다. 여말선초에 그려진 그림이기 때문에, 조선 시대의 그림임에도 고려 시대의 냄새가 매우 짙습니다. 얼굴 부분을 긁어서 얼굴이 남아있지 않습니다. 예상하건데, 파불에 의한 훼손으로 추정이 됩니다. 무위사의 불교 벽화는 불상 뒤에 있는 후불 벽으로 봉정사의 벽화와 함께 비단에 그려지는 탱화 이전에 그 탱화의 기능을 하지 않았으리라고 추측이 됩니다. 이러한 양식은 임진왜란을 이후로 벽화의 훼손을 피하기 위해 탱화의 형태로 변화했으리라고 추측이 됩니다.
 
우리나라의 경우는 일제강점기 이후에 주체적으로 어떠한 보존의 움직임을 보인 것은 1956년에 극락적의 벽화에서부터입니다. 건물이 오래되다보면, 그 건물이 더 이상 버티질 못합니다. 그래서 건물의 벽화를 해체하여 박물관에 보관하기 시작합니다. 이렇게 많은 사찰들의 벽화들이 해체되어 보관되기 시작합니다. 하지만 이러한 벽화들의 원본들이 많이 사라지곤 하였습니다. 이는 한국에는 건물을 중심으로 하는 문화재 가치관이 있기 때문에 벽화를 장식적인 요소로 생각하였기 때문이라고 생각합니다.
 
  • 벽화 보존 및 안료 분석을 위한 과학적 체계 확립
 
조선시대 벽화 같은 경우에는 우리나라 같은 경우는 1990년대만 해도 벽화에 대한 과학적 조사를 하지 않았습니다. 제가 한 25년전부터 과학적 조사의 체계를 잡아가기 위해 노력했습니다. 2003년도 되어서 여러 분야의 지원을 받아 벽화에 대한 과학적 분석을 할 수 있었습니다. 벽화는 어떻게 조성이 되어 있는지 대체로 문헌이 아닌 구전이 되는 경우가 많은데, 과학적 조사를 통해 밝혀낸 것이 많습니다. 어떤 흙을 썼으며, 그 흙의 조성은 어떠하며, 어떠한 풀을 혼합했으며, 그 구조는 어떠한지 등에 대한 조사를 꾸준히 해왔습니다. 다만, 파기조사의 특성상 한계를 지니고 있는데, 모든 벽을 다 뜯어서 해체를 할 수가 없고, 유실되서 문제가 있는 벽화들에 한해서만 조사가 실시되었다는 것입니다.
 
그리고 벽화에 사용되는 안료에 대해 알아보기 위해 많은 안료에 대한 분석을 실시했습니다. 사찰벽화의 경우에는 전통적으로 사용되는 안료는 어느정도 찾아냈습니다. 다만 아직 해결하지 못한 숙제가 있는데 더 많은 데이터를 통해 해결할 수 있을 것으로 생각합니다. 안재홍 교수님께 딥 러닝과 AI라는 키워드를 많이 들었는데, 이런 기술을 활용하면 벽화에 기기를 가져만 대어도 어떤 안료를 사용했는지 분석 결과를 얻어낼 수 있을 것으로 생각합니다. 분석은 굉장히 많이 이루어지고 있습니다. 1년에도 수십곳을 하는 것으로 하고 있음에도 불구하고 아카이브가 조성이 되어 있지 않습니다. 최근 국가에서 정보선터를 개설해서 자료를 보강하려는 노력을 하고 있기 때문에 나아질 것입니다. 안료를 공부하다보면 동서양을 비롯해 비슷한 부분이 많습니다. 대부분 기존 틀을 크게 벗어나지 못하고 있는데 두 가지 경우가 여전히 명확하지 않습니다.
 
  • 벽화의 손상에 대한 연구 및 재처리 작업
 
벽화에 대한 손상 원인에 대한 연구도 이루어지고 있습니다. 대부분 남아있는 것은 조선시대의 사찰변화인데, 숭유억불 정책을 펴던 조선사회의 특성상 사찰벽화들이 산으로 이동하는 경우가 많았습니다. 그러다 보니 산지가람과 같은 환경적 요인 뿐만 아니라, 사계절이 뚜렷한 우리나라의 특성이 벽화 보존에 있어 부정적 영향을 끼치게 됩니다. 온도 편차도 40도 이상이고 건기와 우기의 습도도 50%이상 변합니다. 그것은 결국 사찰벽화에 치명적인 영향을 줍니다. 비, 바람, 지하수와 같은 것들이 영향을 줍니다.
 
흔히 손상유형을 물리적, 화학적, 생물학적, 인위적으로 구분을 합니다. 이런 구분을 하고 있다는 사실을 알아두시기 바랍니다. 흙으로 된 벽화는 벌레들이 살고 알을 낳고 애벌레가 자라는 경우가 많습니다. 이들이 성충이 될 때까지 자라면서 벽화 안에 유기물을 섭취합니다. 또한, 잘못된 보수나 낙서같은 요인도 영향을 미칩니다.
 
봉정사 벽화의 예시인데, 벽화는 비단이나 종이에 그리는 것처럼 흙으로 되어 있기 때문에 필력을 자랑하기 어렵습니다. 그러나 이 벽화는 그럼에도 불구하고 섬세하게 잘 그렸습니다. 이것이 고려 벽화의 특성인데 아쉽게도 손상이 많이 되었습니다. 1999년도의 사진인데 건물이 틀어지다보니 벽이 깨졌습니다. 건물을 해체하다보니 벽화도 해체를 하게 되었습니다. 3부분으로 나누었는데, 각각의 손상 원인을 조사했습니다. 건물에서 해체하여 별도의 장소에 보관을 하게 되었습니다. 벽화는 벽에서 떨어져 나오는 순간 벽화로서의 미학적 정체성이 다하게 된다고 생각하여 해당 작업을 할 때 딜레마를 경험했습니다. 그래도 최종적으로 분리해서 보관하여 상태가 악화되는 것을 막는것이 맞다고 생각을 합니다. 그래야 추후에 복원도 할 수 있기 때문입니다. 분리한지도 22년이 지나서 보존후 재처리가 필요합니다. 현재 박물관에 볼 수 있게끔 전시가 되어 있습니다.
 
무위사 벽화 29점의 예입니다. 현재 허름한 박물관에 보관되어 있어서 예산을 편성해서 새로 박물관을 건립하였습니다. 보존처리는 가장 중요한 것이 가역성입니다. 원형을 존중해서 언제든지 부가적으로 추가되는 부분들이 쉽게 제거되는 것인데, 그 전에는 그렇게 하지 못했습니다. 시멘트나 알루미늄 샤시, 비닐봉지를 사용하기도 했는데 2004-5년부터 재처리를 해서 현재 보관하고 있습니다. 더 자세하게 설명하면 과거에 과격한 정도로 재처리를 했기 때문에 그것을 없애는 것이 상당히 어렵고 숙제입니다. 예를 들어 그림 위에 덧대어 페인트를 바르면 그림과 붙어서 처리하기가 굉장히 까다롭고 이런 경우가 다반사입니다. 79년도에 80년 초에 국내에서 재처리 개념이 발달하기 시작했기 때문에 부적절한 재처리 조치가 많이 이루어졌습니다.
 
흥국사의 예입니다. 다른 벽화들은 흙에다가 그린 데 반해 종이를 벽에 붙인 다음 그린 것이 특징입니다. 이를 첩부벽화라고 하는데, 이런 사례가 많지 않습니다. 이 부분에 대한 처리도 종이, 벽 전문가들과 함께 협업하며 연구하고 있습니다. 종이는 총 열 일곱장의 한지를 붙여놨음을 알 수 있습니다. 처리하고 처리한 후가 큰 변화가 없는데 이는 보존 처리를 잘 했다는 것입니다. 복원과 보존이 마치 기존 것을 새것으로 만드는 것이라고 착각을 많이 하지만 그렇지 않습니다. 균열같은 부분은 추후 문제가 될 수 있기 때문에 적극적으로 제거가 됩니다.
 
위봉사라는 절의 그림인데, 이 그림을 넣는 이유는 처음으로 X-ray 장비를 사용하여 뼈대와 균열과 같은 벽체의 내부를 살펴본 사례이기 때문입니다. 지금은 방사능의 문제 때문에 법적으로 허용은 되지 않고 있습니다. 그 다음부터는 계속 감마선 사진을 찍기 시작했는데, 육안으로는 확인할 수 없는 문제를 해결하는데 도움이 되고 있습니다.
 
금산사는 외부 3층 내부 단층 건물로 되어 있는데, 1991년에 이탈리아 전문가들의 자문을 받아 국내 전문가들이 다 해체를 한뒤 재조립했는데, 상당히 이해하기 어려울 정도로 과격한 작업이었습니다. 유럽의 프레스코에는 적절한 방법이었지만 우리나라의 흙벽화에는 적잘하지 않은 방식이었습니다. 10년만에 그림들이 다 망가졌습니다. 그 당시 처리했던 것들이 코팅이 되어 엉망이 되어 있습니다. 187점을 다시 해체를 한 뒤 재처리 해서 박물관에 전시를 했습니다. 현재 당시 사용되었던 합성수지들을 최대한 제거를 했지만 모두 제거할 수는 없습니다. 합성수지가 변질이 되면 재처리가 절대 불가능하게 됩니다. 다만 희석해낼 뿐입니다.
 
  • 벽화의 보존을 위한 조건
 
박물관에서 보관을 잘 하려면 최소한의 온도 및 습도 조절이 필수적입니다. 그런데 이러한 운영을 국가에서 하지 않고 박물관을 갖고 있는 사찰에서 하기 때문에 전기세 약 400만원 정도의 비용이 드는 작업이 어려운 상황입니다. 부석사 벽화 6점은 문제가 생겨서 국립문화재연구소에 있는 상황이고 시간과 경비를 아끼지 않고 처리가 되도록 하는 중입니다. 1926년의 한 신문기사에는 일본에서 부석사 조사당에 손을 대 보관을 했다가 조각조각 썩어버렸다는 내용도 있었습니다. 그래서 전체적인 복구 과정은 1916년 해체를 시작했고 1985년에 한 차례 응급 처리를 한 후 2000년에 온도 및 습도 영향을 적게 받도록 하는 환경 조성을 했습니다. 특히 1985년 처리 과정에는 아크릴에 해당하는 성분을 다량 사용해서 전통적인 그림의 느낌이 아닌 페인트칠의 느낌이 강해진 것은 사실입니다. 2000년도에는 위급한 부분만 녹여내고 들뜬 부분을 잡아내는 처리를 했는데 20년 정도 지나니 다시 문제가 생겨서 문화재연구소에 이전한 상황입니다. 부석사 조사당 벽화는 보통 사찰에 있는 수호신인 사천왕처럼 6폭의 그림으로 되어 있습니다. 원래 전통 벽화는 아교라는 풀을 사용해서 보존처리를 합니다. 합성수지를 사용하면 당장 처리에는 용이한데 시간이 지나면 페인트가 말라서 덩어리져 떨어지는 것과 비슷한 문제가 생깁니다. 1916년 이후 1920년대에는 균열이 일어난 부분을 석고로 메꾸어놨습니다. 당시로서는 적절한 조치였을지 몰라도 석고가 황산칼슘이다보니 색상 변질 등 문제가 생깁니다. 많이 사용되는 방법 중 하나는 열화상 카메라를 이용해 채색층이나 균열층을 살펴보는 것인데요, 많은 연구를 통해 벽화에 최적화된 방식이 개발되어 있는 상황입니다. 열화상 다음으로 많이 쓰이는 건 초음파로 벽의 마감재를 살펴볼 수 있습니다. 현장에서는 열화상과 초음파를 함께 사용해서 손상 도면을 분석하곤 합니다. 실제 현장에서 수집한 시료를 분석하는 것은 아무래도 복구가 불가능한 것들을 대상으로만 가능하고 정량적으로 물성을 파악하기에는 한계가 있습니다. 이러한 한계를 최대한 줄이기 위해 XRF 등을 사용합니다.
 
벽화에서 가장 중요한 것은 그림, 즉 채색입니다. 최근에는 채색 상태를 살펴보기 위해 자외선(UV), 적외선(IR)을 사용합니다. 자외선은 보수한 부분이나 덧칠한 부분을, 적외선은 밑그림까지 볼 때에 사용해서 육안으로 확인하기 어려운 글씨나 밑그림 흔적, 명문이 있던 자리를 찾아내기도 했습니다. 조사당 벽화를 적외선 카메라로 보면 덧칠이 매우 많고 손상이 큽니다. 비록 아직 벽화에는 적용 단계에 있지만 테라헤르츠, 초분광 카메라도 있습니다. 현재까지 밝혀낸 조사당 벽화의 채색 안료는 황토, 백토, 주사, 동녹, 금 등입니다. 벽을 만들 때에 주 원료는 흙과 모래이지만 벼 여물 등 식물성 섬유질도 넣어 균열에 강하고 오래 갈 수 있도록 합니다. 조사당 중 일제강점기 때 만들어놓은 나무 틀은 편백나무가 사용되었는데 조재와 만재 부분이 겹쳐 있습니다.
 
 
  • 우리나라 사찰 벽화 보존의 숙제
 
아주 작은 시료하나로 해결을 해야하는데 샘플링 자체를 부정적으로 보는 시각이 많아서 힘듭니다. GPR 사진인데 방사능 사진이 바깥으로 못 나옵니다. 나무 위에 흙을 바른 것이 보입니다. 효과가 꽤 좋아서 감마 사진을 대체할 수 있는 것으로 보입니다. 도면을 그려봤습니다. 결론 말씀드리겠습니다. 벽화가 중심이다 보니깐 사실 과거에 아크릴에멀젼 수지를 굉장히 많이 썼습니다. 이 부분을 어떻게 할 것인가 우리나라 사찰 벽화의 가장 큰 숙제 이고, 그리고 이게 건물에서 벽화가 자꾸 띕니다. 과연 이것을 원위치에 되돌린다는 것이 현실적으로 어려울때가 많습니다. 보관에는 한계가 있거든요. 이게 큰 숙제입니다. 그 다음으로는 흙벽을 보강할 수 있는 방법이 숙제입니다. 다양한 광원을 가지고 조사하는 것이 필요하지 않을까 싶습니다. 그러니까 현장성이 있어야합니다. 벽화는 직접 가서 조사해야합니다. 광원을 이용하면 비파괴적으로 충분히 벽화를 조사할 수 있지 않을까합니다. 보존 학문에서 여러분은 다른 엔지니어만큼 해당 분야의 엔지니어링을 할 수 없습니다. 여러분은 인문학을 융합하여 전문가가 되어야 합니다. 제 강연은 여기까지하고 질문을 받겠습니다.
 
  • 질의응답
 
Q. 불화에서 얼굴이 잘 안보이던데 얼굴이 특히 훼손되는데에는 이유가 있을까요?
 
특별한 이유는 없고, 오래되면 자연스레 훼손이 되는데 다른 부분은 수정을해도 얼굴 부분은 수정을 잘 안해서 그렇습니다. 불상의 경우엔 구조적으로 목이 취약해서 잘 부숴집니다.
 
Q. 숭례문 천장의 용 문양이 복원될때 바뀌어서 복원이 되었는데 그 이유가 궁금합니다.
 
이게 보존에 있어서 윤리, 미학 등에 있어서 중요한 문제입니다. 가장 오래된것만이 진실인지 생각을 해봐야합니다. 숭례문의 경우에는 일제강점기때 바뀌었기 때문에 사람들이 그대로 바꾸고 싶어하지 않았습니다. 우리나라는 용이 왕을 의미하고 왕은 백성과 친해져야 생각하기 때문에 다른 모습의 용을 그렸습니다. 조선 후기의 용을 넣었습니다. 합리적인 판단이 중요하다고 생각합니다.
 
Q. 부처님이 불교 역사를 보존하기 위해 엄청난 노력을 하고 있는걸 보시면 탐탁치 않아하실 수도 있을 것 같은데 어떻게 생각하실지 궁금합니다.
 
정말 많이 생각해본 문제입니다. 유럽에 성당이 굉장히 많죠? 성당을 보호하기 위해 어마어마한 예산이 들어가죠. 불교도 마찬가지인데 예수님이 금으로 발라달라고한적이 없죠. 저는 과잉충성이라고 생각합니다. 회화를 보존하지만, 작품을 평가하지 말라고 배웠습니다. 마치 의사가 환자를 가려 받지 않듯, 종교 문화재를 받게 되면 보존작업에 충실히 임하려고 합니다. 우리는 문화재의 최종 상속자가 아니며 과도기에서의 관리의 역할을 하는 것뿐입니다.
 
Q. 지금도 백년, 천년 뒤에는 문화재가 될 것들이 만들어지고 있습니다. 요즘의 문화는 많은 사람들의 참여로부터 형성되거나 디지털의 성격을 띠는 특성을 가지는데, 복원과 보존에 있어 어떤 접근이 옳을까요?
 
백남준의 다다익선과 같이 작품의 수명이 다하는 경우도 있고 대지미술, 퍼포먼스처럼 이벤트적인 경우도 있습니다. 결국엔 작가의 의도에 맞추어 보존하는 수밖에 없을 것 같습니다다. 미래의 학자들의 연구를 위해 아카이빙하는 방법을 계속해서 질문해야 할 것입니다.
 
Q. 보존의 관점에서 고분벽화와 사찰벽화의 차이점은 무엇이며, 북한에 있는 고분벽화의 현황은 어떠한가요?
 
 우선 고분벽화는 보존이 훨씬 어렵습니다. 땅굴 속 그림이기 때문에 환경을 제어하기 힘들며, 손상원인이 복합적이며 지진에 의한 피해에 대한 대처가 이루어지기 힘들다. 산소가 희박하여 조사작업도 어려우나, 다양한 원인을 규명하게 됩니다. 2007, 2008년에 평양에 갈 수 있는 기회가 있었는데, 남북관계가 이슈가 될 때마다 연구가 지속되기 어려워졌습니다.
 
Q. 문화재 보존에 관해서는 유달리 정치적인 개입이 크며 때론 사회적 비난의 대상이 되기도 한다. 보존하는 입장에서 어떤 생각을 가지고 계신지요?
 
 신안 앞바다에서 20평짜리 방 5개를 채울만큼의 양의 해저 유물이 발견되었을 때, 1주일 만에 형태를 못 알아볼 정도로 녹슬어버린 적이 있었습니다. 그 이후로 해양국립문화재연구소 등 보존과학 관련 예산이 편성되었습니다. 국보 1호 숭례문이 불 탔을 때, 전통재료와 전통건축방식에 대한 예산이 편성되었고 현재 미술품 감정에 대해서도 마찬가지일 것입니다. 이제서야 국립기관이 잡히게 되었으나, 과거에는 모두 단타로 이루어져 지속적인 연구가 이루어지기 힘들었습니다. 아직도 배타적인 연구문화가 남아있으나 융복합 연구가 가장 필요한 분야라고 생각됩니다.
 
[GSCT 콜로키움] 4.27 (화) | 이준환 (서울대 언론정보학과 교수)
일시 : 2021. 4. 27. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : Media, AI 그리고 HCI
연사 : 이준환 (서울대 언론정보학과 교수)





학력

  • School of Computer Science, Carnegie Mellon University 박사 졸업 (2008)
  • School of Design, Carnegie Mellon University 석사 졸업 (2000)
  • 서울대 산업디자인 및 시각디자인과 학사 졸업 (1995)


경력

  • Associate Professor, Department of Communication & Information Science and Culture, Seoul National University (2011.03-Present)
  • CIO & Director of Mobile Service Division of NEOWIZ INTERNET / NEOWIZ LAB. (2010.03-2011.02)
  • Director of Music Service Division in NEOWIZ BUGS CO. (2009.06-2010.03)
  • Post-Doctoral Research Fellow in Carnegie Mellon University (2008.07-2009.05)
  • Taught “Graduate Design Seminar II (51-702)” and “Introduction to Computing in Design (51-741)” in Carnegie Mellon University (2000.07-2008.05)
  • Summer Intern in IBM T.J. WATSON Research Center (2000.05-2000.07)
  • Manager of Interface Design Team in NEOWIZ CO. (1997.05-1998.06)
  • Project Manager and Interface Designer in IMAGEDROME (1995.10-1997.05)
  • Creative Director in ALCHEMIST (1994.12-1995.08)


강연 소개
 신문, 방송 등으로 대표되는 전통적인 미디어는 디지털 환경에서 큰 변화에 직면하고 있다. 로봇저널리즘과 자동화된 팩트체킹 등은 이러한 변화의 좋은 사례이다. 정보의 생성과 전달과정에 사람이 아닌 AI가 개입하게 된 로봇저널리즘은 전통적인 미디어가 가진 여러 문제를 해결하게 해준다. 그러나 AI 가 정보를 생성하는 것만이 중요한 것은 아니다. 미디어는 정보서비스 플랫폼이 되었으며 이러한 상황에서 사용자의 요구를 어떻게 담아내야할지가 중요한 이슈로 떠올랐다. 본 세미나에서는 로봇저널리즘과 자동화된 팩트체킹, 대화형 에이전트 연구를 소개하며 미디어와 커뮤니케이션 환경에 AI가 어떻게 활용될 수 있는지를 살펴본다.

자기소개
서울대학교에서 공업디자인을, CMU에서 Computer Science를 전공하며 Information Visualization 와 HCI를 연구하였고, 현재는 서울대학교에서 언론정보학과와 hci+d 랩에서 학생들을 지도하고 있습니다. 현재 소셜 컴퓨팅 관련 연구 토픽을 다루고 있으며, 로봇저널리즘, 알고리즘 기반의 팩트체킹과 휴먼-로봇 인터랙션 관련 연구를 진행하고 있습니다.
 
[강연 내용]
<로봇저널리즘 연구>
로봇저널리즘 소개
로봇저널리즘은 기사 작성에 필요한 데이터의 수집에서 분석, 처리, 기사의 핵심 내용 발견 및 기사 본문 작성, 배포에 이르는 전 과정에 관여하며 자동으로 뉴스 기사를 생성하는 분야입니다. Northwestern 대학교의 StatsMonkey 프로젝트로 시작된 로봇저널리즘은 현재 국내에서는 서울대학교 HCI+D 연구실에서 최초로 한글 기반의 로봇저널리즘 뉴스 기사 만들기 시작하였습니다.
 
KBO 프로야구 뉴스 기사와 같이 현재 로봇저널리즘을 통해 데이터 수집과 분석을 통해 기대 승률을 예측하기도 하고, 기사 작성이 가능합니다. 2군 야구 경기 기사 개발과 같이 데이터만 있으면 투수/타자 관점에서의 서로 다른 기사 생성이 가능합니다. HCI+D 랩에서 시스템 개발을 맡아서 하고 있으며, 기존의 언론사가 인력의 문제로 하기 어려운 일들을 하고 있습니다. 이는 데이터를 텍스트 기반의 내러티브로 만드는 개념이고, 한국어/중국어/영어/프랑스 등 다양한 언어로 동시에 기사를 생성하는 것이 가능합니다. 초반 야구기사 작성을 위해 개발되었으나 다른 분야의 기사 또한 활용되고 있습니다.
 
대용량의 데이터를 빠르고 정확하게 처리할 수 있다는 장점이 있습니다.  리포터나 편집자보다 빠르게 데이터, 잡음 속에서 신호, 즉 유용한 정보를 찾아내는 역할을 하게 될 것입니다. Quakebot 과 같은 유용한 사례 또한 존재하며, 로봇 기자가 사람과 협업하는 사례 또한 많이 보입니다. 영어권에서는 이미 기자의 손을 거치지 않은 알고리즘에 의해서 기사를 내보내고 있고, 빅데이터 분석, 자연어처리, 기계학습 등 다학제적인 접근이 필요합니다.
 
로봇저널리즘 프레임워크는 데이터 수집에서부터 의미 생성, 기사 작성까지 5단계로 구분됩니다. 첫 번째 데이터 수집의 경우 API, 공공 데이터 등 활용하여 데이터 크롤링, json 형태로 저장하는 단계이며, 그 다음 이벤트 추출의 경우 의미 있는 이벤트 추출 과정, sense making 데이터 해석하는 과정입니다.
 
중요한 이벤트가 무엇인지 찾아내는 작업은 세 번째, 주요 이벤트 검출 (Key Event Detection) 단계에서 수행합니다. 데이터를 분석해서 의미 있는 데이터의 패턴을 찾아내는 중요한 작업입니다. 예를 들면, 야구 경기의 작은 이벤트 데이터마다 기대승률 변화가 큰 지점(peak-point finding)을 찾고, 이 지점을 고득점으로 점수를 매깁니다(scoring). 이 점수를 바탕으로 중요한 이벤트를 판별할 수 있습니다.
 
네 번째, 무드 판단 (Mood Detection) 단계에서는 앞에서 찾은 데이터 패턴을 통해 경기의 흐름을 파악합니다. 이렇게 파악한 ‘무드’는 다음 단계에서 뉴스 기사의 분위기를 결정하고, 분위기에 맞는 표현을 만들어주기 위해 사용됩니다.
 
마지막 단계는 뉴스 기사 생성 (News Article Generation) 단계입니다. 보통은 자연어 생성(Natural Language Generation) 기술로 뉴스 기사를 작성한다고 생각하실 텐데요, 이 기술을 로봇저널리즘에서 현실적으로 활용하기에는 어려움이 있었습니다. 자연어 생성을 하려면 언어 모델(Language Model)을 사용해 다음 단어를 계속 예측해 나가야 하는데, 이러한 방식이 뉴스 기사처럼 완결된 형태의 문장과 단락 구조를 만들기에는 적합하지 않았던 것입니다. 그래서 고안한 다른 방법은, 패턴에 따른 템플릿을 보유하고 있다가 뉴스의 무드에 따라서 해당 템플릿 안에 있는 문장들을 최적화(선택)하여 뉴스를 생성하는 것입니다. 이렇게 템플릿을 사용할 때 예상할 수 있는 문제는 글이 단조로워진다는 점인데, 이를 극복하기 위해 탄력적으로 문장을 배열하여 기사를 생성하고 있습니다.
 
가중치 매트릭스 (weight matrix) 기법
주식 기사는 항상 대형주 위주로 작성되고 있습니다. 이와 달리 독자의 주식을 중심으로 써주는 ‘개인화된 기사’를 만들어 주면 좋겠다고 생각했습니다. 개인화 및 다양화된 기사를 생성하기 위해서 이벤트 점수(event score)를 상황에 따라 다르게 설정하고자 했고, 이를 위해 가중치 매트릭스(weight matrix)라는 기법을 사용하였습니다.
 
가중치 매트릭스란, 이벤트의 고유한 가중치를 매트릭스로 구성하고, 이벤트 간의 상대적 중요성을 판단의 기준으로 삼는 방법입니다. 프로야구를 예로 들면, 일반적인 상황에서는 1점 홈런보다 2점 홈런이 중요도가 높습니다 (고정 가중치). 하지만 8회 초 0:0인 상황에서 1점 홈런이 일어난 이벤트와 7:2인 상황에서 이기는 팀의 2점 홈런 이벤트를 비교하면 1점 홈런이 더 중요도가 높을 것입니다 (변동 가중치). 이렇게 이벤트마다 고정 가중치와 변동 가중치를 구성하고, 고정 가중치와 변동 가중치의 곱으로 이벤트 점수를 계산합니다. 점수가 높은 이벤트가 기사의 ‘야마(기자 용어)’가 될 수 있습니다.
 
이런 식의 접근으로 템플릿 방식의 한계를 극복하고 있습니다. 템플릿에서 용어만 끼워 넣는 게 아니라, 템플릿 안에서도 주요 구성요소를 바꿔갈 수 있습니다. 중요한 이벤트를 토대로 기사 제목을 선정하고, 기사의 중요도를 결정할 수도 있으며, 독자의 컨텍스트에 맞는 기사를 결정해줄 수 있게 됩니다.
 
독자의 컨텍스트를 고려한 기사 생성
웨어러블 기기의 보편화, 사물 인터넷 발달을 배경으로 이런 태스크가 가능해졌습니다. 기사를 보는 사람의 컨텍스트에 맞게 실시간으로 기사를 생성해주는 것입니다. 예를 들면, 운전 중이라는 시나리오가 있을 수 있습니다. 이런 상황에서는 짧은 길이의 기사를 만들어 줄 수 있습니다.
 
로봇저널리즘에 대한 사용자 평가
여러 매체에서 로봇저널리즘 알고리즘으로 다양한 튜링 테스트를 수행하고 평가를 내렸습니다. 사실 튜링 테스트가 로봇저널리즘의 평가에 있어 그다지 유의미한 것은 아닙니다. 순수한 자연어 생성이 아니라 템플릿을 활용한 방식이기 때문에, 생성된 뉴스의 문장들이 완성도 있을 수밖에 없기 때문입니다. 그래도 사람들이 응답한 내용에서 흥미로운 점은, 사람이 작성한 기사가 완성도는 더 높지만, 정보량의 측면에서는 로봇이 작성한 기사가 더 높은 점수를 얻었다는 것입니다. 사람의 경우 특정한 정보만을 선택적으로 필터링하여 기사를 작성하기 때문에 상황에 따라 집중하는 정보가 달라지는 반면 인공지능의 경우 알고리즘에 따라 일관되게 선택하기 때문에 위와 같은 결과가 나온 것으로 생각됩니다.
 
로봇저널리즘의 의의 및 가치
 인간사에서 정보 전달의 역사는 매우 깁니다. 인쇄술과 기계의 발달은 정보의 증가와 확산을 이끌었고, 폭발적으로 증가한 정보의 양은 곧 ‘검증된 정보’에 대한 요구로 이어졌습니다. 이것이 바로 저널리즘이 탄생한 배경입니다. 이후 등장한 컴퓨터와 인터넷의 발달은 정보의 홍수 속에서의 저널리즘의 역할을 더욱 대두시켰습니다.
 이러한 흐름 속에서 등장한 로봇저널리즘은 중요한 정보를 정확하고 빠르게 전달하고, 개인적인 요구를 고려한 정보 전달, 곧 기사를 개인의 영역으로 가져온다는 점에서 그 가치를 가집니다. 또한, 단순 반복 업무가 요구되는 데이터 기반의 리포트를 알고리즘이 대신 작성함으로써 사람의 불필요한 노동력 소모를 줄일 수 있게 되었습니다.
그러므로 로봇저널리즘은 정보의 홍수 속에서 필요한 정보를 어떻게 잘 전달할 수 있을지에 대한 정보의 전달적 관점에서 그 가치를 가진다고 볼 수 있습니다.
 
로봇저널리즘의 활용
 실제로 로봇저널리즘의 활용되는 예시를 살펴보겠습니다. 지난 19대 대통령 선거 보도를 위해 SBS와 협력하여 개발한 ‘인공지능 로봇 기사’는 선거 개표 시간 동안 총 250여 개의 단순 정보 전달 목적의 기사, 곧 ‘스트레이트 기사’를 생성하여 전달하였습니다. 이 중 SBS에서는 170여 개 기사를 선별하여 발행하였습니다.
 이때 생성되는 기사는 미리 여러 개의 텍스트를 작성해두고 그때그때 상황에 맞춰 삽입하는 방식으로 이루어졌습니다. 그런데 실제 발행 시에는 데이터를 포함한 문단은 그대로 둔 채 바로 이 템플릿 문장만 다듬어 전달한 것입니다. 이 과정에서 약 5~8분 정도 소요되었습니다.
인상 깊은 것은 저희가 보도 속도에 중점을 두어 알고리즘을 짰음에도 불구하고 방송국에서는 비교적 시간을 소요하더라도 직접 사람이 개입하여 다듬었다는 것입니다. 곧 로봇은 초안을 제공하고 사람은 이에 더해 가공하는 방식으로 협업을 한 것입니다. 이는 아직 로봇이 사람의 역할을 완전히 대체하지 않았다는 것을 말해줍니다.
 저희는 이러한 방식의 협업을 참고하여 PINGS이라는 새로운 시스템을 개발했습니다. 이 기술은 인간과 로봇이 협업하는 방식의 로봇저널리즘 시스템으로 알고리즘이 데이터를 기반으로 먼저 기사의 전체적인 프레임을 제공하면, 인간이 여러 가지 데이터 옵션 등을 선택하여 기사를 완성하는 방식으로 기사를 작성합니다. 즉, 사람이 직접 변동가중치를 조정하여 기사의 강조점과 메시지를 수정하도록 한 것입니다.
  텍스트뿐만 아니라 주제에 적합한 배경 이미지를 합성하여 카드 뉴스를 제작하는 새로운 시도도 진행하였습니다. 이때, 텍스트를 읽어주는 내레이션에 경우 네이버의 TTS(Text-To-Speech) 기술을 접목하여 활용하였습니다. 실제 지난 선거 때 이 기술을 사용하여 시도된 SNU 카드 뉴스 로봇은 입력한 정보에 따라 그리고 개인의 별도 설정에 따라 다양한 형태의 카드뉴스를 생성하는 결과를 보여주었습니다.
 
<대화형 에이전트 - 로봇기자>
대화형 로봇기자
 그러나 이러한 기술들이 사용자의 관심을 밀접하게 따라가지 못합니다. 선거에 경우 점차 시청자의 관심이 줄어들고 관심을 가지는 후보자들도 줄어드는 데 반해 로봇의 경우 한번 정해진 알고리즘을 따라 이미 아는 정보도 계속 전달하는 오류가 발생하기 때문입니다.
 이를 극복하기 위해 고안한 것이 바로 대화형 로봇 ‘챗봇’입니다. 21대 국회의원 선거 보도를 위해 개발된 챗봇 ‘나래봇’은 키워드를 입력하면 여러 가지 정보를 실시간 대화형식으로 전달하였습니다. 예를 들어 ‘000 후보 당선 확률’을 입력하면 해당 후보의 실시간 득표수와 당선확률을 제시하는 방식입니다. 흥미로운 점은 중간에 서버가 다운되어 챗봇이 대답하지 못한 때도 사람들은 계속해서 질문을 던졌다는 것입니다. 이것을 HCI 용어로는 ‘KaRS framework’라고 합니다.  곧, 사람들이 agent나 AI가 사람이 아닌 걸 알면서도 사회적 행위자로 인식을 하고 이에 따라 마치 사람을 대하는 것처럼 행동하는 것을 말합니다.
 앞으로 사용자 의도에 맞게 데이터를 내러티브로 변환하는 지능형 정보 시스템이 대두되는 한편, 알고리즘이 정보 전달 과정에 깊숙이 개입하게 될 것입니다. 또한 개인에게 필요한 정보를 맞춤형으로 전달하게 될 것으로 기대됩니다.
 
<팩트체킹>
알고리즘 팩트체킹
 가짜 뉴스의 범람 문제가 있습니다. 정보의 생성과 확산이 빨라지고 정보를 유통할 수 있는 채널이 다양해지면서 가짜뉴스가 사회적인 문제가 되고 있습니다. 따라서 뉴스 기사의 팩트체크 필요성이 대두되고 있습니다. 그러나 가짜뉴스는 정의하기가 어렵습니다. 단순히 정보가 틀렸다고 해서 가짜뉴스라고 부르지는 않습니다. 칼로 바와 피셔(Karl ova & Fisher)에 따르면 가짜뉴스는 기만성을 가져야 하는데, 이는 사람을 의도적으로 속이고자 하는 속성을 말합니다.
 펙트체킹 알고리즘은 정보 생성자의 의도까지 파악하기는 어렵습니다. 그래서 Fact Verification으로 방향이 맞춰지고 있습니다.
 
팩트체킹의 세 가지 접근 방법

  1. 전문가 팩트체킹
: 저널리즘 전문가에 의한 팩트체킹을 말합니다. 퀄리티가 좋지만, 실시간 및 다량의 팩트체킹 은 불가능하고, 비용이 많이 듭니다.
  1. 크라우드소싱 팩트체킹
: 일반인의 집단지성을 활용한 팩트체킹입니다. 소위 쓰레기 기자라고 불리는 기자들을 거르는 과정입니다. reportrash.com 웹사이트를 참고하시면 됩니다. 이 방식의 단점은 quality에 의문이 가고, 정파성에 오염될 수 있다는 것입니다.
  1. 알고리즘 팩트체킹 = Automatic Fact Checking
: 신속한 펙트체킹을 위해 알고리즘을 활용합니다. 총 3단계로 접근이 가능합니다. Find claims -> Find evidences -> Fact verification. 이는 팩트체크를 위한 주장을 선별하는 방법으로서 검증 가능한 주장인지 아닌지 찾아내는 과정입니다. 정치인의 디베이트를 분석해서 특징을 찾아내서, 특징 벡터를 만든 후 사실적 주장인지 아닌지 판별해 내는 과정입니다.
 
Claim Buster 논의
 사실적 주장이 무엇인지 검증하는 기술로서 이미 검증된 주장 저장소와의 비교를 통해 이루어집니다. 이는 수치에 근거한 사실을 말합니다.
 
한국어 팩트체크 데이터 세트 구축
 현재 한글 기반의 팩트체킹을 위한 데이터가 없습니다. 우리 연구팀에서는 데이터를 2만 개 구축했습니다. 올해는 8만 개 더 만들 예정입니다.
 각 주장 당 5개의 근거 문장을 만들고, 이것을 이용해서 베이스라인 모델을 만듭니다. 베이스라인 모델의 학습 단계에서는 데이터 세트는 문장, 참/거짓 여부, 근거의 위치가 기록되어 있습니다. 판단을 위한 모델을 만듭니다. 그 모델을 이용해서 위키피디아 문서에서 근거 문장을 자동으로 찾아내서 참/거짓 판단하게 됩니다. 문장을 베이스라인 모델에 넣어서 참/거짓을 예측하게 됩니다. 베이스라인 모델의 정확도 측정 결과, 판단 정확도(BLEU)가 63.84% 나왔습니다. 데이터 세트가 작았지만, 레퍼런스로 찾는 위키피디아도 작았습니다. 그래서 판단 정확도가 높게 나온 거고, 위키피디아 전체를 대상으로 하면 많이 떨어질 것으로 예상됩니다.
 
팩트체킹 연구의 의의
 새로운 시도를 하는 연구라서 가능성이 많이 있지만, 한계도 많이 있습니다. 데이터 세트를 구축해서 다른 연구자도 이런 연구를 할 수 있도록 방향이 마련되어 있습니다. 본 연구를 통해 인공지능 기반 팩트체크 실현화 가능성을 확인할 수 있었습니다.
 그러나 사실, 한계가 더 많은 단계입니다. 주장의 의미를 파악하는 팩트체킹이라기 보다는 기존 데이터 아카이브를 통해 주장이 확인되는지를 검증하는 팩트 검증에 해당합니다. 따라서 팩트 검증의 소스가 되는 신뢰도 있는 레퍼런스 데이터베이스가 확보되어야 한다는 어려움이 있습니다. 빅 카인즈와 같은 뉴스의 경우 역시 신뢰도에 의문이 듭니다. 예를 들어, “AZ 백신이 혈전을 일으켰다”는 것에 대해 검증할 수가 없습니다. 현실적인 어려움이 있습니다.
 
 
 

질문 1: 학생 1
우리나라 언론을 다룰 때 있어서 전파성을 빼놓을 수 없습니다. 말씀하신 스포츠 기사의 경우 가치 중립적이기때문에 전파성의 개입이 적다고 보는데, 칼럼이나 사설 같은 언론사의 전파적 관점이 반영되는 글이 많습니다. 로봇저널리즘이 한국의 언론 전파성에 영향을 준다며 어떻게 흘러갈지, AI가 자동으로 기사를 생성하는 방향으로 갈게 될지, 아니면 객관적 사실에 맞춘 걸로 방향이 흘러갈지가 궁금합니다.
답 1
전파성을 가지고 알고리즘을 만들어 텍스트를 형성하면 전파성이 강화됩니다. 다만, 이 기술이 이것을 구현하는 것은 매우 어려울 거라 생각하고, 이 기술이 나온다고 해서 전파성이 바뀔 거라고 보기엔 매우 어렵습니다. 기사가 편향적으로 가는 것을 막기 위해 정보 시각화와 같은 방법으로 기사가 얼마나 편향 되어있는지 보여주는 연구들이 있는데, 이와 같이 사용자가 자신이 지금 어떻게 정보를 소비하고 있는지 깨닫게 하는게 전파성을 극복하는데 더 큰 도움이 될 것이라고 봅니다.
 
 
질문 2: 학생 2
전반적인 강의를 보니, 개인화된 언론을 얘기하시는 것으로 느껴집니다. 개인화된 언론으로 갔을 때 지금 언론이 하고 있는 역할이 궁극적으로 어떻게 변해야 하는지 궁금합니다. 제 질문은 앞선 질문과 관련이 있는데, 얼마전 기사에서 인공지능과 변호사가 대결을 하여 인공지능이 매우 높은 점수로 이겼습니다. 개인적으로는 객관적 판단에 있어서는 인간이 배제되어야 한다고 생각하고, 언론은 객관적이어야 하는데 그럼 언론의 역할이 미래에 바뀌어야 하는건지, 이에 대해 교수님께서 가지고 계신 생각이 궁금합니다.
답 2
기본적으로 알고리즘이 기자의 역할을 대신하진 않을 거라고 봅니다. 새로운 기술을 활용한다면, 기자들이 할 수 있는 역할이 커지고, 독자들이 접하는 기사의 폭도 넓어질 거라고 봅니다. 그러나 앞선 질문과 지금의 질문도 이해는 갑니다. 현재 언론의 신뢰도와 같은 문제들이 있기 때문에 이런 알고리즘이 변화를 가져올 수 있을 거라고는 봅니다. 기사의 역할이나 방향 등을 결정하는 것은 기자들의 역할이라고 봅니다. 다만, 포털이 등장한 후에 기자들이 굉장히 ‘자극적’이고, 주관적인 표현이지만 ‘편파적’인 부분들이 생겨났고 이는 포털의 영향이 크다고 생각합니다. 포털에서의 클릭 수에 의해 기사의 가치가 평가가 되니까 다른 기사를 요약하거나, 궁금증을 일으키는 데에만 집중하여 클릭 수를 높이려는 기사들이 남발되고 있습니다. 이런 현상은 연예에서 정치까지 확대되고 있습니다. 알고리즘의 기여를 생각했을 때, 기자의 역할이 달라지는 게 아니라, 기자의 본분을 지키는 방향으로 가도록 돕지 않을까 합니다.
 
 
질문 3: 남주한 교수님
현재 우리나라의 기사와 언론들이 정치적인 성향을 다분히 띠고 있습니다. 각 언론사에서 이 알고리즘을 사용할 때에, 자신들에게 맞게 사용할 거 같은데, 이 경우 좀 더 편향성이 증폭되지 않을까 우려됩니다. 또한, 개인들도 자신이 보고 싶은 기사만 보게 될 것 같습니다. 결국 기술을 어떻게 사용할까의 문제긴 하지만, 이러한 부분들을 어떻게 막을 수 있을까요?
답 3
실제로 한 기자가 연락하여 같은 질문을 저에게 한 적이 있습니다. 그때 제가 한 답변이 ‘사람이 만들어낸 편향성’은 어떻게 생각 하냐고 역으로 질문 드렸습니다. 계속 나오는 얘기지만, 인간 기자가 만들어내는 편향성도 굉장히 위험합니다. AI가 등장하면서 등장하는 많은 이슈들 중 언론, 미디어 분야에서도 알고리즘의 공정성에 대해 많이 얘기하고 있습니다. 그리고, 알고리즘이 어떻게 운영되고 있는지 파악해야 한다는 움직임이 커지고 있습니다. 즉, Data literacy와 관련된 것인데, SNS에서도 마찬가지지만 이 부분이 좀더 널리 퍼져야 한다고 생각합니다.
 
 
질문 4: 학생 3
1. 저널리즘의 역할이나 균형을 생각해봤을 때, 정보 전달뿐만 아니라 공동의 관심사에서 논평과 해설도 중요한 것 같습니다. 개인의 가치 판단이 개입하는 부분에 있어서, 알고리즘에 가치를 더하는 것에 우려를 가지고 있는데, 교수님은 어떤 생각을 가지시는지 궁금합니다.
2. 요즘 뉴스 소비자들과 독자들이 뉴스와 미디어를 소비하는 형태가 많이 바뀌고 있는데, 넥스트 저널리즘은 어떤 변화를 가질 필요가 있는지 궁금합니다.
답 4
1. 저도 연구 처음부터 고민해온 것입니다. “결과에 가치판단을 가지지 않는다.” 가 제 기준이다. 사실 정치보다 경제, 특히 증시부분에 중점을 둘 때 더 와 닿을 것 같은데, 어떤 주식이 굉장히 성장하고 있기 때문에 매매하는 것을 추천한다고 할 수 있는데, 이것이  굉장히 위험합니다. Information Visualizatoin은 판단을 돕는 도구이지, 판단을 내려주는 것은 아닙니다. 따라서 가치판단 부분을 가능한한 배제하고, 이것이 사람들이 판단을 내리는데 도움을 주길 바랍니다.
2. HCI 수업에서 ‘미디어의 미래’라는 주제로 수업 중입니다. 미디어의 미래는 ‘어떤 정보를 어떻게 전달 하느냐’도 중요하지만, ‘어떤 기술들이 어떻게 활용될 지’도 매우 중요하다고 봅니다.

재미있는 사례를 하나 들어드릴게요. 챗봇 연구를 한다고 했었는데, 챗봇이 Moderator 역할을 하는 것에 대해 연구를 했었습니다. 즉, 챗봇이 누구는 말을 많이 하고, 누구는 적게 하는데, 말을 많이 한 사람의 말을 어떤 내용인지 파악, 정리하고 말을 적게 한 사람에게 ‘너는 어떻게 생각해?’라는 식으로 모더레이팅을 하는 것입니다. 이 연구에 참여한 학생이 재밌는 아이디어로 CHI에 연구를 제출했습니다. 미팅에서 상대와 뻘쭘해서 대화가 잘 안될 때 상대방의 인스타와 같은 SNS에서 정보를 수집해서 ‘상대가 좋아하는 뮤지션’과 같이 모데레이션을 해주는 챗봇인 ‘블라블라봇’을 연구로 제시하였습니다. 실제로 미디어 환경에서 이런 식의 접근이 있을 것 같습니다. 중간에 AI Agent들이 정보를 매개하거나 큐레이션 해주는 것이 있을 것 같습니다. 즉, 로봇저널리즘처럼 데이터를 가공하는 것보다도 정보를 소개해주는 것에 사용되는 것이 큰 의미를 가질 것 같습니다.
 
 
질문 5: 학생 4
기존의 로봇저널리즘은 기존에 있던 데이터를 기반으로 뉴스를 만들어주는 것인데, 이것은 결국 정보를 가지고 기사를 재생산하는 것과 비슷하다고 보여집니다. 마치 현재 연예분야에서 기사를 찍어내는 것과 같이, 공정성과는 거리가 먼 느낌이 강하게 듭니다. 그리고, 로봇이 기사를 만들고, 사람이 다시 발행한다고 하면 기사의 주체는 누가 되는 것이고, 로봇이 생산한 기사라고 표기하는 게 맞을지도 궁금합니다.
답 5
연예뉴스를 마구 찍어내는 로봇이 실제로 있었습니다. 인스타그램과 같은 연예인의 SNS에 방문해 특정 연예인이 무엇을 했다는 내용의 기사를 찍어내는 Abusing Machine이었습니다. 로봇저널리즘이 Abusing Machine으로써 활용될 수도 있지 않냐는 의견이 있었고, 실제로 그런 부분도 있습니다. 윤리와 같은 부분은 중요하기 때문에, 저희도 처음에 말했던 것처럼 어떤 정보를 중요하게 생각하는지 결정하게 됩니다.
 
저희는 기사를 재생산하는 것이 아니라, 데이터를 가지고 기사를 작성하는 것입니다. 즉, 기존의 데이터를 그저 복사, 붙여넣기 하는 것이 아니라, 데이터 속에서 의미를 도출하는 데 중점을 두고 있습니다. 아마도 이 부분에 초점을 두어서 계속해서 공정성과 관련된 문제들을 돌파해 가야하지 않을까 생각합니다.
 
기사를 누가 썼는지를 밝히는 것은 곧, 책임 소재를 밝히기 위한 것이다. 로봇이 썼으면 로봇이 썼다고 해야합니다. 기자가 이름을 밝히는 건 그 글에 책임을 지겠다는 거고, 협업을 헀으면 로봇과 기자 자신의 이름도 모두 밝혀야한다고 봅니다.
 
 
질문 6: 남주한 교수님
교수님이 속해 있는 과는 언론학과인데, 하시는 연구는 자연어 처리분야 같고, 이는 CS연구 같은데, 현재 연구실에 학생들이 어떻게 구성되어 있는지 궁금합니다. 문과 출신 학생들은 어떻게 지도하는지도 궁금합니다.
답 6
저희 연구실은 언론학과 학생만 있는 건 아니고, 전공별로 보면 이공계는 3분의 1, 사회과학은 50%, 나머지는 디자인과도 있고, 농대도 있고, 굉장히 다양합니다. 저희 학생들은 기본적으로 데이터를 다루는 기술은 갖춰야 해서, Social Computing 수업을 듣는데, Python Language에 익숙해지고, NLP하고, 좋은 라이브러리를 활용해서 데이터를 분석하는 것을 배웁니다. 이 분야의 백그라운드 지식 없이도, 관심을 가지며 모두 잘하고 있습니다. 한 학생도 이 분야의 지식을 전혀 모르는 상태에서 Python, NLP를 배웠는데, 시작은 버벅대면서 공부하다가 지금은 데이터 분석 쪽으로 굉장히 잘하는 학생이 되었습니다.
요즘은 도구가 좋아져서 Computational method를 문과 학생들도 활용하는데 전혀 문제가 없다고 생각합니다.
의견: 남주한 교수님
저도 최근에 보면 사회과학 쪽도 그렇고, 다양한 툴을 많이 쓰는 것 같습니다. 예시로, 불어교육학과에서도 자연어 처리 기반 연구하시는 분들이 계셨습니다. 코딩이나 기술적인 부분을 활용하는 건 어떠한 학과를 가도 다 해야 하는 것 같습니다.
의견: 이준환 교수님
저는 카네기멜론 대학교를 나왔는데, 그 당시에도 카네기멜론의 영문과는 프로그래밍을 잘해서 텍스트 분석을 하고 있었습니다. 현재는 모든 학과가 다 기술적인 부분을 다뤄야하는 그런 시대가 된 듯합니다.

[GSCT 콜로키움] 4.13 (화) | 고건혁 (붕가붕가레코드 대표)
일시 : 2021. 4. 13. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 음악 산업의 현재와 미래: 스포티파이와 스트리밍 생태계
연사 : 고건혁 (붕가붕가레코드 대표)



학력:

  • KAIST 문화기술대학원 박사 졸업 (2016)
  • 서울대학교 심리학과 학사 졸업 (2006)

경력:

  • 명지대학교 미래융합대학 겸임교수 (2021.03-Present)
  • 한양대학교 ERICA 소프트웨어 융합대학 겸임교수 (2020.09-Present)
  • 매직스트로베리㈜ 플랫폼 기획 (2018.05-Present)
  • ㈜붕가붕가레코드 대표 (2005.02-Present)
  • 명지대학교 문화예술대학원 객원교수 (2017.03-2018.08)

주요 프로젝트:

  • 음반/음원 제작
    • So!YoON! (황소윤) [So!YoON!] (정규. 2019.05)
    • 술탄 오브 더 디스코 [Aliens] (정규. 2018.10)
    • 새소년 [여름깃] (EP. 2017.10)
    • 실리카겔 [실리카겔] (정규. 2016.10)
    • 술탄 오브 더 디스코 [The Golden Age] (정규. 2013.01)
    • 강산에, 강허달림, 씨없는수박 김대중 외 [블루스 더, Blues] (컴필레이션. 2012.10)
    • 장기하와 얼굴들 [장기하와 얼굴들] (정규. 2011.06)
    • 장기하와 얼굴들 [별일 없이 산다] (정규. 2009.02)
    • 장기하 [싸구려 커피] (싱글. 2008.05)
    • 브로콜리 너마저 [앵콜요청금지] (EP. 2007.10)
    • 상기 타이틀 외 정규/EP 44개, 싱글 71개 제작
  • 공연 기획/제작
    • 새소년 [2020/NEON] @ YES24 Live Hall (단독. 2019.12)
    • 술탄 오브 더 디스코 [GRAND SULTAN NIGHT 2018] @ YES24 Live Hall (단독. 2018.11)
    • 선우정아, 술탄 오브 더 디스코 외 [레이블 무브먼트] @ 서울, 부산 (투어. 2016.08)
    • 강산에 강허달림 외 [블루스 전국시대] @ 대전, 대구, 부산, 서울 (투어. 2014.11)
    • YB, 언니네이발관, 빈지노 외 [Jeju Experience Tour and Festival (JET Fest)] @ 제주 청소년 야영장 (페스티벌. 2013.10)
    • 장기하와 얼굴들 [일단락] @ 악스 코리아 (단독. 2011.11)
    • 상기 공연 외 약 200 회 공연 기획 제작

 

강연 소개:

 1999년 이후 절반 이하의 규모로 급격하게 축소되어 왔던 음악 산업은 2014년을 저점으로 다시 성장세로 돌아섰다. 이러한 반전을 만들어낸 것은 스웨덴 태생의 스타트업인 스포티파이가 성공적으로 만들어 낸 새로운 비즈니스 모델, 즉 월 1만원을 내면 무제한으로 원하는 음악을 끊김없이 들을 수 있는 스트리밍 서비스다. 이후 애플, 아마존 등의 IT 공룡들이 속속 유사한 서비스를 출시하며 2011년 1300만명에 불과했던 유료 스트리밍 구독자는 2020년 현재 4억명에 달하고 있다. 정액 구독 모델이 음악 뿐만 아니라 영상, 도서 등 엔터테인먼트 산업 전체를 변화시키고 있는 지금, 스포티파이와 음악 스트리밍 생태계의 사례를 통해 그 현재와 미래를 살펴보려 한다.
 

강연 요약

1 자기소개

  • 저는 곰사장 고건혁입니다. 2005년 ‘지속가능한 딴따라질’을 모토로 독립음반제작사 붕가붕가레코드를 설립하여, 지금까지 대표로 있습니다. 2007년 ‘브로콜리 너마저’의 EP ‘앵콜요청금지’, 2008년 ‘장기하와 얼굴들’의 EP ‘싸구려 커피’, 2009년 ‘장기하와 얼굴들’ 1집 ‘별 일 없이 산다’를 출시하면서 주목을 받게 되었고, 이후로는 ‘술탄 오브 더 디스코’, ‘실리카겔’, ‘새소년’ 등의 아티스트들과 함께 음악 제작을 해왔습니다. 2019년부터는 인디 레이블 매직 스트로베리와 함께 IT 기반의 플랫폼 사업을 구상하는 일을 하고 있습니다. 2006년 문화기술대학원에 입학한 이후로 꾸준히 관심을 가져온, 데이터 기반으로 아티스트의 잠재성을 평가하는 연구를 비즈니스 모델로 실현해보고자 합니다.
 
2 음악 스트리밍
  • 음악 자체는 창작자와 팬을 중심으로 만들어지고 소비되어 왔지만, 음악 산업, 음악으로 돈을 버는 일은 미디어 기술과 비즈니스 모델을 중심으로 변화해 왔습니다.
  • 음악 산업은 CD가 주요 매체였던 90년대에 최대 규모로 성장했습니다. 그러나 00년대 들어 인터넷을 통해 디지털 음원이 유통되기 시작하면서 음악 시장은 90년대 대비 40% 규모까지 축소되었습니다. 많은 디지털 음원이 불법으로 유통되었고, 합법적인 디지털 음원 시장은 기존의 CD 기반의 음원 시장만큼 성장하지 못했습니다. 많은 이들이 음악 산업은 사양 산업이라고 생각했습니다.
  • 이러한 배경에서 음악 스트리밍 서비스가 생겨났습니다. 스트리밍 서비스는 압축 기술을 이용하여 자료를 작은 용량의 여러 조각으로 쪼개어 전송하여 사용자가 실시간으로 자료를 감상할 수 있게 하는 서비스입니다. 따라서 자료 전체를 전송받지 않아도 그때 그때 원하는 자료를 지연 없이 바로 감상할 수 있습니다.
  • 이러한 스트리밍 서비스는 사용자에게는 수 백만 곡의 노래에 즉각적으로 접근할 수 있고, 원하는 곡을 원할 때 찾아 들을 수 있다는 엄청난 편리함을 제공합니다.
  • 공급자들은 기존의 DRM과 같은 불편한 방식에서 벗어나 편리하게 사용자에게 디지털 음원을 공급할 수 있게 되었고, 스트리밍 서비스를 기반으로 한 정액 구독 방식의 비즈니스 모델이 정착되었습니다.
  • 결과적으로 2000년을 기점으로 계속 축소되던 음악 산업의 매출은 정액 구독 모델이 등장한 이후로 회복세로 돌아서서, 2019년 기준으로 전성기의 약 70% 규모까지 성장하였습니다.
 
3 스포티파이
  • 스트리밍 서비스의 선구자로서 2006년 스웨덴에서 설립되어 ‘어디서든 음악을 끊김없이 들을 수 있도록 한다’라는 비전 하에 기술 기반으로 2008년부터 서비스를 진행했습니다. 기본적인 성장 모델은 ‘freemium’입니다. 유료 구독 회원과 함께 무료로 듣는 대신 광고를 듣게 하는 무료 요금제를 설정하여 사용자에게 경험을 먼저 제공하고 수익화는 그 이후 도모하겠다는 사업 전략을 취했고, 오늘날 구독 플랫폼의 표준이 되었습니다.
  • 구독 매출이 광고 매출의 8배에 달하기 때문에 무료 회원을 어떻게 유료로 전환할까 고민하던 중 내놓은 서비스 전략이 플레이리스트입니다. 기존에 앨범 단위로 듣던 음악을 플레이리스트 단위로 해체하여 재구성하여 새로운 가치를 창출하고자 했습니다.
  • 또한 사용자 개인 맞춤형으로 음악을 추천해주는 방법들을 고안했습니다. 디스커버 위클리는 취향 프로필과 협업 필터링을 활용해 매주 월요일마다 맞춤형으로 30곡의 노래를 추천하여 고객의 꾸준한 유입을 유도하는 음악 추천 기능입니다. 또다른 음악 추천 기능인 릴리즈 레이더는 매주 금요일 사용자 취향에 맞는 신곡들로 플레이리스트 생성합니다. 또한 사용자의 활동 및 특정 시점과 연관된 사건, 분위기 등에 따라 맥락에 맞는 음악을 구성 및 추천하는 맥락 기반 플레이리스트 시스템도 개발하여 운영하고 있습니다.
  • 스포티파이는 음악을 듣는 경험을 넘어 아티스트를 위한 플랫폼 혹은 레이블 서비스. 아티스트를 위한 생태계를 구축했습니다. 아티스트가 스포티파이의 기능을 활용해 자신의 음악을 홍보할 수 있는 플랫폼으로 거듭나고자 한 것입니다. 스포티파이는 레이블을 통하지 않고 직접 저작권을 취해 음악을 공급하고자 했으나, 메이저 레코드 레이블들의 압력으로 중단되었습니다. 현재는 이러한 메이저 레코드 레이블들이 스포티파이 주식 지분의 10%를 차지하고 있고, 2020년 7월에는 유니버설 뮤직 사와 라이선스 계약을 체결하는 등, 서로 견제하면서도 공생하는 관계를 이어나가고 있습니다.
  • 스포티파이는 음악 뿐만 아니라 소리로 이루어진 모은 콘텐츠를 다루는 오디오 플랫폼으로 나아가고 있습니다. 오디오의 넷플릭스가 되기 위해 팟캐스팅 회사 ‘Gimlet’과 ‘Anchor’를 인수하며 팟캐스트 시장에도 우위를 차지하고 있으며, 음악과 팟캐스트를 섞어 사용자 맞춤형 라디오를 제공하고 있습니다.
  • 현재 약 3억명의 사용자가 스포티파이를 이용하고 있고, 그 중 1.5억명이 무료 사용자, 1.5억명이 유료 사용자입니다. 사용자 수는 늘고 있지만 GDP가 작은 국가에 대해서는 더 저렴한 비용으로 월정액 요금을 책정하기에 사용자당 평균 수입(Average Revenue Per User, ARPU)는 꾸준하게 감소하고 있습니다. 그렇기에 새로운 사업인 팟캐스트에서 수익을 발생시켜야 하는 상황이고 여기서 정액제 구독 모델의 한계점에 직면하고 있는 상황입니다.
     
4 스트리밍 생태계: 스포티파이의 경쟁자들
  • 스포티파이의 경쟁 회사들은 애플뮤직, 아마존 뮤직, 판도라, 구글플레이 등이 있습니다. 경쟁 회사의 점유율을 합쳐보면 약 35% 정도의 크기이며, 스포티파이는 약 32%의 점유율을 가지고 있습니다. 1위인 스포티파이와 2위인 애플뮤직의 점유율 차이가 꽤 크긴하지만 압도적인 차이를 보이고 있진 않습니다. 이는 기업의 시가 총액을 비교했을때 대략 20배 이상 차이나는 것을 보면 알 수 있듯, 경쟁 회사들이 초 거대 기업이기 때문입니다.
  • 스포티파이의 경쟁회사들에 대해 알아보도록 하겠습니다. 우선 2위인 애플뮤직에 대해 설명하겠습니다. 애플뮤직은 음악 다운로드 서비스의 선구자지만 스트리밍 서비스에서는 후발주자입니다. 스티브잡스는 생전, 애플뮤직의 스트리밍 서비스에 대해 회의적이었습니다. 특히 스포티파이가 처음 스트리밍 서비스를 시작하려 했을 때, 스티브잡스가 직접 서비스 런칭을 방해 할 정도로 부정적인 시선을 가지고 있었습니다. 하지만 스티브 잡스가 사망한 2015년, 결국 애플뮤직은 다운로드 서비스를 포기하고 스트리밍 서비스를 시작하게 됐습니다. 이 과정에서 애플뮤직은 메이저 레이블과의 담합이나 플랫폼 소유자의 지위를 남용해서 스포티파이를 견제하는 등 여러가지 만행을 저질렀습니다. 다만 하드웨어에 집중하는 애플의 특성 상, 전체 수익에서 애플뮤직이 차지하는 파이가 크지 않기에 때문에 투자나 마케팅적인 한계가 존재하고, 이에 여전히 스포티파이와의 격차를 줄이지 못하고 있습니다.
  • 3위는 아마존입니다. 아마존은 2007년에 ‘아마존 MP3’ 서비스로 음악산업에 뛰어들어 2014년 아마존 뮤직을 서비스 하는 등 현재까지 꾸준히 서비스를 제공하고 있습니다. 아마존은 ‘아마존 프라임’이라는 서비스를 통해 빠른 배송, 책,비디오, 음악 구독 서비스를 번들로 제공하고 있습니다. 전체 아마존의 수익에서 구독이 차지하는 비율은 약 6% 정도로 크진 않지만 장기적 발전 가능성을 보고 투자를 진행하고 있습니다. 이렇게 기업들이 번들 서비스를 제공하여 기업의 생태계에 대한 사용자의 의존을 높이는 방식은 애플 원이나, 네이버플러스 멤버십, 쿠팡 등 여러 기업들이 사용하고 있습니다. 이렇게 얻어진 강력한 사용자 풀을 바탕으로 아마존은 2위인 애플뮤직을 빠르게 추격하고 있습니다.
  • 스포티파이가 스트리밍 서비스의 1등이라고 하지만 실제로는 유튜브가 1등이라 말할 수도 있습니다. 구글의 스트리밍 서비스인 ‘플레이 뮤직’은 2011년 런칭했지만 3%미만의 시장 점유율로 존재감이 없다가 2020년 유튜브 뮤직으로 통합됐습니다. 유튜브 뮤직은 5% 미만의 점유율을 가지고 있지만, 많은 비율의 사용자들은 유튜브 뮤직이나 다른 스트리밍 서비스가 아닌 아닌 유튜브 영상 서비스로 음악을 듣고 있습니다. 하지만 유튜브는 일반 스트리밍 서비스와 다르게 광고 기반을 통해 무료로 음악을 제공하고 있습니다. 유튜브 측에서는 광고를 통해 얻은 수익금의 일부를 음악 업계에 지급했다고 하지만, 전체 음악 소비 시간에 비하면 미미한 수준입니다. 유튜브의 핵심적인 기술은 저작권이 있는 오디오 및 비디오를 찾아낼 수 있는 ‘컨텐츠ID’입니다. 유튜브는 이런 강력한 기술들을 기반으로 광고 수익을 공유할 수 있는 모델을 만들어, 다양한 컨텐츠를 확보하는 동시에 저작권자들의 문제제기를 피해갈 수 있었습니다. 하지만 유튜브는 국제 저작권 법의 허점을 이용하여 스트리밍 업계에서 가장 낮은 수준의 로열티를 지불하고 있습니다. 최근에는 모든 컨텐츠에 광고를 붙이는 등, 콘텐츠 수입을 증가시키기 위한 방법을 모색하고 있습니다.
 
 
5 스포티파이의 대안: 밴드캠프
  • 아티스트들은 스포티파이가 주는 돈이 적다고 말합니다. 한 아티스트가 한국에서 월 평균 노동자 임금인 336만원 가량의 수입을 거두기 위해선 약 80만 회의 스트리밍 수를 발생시켜야 합니다. 이것은 굉장히 어려운 숫자입니다. 한 번 들을 때마다 4.7원 정도인데, 상위 1%의 아티스트가 전체 시장의 90%를 차지하고 있고, 상위 10%의 아티스트가 전체 시장에 99.4%를 차지하고 있습니다. 하위 90%의 아티스트들이 전체 시장의 0.6%를 가지고 아둥바둥 하고 있는 것이 현재의 스트리밍 생태계입니다. 이러한 환경에서 아티스트의 생존이 가능한가에 대한 질문들이 제기되고 있습니다.
  • 그렇다면 스트리밍 서비스가 창작자에게 더 많이 지불하게 하는 대안은 무엇이 있을지 생각해 봅시다. 첫번째는 분배율을 달리하는 것입니다. 현재는 플랫폼이 30-40%, 아티스트가 60-70% 정도의 수익을 가져가는데, 여기서 플랫폼에 할당되는 값을 더 줄이는 것입니다. 하지만 현재 60-70%의 분배율도 이전의 80% 수준에서 점점 낮아진 것이고, 스트리밍 플랫폼의 영향력이 점점 강해지는 상황이라 쉽지 않아 보입니다. 두번째는 구독료를 높이는 것입니다. 지난 10년간 구독료는 9.99 달러로 변동이 없는데, 그 사이 물가는 약 10% 올랐습니다. 가격이 10% 떨어진 셈입니다. 하지만 3만원을 내고 옷을 사고 술을 먹으면 ‘잘 샀다’, ‘잘 먹었다’고 느끼지만, 구독료로 3만원을 내라고 하면 ‘기둥 뿌리 뽑을 일 있느냐’라고 대답한다는 유머 자료가 만들어질 정도로, 구독료에 대한 소비자들의 가격 저항은 매우 높습니다. 이런 상황에서 구독료를 인상시키는 것에는 한계가 있습니다.
  • 그래서 또다른 대안으로 생각하는 것이 바로 ‘밴드캠프’와 같은 서비스입니다. 밴드캠프는 2008년 설립된 회사로, 이 곳의 핵심 아이디어는 ‘음악을 발견하고, 그 것을 만든 아티스트를 후원해라’입니다. 스트리밍 서비스 같은 경우 월 10달러로 업로드 된 모든 곡을 들을 수 있다면, 밴드캠프에서는 아티스트들이 본인의 음악을 직접 업로드하고 가격을 설정할 수 있고, 소비자는 개별 곡을 구매하여 음악을 감상하게 됩니다. 이렇게 개별 곡에 대한 과금을 하기 때문에  아티스트 입장에서는 기존의 구독모델 보다 더 많은 수익을 얻을 수 있습니다. 팬들은 더욱 직접적으로 좋아하는 아티스트를 후원할 수 있게 됩니다. 현재 수십만의 아티스트와 3000개 이상의 레이블이 밴드캠프를 이용하고 있고, 2012년에 손익분기점에 도달했으며 팬들이 아티스트의 음악을 구매한 매출이 6억 3천만 달러에 달할 정도로 작지 않은 규모의 서비스라는 것을 입증했습니다.
  • 코로나19로 인해 공연 산업이 중단된 이후 밴드 캠프는 이틀간 10-15%의 수수료를 받지 않는 ‘밴드캠프 데이’를 통해 아티스트를 지원하였습니다. 이때 두번째 밴드캠프 데이에 아티스트들에게 총 1천 140만 달러가 정산되었다고 합니다. 한 밴드는 이 밴드캠프 데이에서 하루동안 얻은 수익이 스포티파이에서 지난 5년간 얻은 수익과 맞먹는다고 말했습니다. 그만큼 밴드캠프라는 플랫폼에서 아티스트에게 주는 가치가 스포티파이라는 플랫폼에서 주는 가치보다 큰 것이죠.
  • 스포티파이와 밴드캠프는 이런 차이를 보입니다. 스포티파이는 더 큰 사업, 더 큰 수익 모델을 위해서 음악뿐만 아니라 팟캐스트와 오디오 사업까지 진출하고 있습니다. 밴드캠프는 어디까지나 아티스트 중심의 플랫폼이라는 위치를 유지하고 있습니다. 사업보다는 생태계 유지에 집중하고 있는 것이죠. 아티스트와 플랫폼의 이해관계가 일치한다라고 볼 수 있겠습니다. 물론 구독자 수와 다운로드, 스트리밍 수를 비교해 보았을 때, 밴드캠프는 전체 시장에 대한 영향력에서 스포티파이와 비교할 수 없습니다. 하지만 상위 1%가 아닌 개별 아티스트들의 수입 측면에서 보면 밴드캠프가 더 유리합니다. 그것은 정액 구독 모델이 가진 한계 때문이고, 개별 과금 모델을 구축을 해야 개별 아티스트가 생존할 수 있다고 생각합니다.
 
 
6 음악 스트리밍 서비스와 음악 산업의 미래
  • 마지막으로 음악 산업 전체의 미래, 그리고 스트리밍 서비스가 가지고 있는 함의에 대해서 설명드리겠습니다. 빌 게이츠는 96년도에 ‘컨텐츠는 왕이다’라는 이야기를 했습니다. 방송에서 수익을 창출한 것은 컨텐츠였고, 그래서 인터넷이 만들어낼 것은 결국 컨텐츠, 특히 인터넷은 무제한으로 복제될 수 있기에 컨텐츠를 잘 만들면 성공할 수 있다는 것이 그의 생각이었습니다. 하지만 최근에는 플랫폼이 왕이라는 말이 나오고 있습니다. 즉 Apple Music 에서 BTS가 음원을 발매한다고 해도 사용자를 lock-in하지 못하게 되었다는 의미입니다. 이는 특정 음악 컨텐츠를 어떤 플랫폼에서 독점 발매한다고 해서 전체 플랫폼에 전략을 좌지우지 하지 못한다는 의미가 됩니다. 전체 플랫폼의 크기가 커졌기 때문이죠. 그래서 이제는 컨텐츠 확보가 용이해졌고, 큰 매출을 바탕으로 컨텐츠를 생산하는 것도 용이해졌고, 그렇기에 플랫폼이 전체 생태계에서 차지하는 비중이 굉장히 증가했습니다. 어떤 컨텐츠를 잘 만드느냐가 중요한게 아니라, 어떤 플랫폼이 지배를 하고 있는지가 중요한 상황이 된 것입니다.
  • 몇 개의 독점 기업이 전체 생태계를 좌지우지 하는 상황이기 때문에  개별 아티스트의 입장에서는 암울한 상황입니다. 정액 구독 기반의 스트리밍 생태계 내에서 스트리밍 서비스 자체는 계속해서 유저 수를 늘려가며 성장하겠지만, 거기서 과연 개별 아티스트들이 먹고 살 수 있을만한 수익을 창출할 수 있을지는 의문입니다. 그래서 현재의 음악 생태계는 정말 작게 규모로 개별 아티스트가 있는 회사이거나 혹은 큰 규모의 회사이거나, 이런 식으로 양극화 되고 있는 것 같습니다.
  • 저는 이 상황을 비관적으로 바라보고 있습니다. 그래서 요즘 제가 고민하고 있는 것은 바로 플랫폼에 대항할 수 있는 마이크로 커뮤니티입니다. 다시 말해 개별 아티스트의 홈페이지에서 컨텐츠를 서비스하고 대신 그것을 구독하게끔 만드는 것을 생각하고 있습니다.  예를 들어, 본인의 컨텐츠를 알리는 것은 무료 플랫폼인 유튜브에서 알리고, 스포티파이에서 충성 고객을 조금 더 끌어들인 후, 상위 1%의 가장 열성적인 팬들을 자신만의 채널로 모으는 것입니다.
  • 그래서 저는 요즘 NFT를 주목하고 있습니다. 홈페이지를 구축을 하고, 그곳에 구독 모델을 만들고, 컨텐츠에 NFT를 생성하고, 그것을 시장에 올려서 같이 성장시키는 것이죠. 기존의 정액 구독 기반의 대형 플랫폼과 독립된 수익 모델을 자체적으로 구축하는 것이 개별 창작자들에게 중요하고 필요한 시도라고 생각하고 있습니다. 이것은 또한 단순히 음악 뿐만 아니라 모든 엔터테인먼트 영역, 예를 들어 책, 웹툰 그리고 그 밖의 어떤 창작 영역이든 간에 고민을 해야 한다고 생각합니다. 사실 음악 산업은 이것을 10년 정도 일찍 겪고 있는 것이기 때문입니다.
 
7 질문
  • 질문 1: 저는 스트리밍 서비스가 사람들의 음악 취향을 유명한 음악 위주로 편향되게 만든다고 생각합니다. 이러한 의견에 대해 어떻게 생각하시는지, 그리고 편향이 존재한다면 어떤 기술로 이를 해결할 수 있을지 궁금합니다. 
  • 질문 1 대답: 지금 스트리밍 서비스를 통해서 유명한 음악만을 듣는 사람들이 이전에 CD로 음악을 듣던 시절에는 과연 CD를 구매하고 열심히 음악을 찾아 들었을까요? 그렇진 않다고 봅니다. 유명한 음악을 듣고자 하는 사용자들이 늘어난 것은 스트리밍 가격이 낮아지면서 더 많은 사용자가 유입되었기 때문이라고 생각합니다. 음악을 열심히 듣지 않던 사람들도 스트리밍 서비스를 이용하게 된 것이죠. 원래 사람들의 취향은 편향되어 있고, 사용자 군이 넓어지면서 이러한 편향이 통계적으로 드러나게 된 것입니다. 그리고 플랫폼은 이러한 현상을 역전시키고자 하는 것으로 보입니다. 스트리밍 서비스의 입장에서는 상위 1%의 아티스트에 대한 권리를 가지고 있는 메이저 레이블들을 견제할 필요가 있고, 그들의 영향력을 줄이기 위해 계속해서 새로운 음악, 비인기곡을 추천해주면서 다양성을 추구합니다. 스포티파이와 같은 회사에서 지속적으로 추천 기술을 연구하는 것도 이러한 맥락입니다. 추천 기술은 이미 상당히 발전되어 있다고 생각하고, 장기적으로 음악 산업의 다양성을 늘리는 유의미한 변화를 이끌어낼 수 있을 것이라고 생각합니다.
 
  • 질문 2: 앞의 질문에 이어서, 저는 미국 시장과 국내 시장이 많이 다르다고 생각합니다. 미국의 경우에는 소비자들이 라디오를 비롯한 다양한 채널들을 통해 서로 다른 방향성을 추구하는 새로운 음악들을 접할 수 있는 반면, 우리나라의 경우는 소수의 대기업들이 스트리밍 서비스를 소유하고 있고, 기업의 입맛대로 소개하는 음악들을 접하고 취향을 발전시키게 되는 경우가 많은 것 같습니다. 이러한 배경에서 좋은 음악을 만드는 아티스트들이 되려 스트리밍 서비스에 의해 밀려나는 경우도 많다고 생각됩니다. 여기에 대해서 어떻게 생각하시는지, 어떻게 해결할 수 있을지 궁금합니다.
  • 질문 2 대답: 맞습니다. 스포티파이는 메이저 레이블을 견제하기 위해 다양성을 추구할 수 밖에 없습니다. 그러나 한국의 경우 대기업이 최대의 스트리밍 서비스와 유명 엔터테인먼트 레이블을 모두 소유하고 있는 수직계열화된 구조로, 상호 견제와 시장 매커니즘이 제대로 작동하지 않고 있고, 이러한 구조가 차트 위주의 접근, 취향의 편향을 조장했다고 생각합니다. 그리고 그러한 부분에 대해서 우리나라는 정부에서 분배율을 정하고, 특정 플랫폼에서 자사의 컨텐츠를 많이 노출시키면 경고를 주는 등, 사회적인 접근을 통해 해결해나가고 있고, 멜론이 차트를 사이드로 빼고 스포티파이 스타일의 큐레이션 페이지를 메인으로 바꾼것도 회사의 이해관계 보다는 이러한 공공의 압력에 의한 변화라고 생각합니다. 장기적으로 이러한 흐름과 스포티파이의 국내 도입, 유튜브의 성장으로 차트 위주의 편향성은 줄어들 것으로 보입니다. 그러나 그럼에도 불구하고 엔터테인먼트 시장에서 사람들이 원하는 것은 상위 1%가 확실한 것 같습니다. 유튜브의 경우도 차트가 없지만 사람들이 듣는 음악은 어느 정도 정해져있습니다. 상위 1%가 시장의 90%를 차지하게 되는 경향은 어느 나라에서나 나타납니다. 플랫폼이 그러한 편향을 강하게 만들수는 있지만, 편향 자체는 플랫폼 이전에 존재한다고 생각합니다.
  • 질문 3: 그렇다면 그러한 편향을 해결할 수 있는 방법은 없을까요? 새로운 아티스트들은 그러한 편향에 어떻게 대응하여야 할까요? 또 완전히 새로운 장르를 추천하는 방법이 있을까요?
  • 질문 3 대답: 작은 시장에서 최대한의 수익을 거두어낼 수단을 만들어내는 것이 중요하다고 생각합니다. 개별 아티스트가 자기 가게를 차리듯이 독자적인 비즈니스 모델을 만들어낼 수 있다고 생각합니다. 아티스트의 독자적인 비즈니스 모델은 브랜드샵처럼 기능하고, 스포티파이에 노출되는 것은 백화점에 입점하는 것과 비슷합니다. 완전히 새로운 장르를 추천하는 것의 경우에는 결국 휴먼 큐레이션이 들어갈 수 밖에 없을 것 같습니다.
  • 질문 4: 2007년, 라디오헤드가 사람들이 내고 싶은만큼 돈을 내고 앨범을 다운로드 받는 방식으로 새로운 앨범을 공개했었습니다. 저는 이러한 방식이 이상적인 마이크로 커뮤니티의 형태라고 보이는데, 이 사례와 마이크로 커뮤니티의 수익구조에 대한 의견이 궁금합니다.
  • 질문 4 대답: 마이크로 커뮤니티의 경우 구독이 가장 기본적인 형태의 수익 구조라고 생각합니다. 라디오헤드의 경우는 개별 과금이었는데, 개별 과금은 따로따로 결제를 해야하고, 구매 건마다 값어치를 따지게 되는 등 구매 과정이 복잡하다는 문제가 있습니다. 반면 구독은 콘텐츠가 묶음으로 제공되고, 관성적인 측면이 있어, 소비와 후원의 중간적인 포지션을 갖는다는 장점이 있습니다. 그 중에서도 메일링 리스트 구조를 생각하고 있습니다. 메일링 리스트는 확산적인 매체가 아닌, 소수에게 제한적으로 제공되는 프리미엄 콘텐츠라는 인식이 있는 것 같습니다. 홈페이지, 구독, 메일링 리스트, 개별 과금을 복합적으로 이용하는 수익 구조를 생각하고 있습니다.
  • 질문 5: 이전 인터뷰에서 인디 아티스트의 음악이 알려지는 통로는 주로 ‘공연’이라고 말씀하신 적이 있습니다. 스트리밍 및 구독 서비스 시장의 규모가 크게 성장한 지금, 공연의 비중에 대해 어떻게 생각하시는지 알고 싶습니다.
  • 질문 5 대답: 일반적인 디지털 서비스와 달리 공연은 배제성과 경합성을 가진 재화로 여겨집니다. 따라서 인디 신 뿐만 아니라 모든 음악의 중점은 공연이 될 수 밖에 없다고 생각합니다. 그러나 코로나 상황이 길게 이어지는 만큼, 온라인 형태의 공연에 대한 필요성을 느끼는 것 또한 사실입니다.
  • 질문 6: 작은 규모로 굿즈를 만들어 판매하는 것 이외에, 더 많은 팬을 유입하기 위한 전략에는 어떤 것들이 있을까요?
  • 질문 6:  유튜브와 같이 사람들이 많이 보는 매체에 많이 노출되는 것이 중요합니다. 그러기 위해서는 업계에서 평판을 쌓는 것 역시 중요합니다. ‘새소년’의 경우에도 인지도가 높아진 뒤 인디 이상의 브랜드와 미디어까지의 진출로 이어질 수 있었습니다.
  • 질문 7: 뮤지션 ‘염따’의 경우, 음악 활동 이외에 티셔츠 판매로 큰 수익을 얻은 것으로 알고 있습니다. 앞서 말씀하신 영향력 있는 미디어 노출이 아닌, 염따와 같은 수익 창출 방법이 뮤지션에게 유효한 생계 전략이 될 수 있을지 묻고 싶습니다. 또한, 마이크로 음악 커뮤니티를 위한 기술이 무엇이 필요할까요? 마지막으로, 아티스트를 발굴하시는 입장에서 어떤 아티스트를 좋은 아티스트라고 생각하시는지 궁금합니다.
  • 질문 7 대답:  염따의 케이스는 매우 예외적입니다. 염따의 성공에서 유일하게 재현할 수 있는 부분은 꾸준하게 음악을 만들었다는 사실입니다. 또한 협업 등, 창작자 생태계에서의 네트워크의 역할 역시 컸다고 생각합니다. 두번째 질문에 대해서는, 최근 업계에서 새로운 인재 발굴을 위해 데이터 주도적 기술이 도입되는 것을 예로 들 수 있습니다. 딥러닝이 메이저 레이블이 아닌, 예컨대 틱톡이나 유튜브와 같은 마이크로 커뮤니티에서도 새로운 재능을 발굴하는 데 사용될 수 있을 것으로 예상합니다. 마지막 질문에 대해서는, 재능과 노력은 기본이고, 기본적으로 자신의 뚜렷한 비즈니스 플랜을 가지고 있어야 한다고 생각합니다.
  • 질문 8: 비주류 아티스트에게 스포티파이 같은 스트리밍 산업이 이득이 될 수 있는 구조라고 생각하시나요?
  • 질문 8 대답: ‘술탄 오브 더 디스코’의 경우 월 평균 청취 수가 20만 회인데, 이것은 앨범 판매로는 도달할 수 없는 수치입니다. 그만큼 무료 청취자의 비중도 높겠지만, 이처럼 스트리밍 서비스는 더 많은 유저의 접근을 가능하게 하는 인프라로서 유효한 수단이라고 생각합니다. 


 

* 4:00-5:00pm 연사 강연, 5:00-5:30pm Q&A 및 자유토론 (Mandatory)

* CT세미나에 참석하고 싶으신 타과 교수님 또는 학생분들은 언제든지 환영합니다.

* 콜로퀴움의 강연들은 대부분 한국어로 진행될 예정입니다.
[GSCT 콜로키움] 4.6 (화) | 주재걸 (KAIST AI대학원 교수)
일시 : 2021. 4. 06. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 컴퓨터 비전 분야 영상 합성 모델 및 활용 사례
연사 : 주재걸 (KAIST AI대학원 교수)


 

학력:

-      Georgia Tech Computational Science and Engineering 박사 졸업 (2013)

-      Georgia Tech Electrical and Computer Engineering 석사 졸업 (2009)

-      서울대학교 전기공학부 학사 졸업 (2001)

 

경력:

-      KAIST AI대학원 부교수 (2020.03-Present)

-      고려대학교 인공지능학과 부교수 (2019.09-2020.02)

-      고려대학교 컴퓨터학과 조교수 (2015.03-2019.08)

-      Georgia Tech Research Scientist (2011.12-2015.02)

 

수상실적:

-      IEEE VIS’20 10-Year Test-of-Time Award (2020)

-      ICDM’16 Best Student Paper Award (2016)

-      네이버 신진교수상 (2015)

강연자 소개
영상 및 자연어 처리, 텍스트 및 데이터 마이닝 연구들을 진행하고 있고, HCI와 관련하여 인공지능 모델을 잘 해석할 수 있고, 사용자가 인공지능 기법을 사용하기 용이하도록 하는 인터페이스를 만들고 있습니다. 또한 환자들의 전자 의무기록 데이터로부터 의사들이 환자가 다음에 어떤 질병을 갖고 방문할 것이고 어떻게 처방할 것인지를 인공지능과의 협업으로 분석할 수 있는 시각화 툴도 만드는 등, 다양한 연구들을 하고 있습니다.
 
강연 요약
오늘 강연에서는 GAN (적대적 생성 신경망)에 기반하여 컴퓨터 비전 분야에서 이미지나 비디오 데이터를 자연스럽게 생성하는 모델들을 소개함과 동시에 연구 동향에 관해 말씀드리고자 합니다.
 
1. 적대적 생성 신경망 (GAN)을 기반으로 한 모델들
Recognition Tasks / Generation Tasks
크게 보면 인공지능이 활발하게 적용되는 분야가 자연어 처리와 컴퓨터 비전 분야인데, 세부적으로 인공지능 태스크를 나눈다면 크게 인식(Recognition)과 생성(Generation and Translation)으로 나눌 수 있습니다. 인식은 이미지나 비디오로부터 원하는 정보를 알아내는 태스크입니다. 이와 반대로, 우리가 가진 정보를 입력으로 넣었을 때, 그에 걸맞은 이미지나 비디오를 만들어내는 것은 생성 태스크라고 할 수 있습니다.
 
Translation Tasks: Special Case of Conditional Generation
생성 과정 중에 다양한 입력을 추가로 주었을 때 이를 잘 반영하여 결과물을 만드는 모델이 있는데, 이것이 Conditional model입니다. Conditional이란, 원래 조건부 확률에서 나온 단어지만, 실질적으로 사용자의 관점에서 사용자가 생성 과정 중에 다양한 요구조건을 제시했을 때 원하는 결과물을 내어줄 수 있는 형태의 모델을 말한다고 생각하시면 됩니다. 또한 이와 유사하게 Translation Task는 주어진 이미지를 잘 반영하여 원하는 이미지로 변환해주는 것을 말합니다.
 
Conditional Generation and Translation
기술적으로 생성 과정 중 사용자의 입력을 잘 반영해줄 수 있도록 해주는 GAN 모델의 확장 형태들이 있습니다. 앞서 말씀드린 Conditional GAN이 이러한 경우이고, ACGAN(Auxiliary Classifier GAN)이라는 모델은 학습과정에서 Discriminator가 Generator가 만든 데이터의 진위를 판별하는 것뿐만 아니라, 그것이 어떤 속성(class)인지를 동시에 분류하는 모델입니다.
 
pix2pix: Paired Image-to-Image Translation
이러한 방식으로 이미지를 변환하는 모델의 경우, 다양한 problem setting과 그에 해당하는 대표적인 모델이 있습니다. 첫번째로 pix2pix가 있는데, 이는 paired 된 Image-to-Image Translation이라는 태스크를 대표합니다. Paired 라는 게 상대적으로 쉬운 문제인데, 스케치가 주어졌을 때 자동으로 채색된 이미지를 생성해내는 문제로 예를 들어 말씀드리겠습니다. 먼저 스케치가 입력으로 주어지면 인코더, 디코더로 구성된 네트워크를 거쳐 RGB칼라의 채색된 이미지가 나오게 됩니다. 이때 입력으로 넣어준 스케치는 칼라 이미지로부터 외곽선을 추출한 것으로, 출력으로 나온 칼라 이미지에 대한 정답 이미지라고 할 수 있습니다. 이렇게 정답 이미지가 있을 때 이를 paired setting이라고 합니다. 이 모델은 앞서 말한 CGAN의 구조를 따르고 있습니다. Image translation의 가장 초기모델인 pix2pix는 입력으로 주어진 이미지에 대해 그 정답 이미지가 쌍으로 존재하는 모델로 학습이 아주 용이합니다.
 
StarGAN: Multi-Domain Image-to-Image Translation
가령 사람 얼굴 이미지가 주어졌을 때, 그 인물의 나이를 바꾸거나 성별을 바꾸는 경우 해당 인물이 동일한 포즈를 가지고 다른 조건으로 사진을 찍을 수 없게 됩니다. 이렇게 정답 이미지가 없는 경우를 un-paired setting이라고 부릅니다. StarGAN이 대표적인 사례인데, 이 모델처럼 한 모델이 다양한 translation을 하는 것을 Multi-Domain의 Image Translation이라고 합니다.
 
Multi-Modal Exemplar-Based Image-to-Image Translation
그 외에도 Exemplar-Based image-to-image translation을 수행하는 모델이 있습니다. 가령 호랑이 이미지가 있을 때 그것을 다른 고양이 이미지로 변환하는 태스크가 있을 수 있습니다. 이때 이러한 고양이와 같이 변환이 되었으면 좋겠다고 생각하는 이미지를 추가적인 입력으로 주어 이미지 변환을 수행할 수 있습니다. 이전에 언급한 모델에선 target label 혹은 target attribute 정보를 단순한 형태로 전달해줬다면, 이 경우에는 고양이로 변환하겠다는 정보 외에 어떠한 디테일을 원하는지에 대한 추가적인 정보를 예시라는 형태의 추가적인 입력으로 모델에게 전달합니다.
 
Style Transfer: Earlier Exemplar-Based Image Translation Task
딥러닝 초반에 나왔던 모델 중에 Style transfer라는 태스크를 다루는 모델들이 있었습니다. 이 모델은 예시 이미지를 주면, 예시 이미지의 스타일을 반영해서 변환된 이미지를 생성합니다.
 
StyleGAN
이미지 생성 과정에서 품질을 올리기 위한 여러 연구들도 존재하는데, 그 중에 대표적인 사례로 StyleGAN이 있습니다. 현재는 StyleGAN 버전2까지 나와있습니다. 앞서 생성 모델들 중 어떤 조건에 따라 변환하는 방법이 있었다면, StyleGAN은 트레이닝 데이터와 비슷하지만 다른 패턴을 가지는 다양한 이미지를 자유롭게 생성할 수 있는 모델입니다.
 
2. 생성 모델(Generative model)의 최근 연구 동향
Multimodal 데이터를 이용한 생성 모델 활용: DALL-E, CLIP, StyleCLIP

텍스트, 이미지, 음성 등과 같이 서로 다른 종류의 데이터들을 잘 결합한, multimodal data를 이용하는 생성 모델 기술들이 활발히 연구되고 있습니다.
 
3D modeling 이미지에 대한 생성 모델: NeRF, Putting NeRF on a diet
기존의 CNN 구조를 이용한 연구들은 2D 이미지를 입력으로 받아서 다른 2D 이미지를 만들어내는데, 여기서 3D 효과를 직접적으로 반영하는 것은 어려웠습니다. NeRF 등의 연구들에서는 단일 사진 혹은 여러 각도에서 찍은 적은 수의 사진들이 입력으로 주어지면, 3D 공간 상에서의 여러 회전 각도에서 보여지는 이미지들을 자연스럽게 만들어낼 수 있는 생성 모델들을 다루고 있습니다.
 
Transformer architecture를 이용한 생성 모델: ViT
Transformer 모델은 자연어 처리 분야에서 번역에 많이 활용되는 모델입니다. 지난 수년간 해당 분야에서는 기본적인 딥러닝 모델로 LSTM과 GRU가 활용되었는데, 불과 2~3년 전부터는 Transformer 라는 attention 기반의 모델로 교체되었습니다. 컴퓨터 비전 분야에서도 CNN 대신 해당 모델에서 제안된 핵심 아키텍처를 사용함으로써, 기존 컴퓨터 비전 알고리즘들의 성능을 뛰어넘는 양상을 보여주고 있습니다.
 
3. 참여 연구
Automatic Image Colorization
자동 이미지 채색(Automatic Image Colorization)은, 스케치 이미지를 컬러 이미지로 바꿨던 것처럼 이미지 간의 변환(image-to-image translation) task라고 볼 수 있습니다. 이러한 기법은 애니메이션이나 웹툰 등에서 실질적인 효용성을 보일 수 있는데, 스케치만 하면 해당 스케치에 대해 자동으로 채색해줌으로써 콘텐츠 제작에 들어가는 작업 시간을 줄일 수 있을 것으로 기대됩니다. 좀 더 범용적인 측면에서 보자면, 자가 지도 학습의 task로 활용될 수 있습니다. 이를 활용한 예시로 2018년 6월에 Google AI에서 발표한 “Self-Supervised Tracking via Video Colorization”이 있는데, 이는 자동 채색 task를 학습한 모델을 동영상에서의 물체 추적에 활용한 사례입니다. Full-color 동영상이 주어지면 인접한 두 프레임에서의 이미지들을 쌍으로 가져오고, 첫 번째 프레임의 full-color 이미지에 기반하여 두 번째 프레임의 흑백 이미지를 채색하도록 모델을 학습시킵니다. 이를 물체 추적에 활용하여, 주어진 비디오의 첫 프레임에서 추적하고자 하는 물체에 특정 색을 칠하고, 그 다음 프레임의 이미지는 첫 프레임의 이미지에 기반하여 색을 칠하게 합니다. 그러면 다음 프레임 이미지에서는 해당 물체에만 색이 칠해지고 나머지는 흑백으로 유지되는데, 이를 통해 물체들에 대해 특별한 labeling 작업을 하지 않아도 물체를 구분할 수 있게 됩니다.

Forms of User Inputs (or Conditions) in Generative Models
생성 모델을 통한 자동 이미지 채색을 수행하였을 때, 결과가 사용자의 의도대로 만들어지지 않을 수 있습니다. 이를 위해 사용자와 모델 간의 interaction을 통해 원하는 결과물을 얻을 수 있도록 하는 연구들이 진행되고 있습니다. 그 예시 중 “Petalica paint” 라는 웹사이트가 있는데, 스케치 영상이 주어지면 자동으로 채색된 이미지가 결과물로 나오고, 사용자가 간단한 interaction을 통해 원하는 부분을 편집할 수 있도록 합니다. 사용자의 간단한 scribble만으로도, 모델이 의미론적으로 해당 scribble이 적용된 물체의 경계선을 인식하고, 유연하게 부분적으로 색상을 변경해줍니다. 이렇게 생성 모델이 실제 콘텐츠 제작 과정이나 미술 영역 등에 활용되기 위해서는 사용자 interaction이 다양한 형태로 제공되어야 하고, 사용자의 의도를 잘 파악하고 반영해 줄 수 있는 딥러닝 모델들이 제공되어야 합니다.
 
Reference-based Sketch Colorization
앞선 사례와 유사하게 저희 랩에서 연구하는 기술은 참고 이미지를 기준으로 스케치 이미지에 색을 넣는 방식으로도 활용할 수 있습니다. 해당 연구는 네이버 웹툰의 “유미의 세포들” 작품과 협업하여 진행되었습니다. 이 기술은 참고 이미지에서 색의 위치적인 정보를 학습한 후 채색하고자 하는 이미지에서 같은 위치 정보를 가진 곳을 채색하는 방식으로 구현됩니다. 이와 같은 기술에는 Visual Correspondence가 가장 중요합니다. 웹툰 같은 경우 기존의 Ground-truth 값이 주어져 있었기에 작업을 하기 편합니다. 하지만 실제 이미지들의 경우 기존의 채색된 이미지가 없을 수가 있기에 정보가 더 부족한 상태에서의 대응 관계를 찾기 위한 추가 연구를 진행하게 되었습니다. 해당 연구의 결과로 저희는 하나의 이미지에서 채색이 필요한 스케치만 있는 이미지와 다른 색으로 채색된 이미지를 활용하는 모델을 Transfer 모델의 Attention 개념에 기반하여 개발했습니다. 다른 색으로 채색되는 이미지의 경우 이미지 위치도 조금 변형하여 학습을 더욱 다채롭게 하고자 하였습니다. 이렇게 만든 이미지들을 CNN에 넣어 최종적인 이미지를 얻게 됩니다. 정답 이미지가 이미 있는 상황이기에 다양한 Loss를 활용하여 성능을 더욱 향상시킬 수 있었습니다. 그리고 SCFT(Spatial Crafted Feature Transfer) 모듈을 활용하여 어떻게 이미지가 변형되는지를 자동으로 파악할 수 있어 학습 자체가 잘 이루어집니다. 그리고 모델이 잘 작동하는지 보기 위해 SCFT 모듈만 따로 떼어서 스케치 이미지와 참고 이미지 간의 영역별 대응 위치를 확인하였고 결과가 잘 나온다는 것을 확인할 수 있었습니다. 구체적으로는 생성 모델의 경우 모델의 정량적인 성능평가가 어려운 경우들이 많은데, 이때 활용하는 FID score 등의 점수로 성능을 측정하여 좋은 성능이 나왔다는 것을 알 수 있었습니다. 그리고 SCFT를 그림 이미지가 아니라 레이블이 없는 일반 이미지 자체에 대해서 Semantic Correspondence를 진행해보았더니 레이블이 있는 학습모델 수준까지는 아니어도 준수하게 결과값이 나온다는 것을 확인할 수 있었습니다.
 
Edge-Enhancing Interaction in Automatic Colorization
최근에 진행한 연구들에 대해 더 소개를 해드리면, automatic colorization을 다양한 생성 태스크에 적용하였을 때 실제 colorization에서 모델이 경계를 명확하게 파악하지 못해 색이 번지는 듯한 결과를 내는 등 여러 문제가 발생하는 것을 발견하였습니다. 이러한 생성 결과에서 개선이 필요한 부분들에 대해 사용자가 최소의 노력으로 생성 모델의 결과물을 개선할 수 있도록 하는 추가적인 생성 모델에 대한 연구를 했습니다. 실제로 이미지에 스크리블(scribble)을 적당한 두께로 주면 해당 부분을 추가적인 입력으로 받아 모델의 결과를 개선하는 형태의 연구를 수행했습니다. UI tool도 만들어보았는데 해당 툴을 이용해 흑백 이미지에 자동 채색을 통해 나타난 결과물에 사용자가 직접 scribble을 edge 형태로 적용하면 해당 부분에 색깔 번짐(color bleeding) 효과가 줄어드는 것을 볼 수 있습니다. 해당 모델은 기존의 colorization 모델이 있다고 할 때, 사용자의 interaction을 통해 이미지의 품질이 개선될 수 있도록 후처리적으로 적용될 수 있는 모델로 디자인했습니다. Edge Enhancing Network 부분이 color bleeding을 완화하기 위해 추가한 딥러닝 모듈입니다. 이미지 colorization 모델을 학습시킨 후 흑백 이미지를 주었을 때 colorization된 이미지에서 edge를 추출하는 알고리즘을 실행하게 됩니다. Edge를 추출한 후 ground truth에서 추출된 edge와 비교를 해보면 color bleeding에 의해 edge가 명확하게 추출되지 않은 부분을 발견할 수 있고, 어느 지점에 edge enhancing이 필요한지 알 수 있게 됩니다. 해당 부분을 입력으로 추출하면 사용자가 interaction을 통해 scribble을 적용할 만한 부분을 추출할 수 있고, 이것을 입력으로 받아 추가적인 레이어를 학습하면 원래의 아웃풋에 더해주어야 하는 추가적인 정보를 만들어줄 수 있습니다. 이렇게 네트워크를 학습한 후에는 업데이트 된 형태의 결과물을 얻을 수 있습니다. 이때 사용자 interaction의 형태로 사용자의 요구사항을 최대한 직관적이고 효율적인 방식으로 표현할 수 있도록 scribble 형태로 구현을 했다는 것이 하나의 의미 있는 점으로 생각됩니다.
 
VITON-HD: High-Resolution Virtual Try-On
앞선 자동 채색과는 다르지만 이미지 생성, 합성모델의 또 다른 태스크로 기존의 Virtual try-on의 approach에 대해 고해상도의 이미지를 더 잘 만들어줄 수 있도록 만든 사례가 있습니다. 해당 연구에서 reference Image로 인물 이미지와 해당 인물에 입히고자 하는 옷 이미지가 있을 때 옷의 디테일을 잘 살리면서 옷을 자연스럽게 잘 입는 것을 확인할 수 있습니다. Image translate에 기본적으로 사용되는 인코더, 디코더에서 벗어나 좀 더 복잡한 형태로 모델을 만들어야 했습니다. 이미지 변환을 할 때 레퍼런스 이미지의 포즈(e.g. 사선 응시)와 정면에서 찍힌 옷의 spatial 구조가 잘 맞기 않기 때문에 인물의 포즈를 잘 반영해야 했습니다. 모델의 과정은 다음과 같습니다. Pre-processing과정에서는 기존 이미지에서 입고 있는 옷을 없애야 합니다. Segmentation과 pose extraction을 통해 옷이 없는 이미지를 얻게 되며 이것이 다시 입력으로 들어갑니다. Segmentation generation 과정에서 실제로 옷을 입혔을 때 팔이 어디까지 있는지 등의 segmentation 정보를 얻습니다. Clothes deformation 과정에서는 주어진 옷을 레퍼런스 이미지에 입혔을 때 옷을 어떻게 warp 해야 하는지 등을 고려해 최대한 포즈에 맞도록 변형된 이미지를 얻습니다. Try-on synthesis 과정에서는 위에 과정들을 모두 합쳐 인코더와 디코더 그리고 ALIAS generator를 통과하여 최종 결과 이미지를 얻습니다.
 
Virtual Analytics for Debiasing Image Classification
해당 연구는 User Interface에 관한 연구입니다. 인공지능 모델을 실제 사회에 적용할 때 발생할 수 있는 의도치 않은 차별과 공정성 문제들이 있는데, 이러한 것들을 모델이 가지는 bias라고 합니다. 모델의 bias를 잘 제거하는 태스크가 컴퓨터비전 쪽에서 잘 연구가 되고 있습니다. 학습 데이터를 2d embedding view로 보면, 어떤 데이터들은 제대로 classification이 되고 있고 어떤 데이터는 misclassification이 되고 있습니다. Bias 제거를 위해 image translation를 통해 bias를 무마하도록 데이터 합성을 시켜주고, 합성된 데이터를 학습 데이터로 추가하여 모델을 재학습시켰습니다. 실제로 과일 분류 태스크를 해보았을 때, 초록색 사과는 사과라고 하지 않거나 숫자를 분류해야 하는데 숫자를 보지 않고, 특정 색을 근거로 숫자를 분류해버리는 등 잘못된 근거로 판단을 하는 것을 발견하였습니다. 이에 시각화를 통해 bias가 무엇인지를 확인하고, bias를 무마시키는 학습 데이터를 이용해 재학습을 시켰더니 기존의 모델의 성능을 개선시킬 수 있었습니다.
 
Future Research Directions in User-Driven Generative Models
생성 모델은 다양한 사례를 보여드린 것과 같이 콘텐츠 제작과 문화 예술 분야에서의 활용 가능성이 큽니다. 그러한 관점에서 사용자의 여러 요구 조건이 모델에 잘 반영될 수 있도록 하는 딥러닝 모델과 그것을 잘 서포트하는 직관적인 사용자의 interaction 형태, user interface 및 user experience가 중요하다고 생각됩니다. 관련하여 향후 중요한 연구 주제들로 생각되는 것들은 다음과 같습니다.
  • Fast training and inference method for high-resolution images
  • Support for real-time, iterative, possibly local interactions
  • Reflecting higher-order user intent in multiple sequential interactions
  • Revealing inner-workings and interaction handles
  • Better simulating user inputs in the training stage
  • Incorporating data visualization and advanced user interfaces
  • Leveraging hard rule-based approaches, e.g., following sharp edges
  • Incorporating users’ implicit feedback and online learning
 
질의응답
Q1) 스케치 채색 연구에서 보통 기존의 윤곽선 추출 알고리즘을 쓰지만, 이러한 알고리즘은 사람이 직접 그린 스케치와 차이가 크게 날 수도 있을 것 같습니다. 사람이 직접 스케치한 것 같은 뉴럴 네트워크를 만들면 더 좋은 결과가 나올 수 있다고 생각하시나요?
A1) 스케치 자동 채색 연구에서 윤곽선을 추출하는 알고리즘이 존재합니다. 하지만, 사람이 그린 스케치와 알고리즘으로 스케치한 데이터는 매우 다를 수 있습니다. 그렇기 때문에 추가적인 스케치를 만드는 뉴럴 네트워크를 사용한다면 조금 더 사실적인 결과를 만들 수 있을 것입니다. 하지만 현재 연구 결과로는 아직 좋은 결과를 얻지는 못했습니다. 좋은 결과가 나오지 못한 이유는 여러 가지가 될 수 있는데, 사람이 만든 스케치도 정규화되지 않고 노이즈가 많기 때문에 데이터에서 나오는 문제가 많습니다.
 
Q2) 옷 입히는 연구에서 이미지 워핑을 하는 부분을 설명해 주셨는데, 워핑을 학습을 하나요? 그리고 워핑을 어떠한 방식으로 하는지 궁금합니다.
A2) 워핑도 네트워크에서 학습합니다. 워핑 연산은 사전에 정의한 워핑을 하는데, 현재 연구에서는 thin plate spline transform을 사용합니다.
 
Q3) 옷 입히는 연구에서 바꿔주어야 부분을 segmentation을 통해 찾아 지운다고 말씀하셨는데, 옷의 실루엣이 많이 다른 경우에는 어떻게 처리하나요?
A3) 해당 부분이 생성되는 이미지 품질에 영향을 많이 주었습니다. 긴팔 옷에서 반팔 옷으로 바꾸는 것이 기술적으로 어려웠던 부분인데 옷에 대한 영역 그리고 팔에 대한 영역을 추정함으로써 조금 더 잘 생성을 할 수 있었습니다. 손가락 부분은 생성하기 힘들기 때문에 손가락 부분은 남겨두고 팔만 지움으로써 네트워크가 학습할 수 있었습니다. 추가로, 만약에 원래 반팔을 입고 있는 이미지와 같이 이미 팔이 주어진 경우 해당 부분을 지우지 않고, 이미지로부터 더 가져오면 좋을 것 같다고 생각이 들 수 있는데 현재 연구에서는 네트워크를 self-supervision으로 배우기 때문에 이러한 부분이 artifact를 생성할 수도 있습니다.
 
Q4) 네트워크를 학습하기 위해서 데이터가 많이 필요한데요, 그러한 데이터를 어떻게 획득하였는지 궁금하고, 유미의 세포들의 스케치 데이터의 경우 직접 네이버 측을 통해 얻으셨는지, 혹은 edge detection 알고리즘을 이용해 직접 얻으셨는지에 대해 궁금합니다.
A4) 채색 연구는 네이버와의 산학 과제로 진행이 데이터를 확보할 수 있었고, 다른 방법으로는 이미지 데이터와 윤곽선 추출 알고리즘을 통해서 데이터를 확보했습니다. 옷 입히는 연구는, 온라인 쇼핑 사이트를 크롤링하여 만들었는데, 온라인 쇼핑몰의 경우 모델이 입고 있는 옷과 옷만 찍힌 사진들이 있기 때문에 좋은 방법이 되었습니다. 하지만 초상권 같은 문제가 있기에 데이터를 공개하기는 어렵습니다.
 
Q5) 문화기술대학원에서 하고 있는 연구 중 중요한 키워드가 creative technology인데요, 그런 측면에서 이 기술들이 어떠한 방향으로 가게 될지 creative technology로써의 미래적인 전망, 기대에 대한 교수님의 의견이 궁금합니다.
A5) 이전보다 이미지가 고해상도로 잘 생성이 되고 있어서 creative technology에 많은 기여를 하고 있는 것 같습니다. 실제 창작 활동에 잘 적용된 사례는 아직 찾아보기 어렵지만, 발전 가능성이 크다고 생각합니다. 컴퓨터 비전 기술들은 단순 반복 작업을 많이 해결해줄 수 있기에 앞으로의 발전에 도움이 많이 될 것입니다. 그리고 생성 모델을 사용함으로써 더 다양한 형태의 결과를 제안해주어 아티스트들에게 도움이 될 수 있을 것이라고 생각합니다. 실제 게임 산업에서도 생성 모델을 통해 아티스트들에게 영감이 될 결과를 많이 줄 수 있을 것입니다.


 
[GSCT 콜로키움] 3.30 (화) | 민세희 (국민대학교 겸임교수)
일시 : 2021. 3. 30. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : 데이터 중심 사회 속 ML기반 창작 환경
연사 : 민세희 (국민대학교 소프트웨어융합대학원 인공지능 전공 겸임교수)



학력

2005
Pratt Institute/ 프랫 아트 인스티튜트 컴퓨터 그래픽/ 인터랙티브 미디어 석사, NYC, NY
논문 : “Awake,” 3D 인터랙티브 미디어

1998
Texas Christian University
텍사스 크리스찬 유니버시티 커뮤니케이션 디자인 학사, Fort Worth, TX

경력


2021.03 ~ 현재 국민대학교 소프트웨어융합대학원 인공지능 전공 겸임교수
2020.08 ~ 현재 AI기반 creative tool, Praxis.ai (전 studyGirls) 스타트업 대표
2018.07 ~ 현재 Founder of the data visualization studio, randomwalks.org
데이터 시각화 프로젝트 디렉팅 및 비주얼 소프트웨어 개발
2019.08 ~ 2019.12 서울디자인재단 “서울라이트" 총감독
2018.03 ~ 2020.12 서강대학교 아트 & 테크놀러지 산학협력교수 (데이터 시각화, AI와 창작
강의)
2017.02 ~ 2019.08 판교 스타트업캠퍼스 AI & Creativity 랩 디렉터 및 상근 코치, (사) ARCON
2015.03 ~ 2015.10 시니어 컨설턴트, 삼성 SDS
2011.01 ~ 2015.02 Co-founder of the data visualization studio, randomwalks.org
데이터 시각화 프로젝트 디렉팅 및 비주얼 소프트웨어 개발
SK 텔레콤, intel USA, 청도 신도리코 미디어파사드 등 데이터 시각화
작업 실행
2009.11 ~ 2010.12 도시 정보 디자인 연구원 센서블 시티 랩, MIT
도시 데이터 시각화 소프트웨어 개발. 코펜하겐휠, 트래쉬 트랙, 씨스웜등 다수의 프로젝트 참여.
2008.03 ~ 2009.10 Founder of the data visualization studio, randomwalks.org
데이터 시각화 프로젝트 디렉팅 및 비주얼 소프트웨어 개발
2008년 3월 randomwalks.org 설립 프리랜서 커뮤니티로활동 시작
2009년 4월 1일 개인 사업자 등록
2006.10 ~ 2008. 10 미디어 교육 연구원, 아트센터 나비 미디어 아트/ 디자인 교육 및 전시 기획 등 다수의 프로젝트에 참여. (Bonding Company, OpenSource, OpenCourse 2007 etc )
2005.01 ~ 2005. 12 웹 디자이너, VH1.com / MTV Networks in New York
VH1.com 메인 및 마이크로 사이트 디자인
그래픽 디자이너, Creative Service / MTV Networks in New York
플라이어, 사이니지등 MTV 내부 진행 이벤트를 위한 다수의 편집 디자인 진행.
1999.01 ~ 2000. 05 그래픽 디자이너, McKinney Advertising, Chicago
B2B 위주의 그래픽 디자인 프로젝트 진행

*기타*
2012.01 ~ 2013.12 테드 시니어 펠로우 2012, TED
“Visualizing data for the new age” @ 에딘버러, 영국
2011.01 ~2011.12 테드 펠로우 2011, TED

강연

*visiting lectures
2018 데이터 시각화 / 연세대학교 정보 대학원
2017 데이터 시각화 / 한양대학교 건축 대학원
2017- 제너레이티브 디자인 / 서울시립대학교
2016-17 데이터 시각화 / 연세대학교 정보대학원
2015-16 데이터 시각화 / 패스트 캠퍼스
2014 데이터 시각화 / 연세대학교 커뮤니케이션 대학원
2013 데이터 시각화 / 서울대학교 융합기술 대학원
2013 미디어 디자인 / 건국 대학교 시각 디자인과
2013-15 시니어 프로젝트 / SADI
2012-15 데이터 시각화 / 연세대학교 커뮤니케이션 대학원
2007-12 컴퓨터 그래픽스 / 한국예술종합학교 조형예술원
2011 컴퓨터 프로그래밍 / 한국예술종합학교
2011 인터액션디자인 / 산업디자인 대학원, 홍익대학교
2011 데이터 비주얼라이제이션 / 앨리스온 아카데미
2010 도시환경 데이터 / VSMM 2010
2010 프로테이 _ 기름 유출 / 앨리스온 아카데미
2010 데이터비주얼라이제이션 / 앨리스온 아카데미
2009 프로세싱 (processing)/ 홍익대학교 IDAS 디자인 대학원 디자인 혁신 센터
2008 멀티미디어 디자인 / 계원조형예술학교 임베디드 소프트웨어과
2008 프로세싱 (processing) : 아티스트를 위한 컴퓨터 언어의 이해 중앙대학교
2007-08 프로세싱 (processing) : 아티스트를 위한 컴퓨터 언어의 이해 I, II / 아트센터 나비
2007 멀티미디어 디자인 / 경희대학교 멀티미디어 디자인학과
*selected talks
2021 “기술과 예술 융합주간” 기조연설, 문화예술위원회
2019 “데이터와 창작하는 기계환경” 서울라이트, DDP
2019 “Paradox: Frames and Biases in Art and AI” Carnegie Mellon University, USA
2018 “인공지능시대의 예술과 디자인" K-Art Conversation, KIAFF
2017 “데이터, 시각화, 학습하는 기계환경" 어도비 맥스, 코리아
2017 “2017 “데이터, 시각화, 그리고 학습하는 기계환경" IBM Korea
2017 데이터, 시각화, 그리고 인공지능, 도시데이터 사이언스 연구소
2017 미래 건축, 도시 건축 국제 비엔날레
2016 “Visualizing data for the new age“ ,Data for Life conference, 자카르타,
인도네시아
2015 “Data Arts “ 토탈 뮤지움, 서울
2014 “Visualizing data for the new age “ 하이데라바드, TEDx, 인디아
2012 “DATA, think and act “ Quantities Self, 베이징
2012 “DATA, 인식과 변화 “ 시멘틱 웹 컨퍼런스, 서울
2012 “DATA, 인식과 변화 “ 융복합 컨퍼런스, 서울, Seoul
2012 “DATA, visual and physical “ TEDGlobal 2012, 에딘버러, 영국
2011 영 리더스 포럼, ICISTS-KAIST 2011, KAIST, 한국
2011 “DATA : a powerful instrument for our awareness”

TECH PLUS, the Korea Institute for Advancement of Technology, Korea
2011 “DATA : a powerful instrument for our awareness”, xMediaLab, 시드니
2011 “DATA : a powerful instrument for our awareness”, TED 2011
2010 프로테이_기름 유출 / 카이스트 해양시스템공학과
2010 프로테이_기름 유출 / 한국 예술 종합 학
2009 "Data Visualization for sustainable behavior", 센서블시티랩, MIT
2009 "Data and Life", 리프트아시아, 제주
2008 " from DATA to DATA : shareness in media art" , CC코리아, 서울

ADDITIONAL EXPERIENCE
2016 CT 매거진 자문 위원, 한국콘텐츠 진흥원 (KOCCA)
2014 국가정책 R&D 위원, 문화체육관광부
2012 지역문화발굴 사업 멘토, 서울문화포럼
2011 XmediaLab 워크샵 멘토, 시드니
2011 살기좋은도시 정책 위원, 한국산업기술진흥원
2011 청년희망 멘토, 노동고용부

전시 및 프로젝트

2021 ~ 현재 현대자동차 제로원센터 입주작가, 서울, 한국
2019 ~ 현재 “climate change impact filter”, 구글 art & culture 프로젝트, 런던, 영국
2018 “Overfitted Society” NuerIPS 2018 machine learning for design and creativity workshop exhibition
2018 <모두의 인공지능, A.I, entirely on us> 데이터 시각화, 웹기반 작품, SeMA 비엔날레 미디어시티서울 2018 커미션
2017 “What if machines can see music....?” NIPS creativity workshop online exhibition, NIPS 2017, Long Beach, CA AI가 이해하는 음악을 시각화, NIPS 전시
2016 “Optical data and the subjective values”, TechArt Exhibition at Data for Life 2016, 자카르타, 인도네시아
2015 “몰입형 가상공간에서 사용하는 데이터 주도형 3D 마인드맵”, 에트리, 한국
2014 “도시데이터, 서울시 재정정보 시각화”, 국립현대 미술관, 한국
2014 “도시 데이터, 서울시 재정정보 시각화”, 성남 아트 센터, 한국
2013 사운드 시각화 프로젝트, Planet Shiver 콜라보레이션, 아메바후드 콘서트, 한국
2013 “poungru(風樓)-풍루”, 제주, 한국
2012 “intel SNS data visualization”, intel USA, 미국 및 유럽
2012 “informally formal, formally informal”,서울역사 박물관, 한국
2012 “Mobile traffic data visualization” 여수 엑스포, 한국
2011 “DATA Currency”, SKTelecom, 한국
2011 “DATA Currency”, 광주 디자인 비엔날레, 한국
2011 “이웃 효과", 갤러리 팩토리, 한국
2010 "redefined city" 군산 아티스트 레지던시, 한국
2010 "Protei_Oil Spill" at "Blur" exhibition at INDAF, 인천, 한국
2009 "transcend perspective" 디자인 페스티벌, COEX, 한국
2009 "form follows function, emotion follows form" , 리빙 디자인, 서울 아트 센터, 한국
2009 "the Gender Ratio" VDAS 클럽 나이트, 클럽 에덴, 한국
2008 "nowThen.crowded? 헤이리 판 페스티벌, 한국
2008 "nowThen.crowded?" at "Bonding Company" 리프트 아시아 08, 제주, 한국
2008 "intoxication" and "fallen flower" at "Le Voyageur for Jacqueline"

정재형 콘서트, 한국

2008 "classically digitized spot : Guang Yang" , 양 한국 음악 축제, 한국
2008 "21c palace" , "Luxury, Palace" 서울 리빙 아트 페어, 한국
2007 인터랙티브 사운드 비주얼라이제이션, "Smooch, Smooch :

첫눈에 반한 미디어 아트" 네마프, 한국

2007 미디어 아트 쇼, t "Media : at the first sight" 연세대학교, 한국
2007 인터랙티브 미디어 아트 VJing , P.Art.y, 아트센터 나비, 한국
2005 "awake", 3D 인터랙티브 미디어, 프랫 쇼,, 뉴욕, 미국

간행물

2016~17 “창작의 영역에서 만난 인공지능” , 연재 기사, TECHM
2015 “data visualization design and the art of depicting reality”, MOMA 블로그

강연요약

커뮤니케이션과 데이터 비주얼라이징
 2000년대 중반부터 데이터 비주얼라이징 작업을 시작했습니다. 학부 전공은 커뮤니케이션 디자인으로, 커뮤니케이션적으로 디자인을 어떻게 할 것인지에 대해 공부했습니다. 프로그래밍에 대한 지식은 없었지만 데이터 비주얼라이징도 일반적인 미디어 작업이 아니라 대중들에게 무언가를 이야기하고 싶어하는 작업이라는 점에서 커뮤니케이션과의 공통점을 찾을 수 있었는데, 이러한 점에서 데이터 시각화 작업에도 target consumer에 대한 고민이 필요하다고 생각합니다.
 
Randomwalks
2008년부터 randomwalks라는 data visualization studio를 시작했습니다. 7명 정도가 모인 커뮤니티에서 ‘데이터는 무엇인가, 어떻게 시각화할수 있을 것인가’ 등을 공부하면서 시작되었고, 올해부터 ‘project randomwalks’ 라는 프로젝트성 작업도 함께 했습니다. 사운드, 웹, 데이터 아티스트 등으로 구성된 미디어 아티스트 콜렉티브 그룹으로 매년 작업을 진행 중인데, 계속해서 진화하는 기술에 발맞춰 새로운 작업 방식을 가진 사람들과 협업할 수 있는 기회의 장으로서 2021년에는 제로원 레지던시 작가로 선정되기도 하였습니다. 당사 멤버들이 함께 머신러닝 기반 창작 툴 스타트업 Praxis.ai을 최근 오픈하기도 하였습니다.
 
작업을 시작한 계기
 MIT media lab 소속 the aesthetics + computation group의 프로젝트로 ‘Processing’이라는 프로그램이 탄생했는데, 대학원 생활 중 참석한 Processing 워크샵과  ‘Maeda&Media’라는 그래픽 디자인 책을 통해 computational design에 관심을 갖게 되었습니다. DARFUR 유혈사태에 대해 ‘for statement’ 하나로 얼마나 많은 사람들이 죽었는지를 보여준 작업은 Computational design의 가장 좋은 레퍼런스입니다. 기술 하나만으로도 내용을 전달할 수 있다는 것을 알려준 레퍼런스로, 프로그래밍 환경에서 메세지를 가장 잘 전달한 케이스입니다. Computational design에서 기술에 함몰되지 않기 위해 ‘내가 하고자 하는 방향에 이 기술이 얼마나 잘 부합하는가’를 판단해보는 것이 중요할 것이라 생각합니다.
 
데이터 시각화
시각화가 주는 가장 재미있는 부분은 스스로 가진 배경지식에 따라 그를 이해하는 방식이 다르며 경험도 달라지는 것입니다. 예를 들어 Hirosh Koi 의 metrogram 을 볼 때 만약 그래픽을 전공한다면 비주얼 작업 자체서 느껴지는 속도감에 매력을 느낄 것이지만 그렇지 않은 사람은 지하철 노선의 효율성을 떠올릴 수 있을 것입니다.
 Aaron Koblin의 작업 중 flight pattern은 비행기의 비행 노선을 시각화함으로써, 지도가 물리적으로 존재하지 않은 하늘에도 지도가 있음을 보여주는 의미 있는 작업이었는데, 이처럼 데이터가 우리 주변에 항상 존재하며 이를 증명하는 것이 시각화의 매력이라고 생각합니다.
 데이터 비주얼 작업을 하는 작가, 혹은 연구자들은 여전히 같은 직군에 있으나,  아쉬운 점은 백인 남성이 그 분야에서 절대 다수를 차지하고 있다는 점입니다. 또 메시지를 전달하는 입장에서 메시지의 소비자가 단순히 ‘흥미’를 느끼고 끝나는 것에 아쉬움을 느끼는데요, 때문에 만들어진 창작물이 사회의 변화까지 연결되는데 딜레이가 발생하면서 문화 컨텐츠로 변화를 이끄는 것은 어렵다는 것을 알게 되었습니다.
  최근에는 머신러닝 기술의 발전으로 함께 태동하는 ML Feature Visualization 작업을 통해서 네트워크 안에서 모델이 무엇을 어떻게 학습하는가를 시각화하는 작업에 매력을 크게 느끼고 있습니다. 머신러닝에서 자주 쓰는 시각화 알고리즘은 특징을 뽑아내고, 그것을 기반으로 차원을 축소하는 것을 시각적으로 보여주는 것인데, 비주얼 아티스트의 입장에서는 스스로 만들려는 의지로 작품을 만드는 것이 아닌 데이터를 기반으로 형태가 생성되는, 사람이 컨트롤하지 못 한 채로 만들어진 형태에서 아름다움을 느낍니다.
 예를 들어, open AI에서 퍼블리싱된 ‘microscope’ 프로젝트는 이미지 인식 모델에서 각각의 뉴런들이 어떤 정보를 찾고 집중하는지를 보여주는 대표적인 온라인 툴입니다. 이는 연구 분야로써뿐 아니라 비주얼적인 아름다움도 느낄 수 있는 경험이었는데, 개인의 의도가 있다면 편향을 배제하기 위해서 반복되는 행동, 편향을 찾기 쉬울 것입니다. 그러나 그렇지 못한, 습관과 같은 반복적인 행동으로부터 하나의 feature를 발견되어 이에 기반한 결과물을 만드는 과정에서 ML Visualization이 주는 매력이 분명히 있다고 생각합니다.
 이와 같이 데이터 시각화 자체에 관심이 있다면, inceptionism을 쓴 작가들이 현재까지 하고 있는 프로젝트를 한번 보는 것을 추천합니다. 작가들이 진행하는 프로젝트들 모두 공통적으로 웹 기반으로 사람들이 어떻게 이해하는지를 보여주지만, 그것이 가진 한계는 기술에 대한 이해도가 없다면 시작조차 힘든 것입니다
 
프로듀스 101의 분류적 특성을 이용한 우리 자신들의 분류
 이전에 아이돌 오디션 프로그램인 프로듀스 101의 참가자의 얼굴과 등급을 이용하여, 사용자는 과연 무슨 등급을 받을 수 있는지 볼 수 있는 머신러닝 기반의 창작 프로젝트를 진행한 적이 있는데, 제가 이 시스템을 가지고 제일 처음 한 것은 오디션 프로그램 참가자들의 얼굴을 등급 별로 학습시킨 후에 나는 몇 등급의 사람인지 보는 것이었습니다. 이 프로젝트는 어떻게 이 사회 자체가 over-fitted 되어 있는지를 설명하기 위해 진행했고, 이 작업은 웹 버전으로도 만들어서 neurips에서 artwork도 전시했습니다. 이것을 통해 제가 말하고 싶었던 것은, ai가 창작하시는 분들 입장에서 새로운 아이디어를 주는 것은 맞지만 우리가 101을 등급화했던 것처럼 제한적 데이터만으로 학습된 ai는 다양성을 수용할 수 없다는 것입니다.
 
데이터와 인공지능을 활용한 창작
 현재 머신러닝을 활용한 창작은 두 가지가 있는데, 데이터 기반 창작과 생성모델 기반 창작입니다. 이러한 방식들의 문제점은, 기술에 기대어 창작을 하기 때문에 누가 작품을 만들든 똑같은 작품이 나온다는 점이고, 발전하는 기술을 트래킹하는 자체도 어렵다는 것입니다. 이런 방법 외에 feature visualization을 활용한 창작도 생소하지만 재미있는 분야입니다. 이는 Neural network가  학습하는 low level과 high level에서의 정보를 시각화하는 것입니다. 그리고 ai 기술이 가져온 창작의 변화는 기계 해석 (데이터의 유사성)으로 만들어지는 형태입니다. MNIST 데이터의 clustering 이나 구글의 t-SNE map, 그 외에도 IDEO의 fontMap, Pentagram 사의 Covariant 로고가 대표적인 예시입니다.
 
생성모델을 활용한 이미지 생성
 생성 모델을 활용한 이미지 생성은 생성 모델을 활용하여 특징들 간의 전이를 만들어내는 시각 작업들을 의미합니다. 대표적인 예시로 DCGAN을 활용한 Mike Tyka의 작품, mario klingomann의 Memories of Passersby, 알고리즘을 이용한 패션쇼인 Camoflage project 등이 있습니다.
 <Memories of Passersby I, Mario Klingemann>은 카메라가 사람의 얼굴 특성을 기억하게하는 작품으로 새로운 관람객이 오면 기존 학습된 것에 새로운 관람객의 얼굴 특성을 더해 새로운 얼굴을 만들어줍니다. 해당 작품은 우리나라에서 8개월 정도 설치했으며, 작품을 만드는 과정에서 카메라에 가장 많이 노출된 작가의 얼굴이 초창기에는 베이스가 되었습니다. 그런데 이후 시간이 흐르니 우리나라 사람들이 많이 노출되어, 어떤 사람이 와도 우리나라 사람들의 얼굴 형태와 유사한 형태의 얼굴이 많이 도출되기도 했습니다.
 <Entangled II, Scott Eaton>은 맑은 물에 잉크가 퍼지는 것 대신 신체가 텍스쳐로 입혀진 작품으로, 생성모델을 활용하여 이 작품을 만들기 위해서 작가는 신체에 관한 사진을 촬영과 물이 떨어지는 형태 사진을 다 직접 찍어서 데이터를 수집하였다는 점에서 의의가 있습니다.
 국내 작업으로는 <서울라이트 2019>가 있는데, 가장 대표적인 대중적인 컨텐츠 중 하나로, 우리나라의 DDP에서 AI를 기반하여 작업한 빔프로젝트 컨텐츠입니다. 다만 처음에는 신선하나 2번째 볼 때는 상대적으로 비슷해 보이는 것에서 아쉬움이 남는 작업이었습니다.
 
기술이 아닌 내용
<Google Arts & Culture Art Filter>에서는 칸딘스키 전시를 현장, AR, VR, 브라우저에는 머신러닝으로 제작된 음악으로써 다양하게 표현하여, 여러방면에서 칸딘스키와 관련된 내용을 즐길 수 있게 했습니다. 기존에 얼굴을 변환시키는 컨텐츠는 한번하면 이후 쉽게 질려 상대적으로 수명이 짧은 컨텐츠였으나, Google Arts에서는 광고 이해를 통한 미술교육 중 하나로 사용자 얼굴을 광고에 활용하였고, 그 결과 사용자가 흥미를 느낌과 동시에 미술에 대한 이해가 증가하였습니다. <Climate Change Impact Filter>은 72종의 샘물이 기온이 올라갈 때 얼마나 사라지는지 웹 기반 시각화한 작업으로, 머신러닝이 들어간 부분은 수집한 이미지를 처리하는 과정에서만 담겨, 원하는 내용을 위해 머신러닝을 하나의 도구로써 사용한 작품입니다. 마지막으로 <Gringgo Tech>는 쓰레기를 없애기 위한 인도네시아 스타트업으로 모바일 앱을 만들어서 어떻게 쓰레기를 잘 버릴게 할지에 대한 고민을 전달한 광고작업입니다. 해당 광고에서는 인간이 쓰레기라는 개념을 만들어내고, 문제를 해결하기위해 기존과 캠패인들과 달리 쓰레기를 수거해가는 사람들을 지원해야하는 시스템을 필요하다고 말하는 매력적인 부분이 있습니다. 그리고 이 과정에서 내가 픽업하는 쓰레기가 가치가 얼마인지를 확실히 알려주기 위해 머신러닝을 이용하고 있습니다.
 
Creative data
 GAN을 이용하여 이미지를 생성하는 것뿐만아니라 데이터를 직접찍고 보여주는 등 결과물이 만들어지는 과정을 시각화하여 이를 통해 관람객이 해당 작품을 더 잘 감상할 수 있게 합니다.
<NVIDA smartBrush with gauGAN>은 데이터 분할하는 과정을 재밌게 표현하였는데, 이와 같이 결과 뿐만 아니라 데이터를 어떻게 모을지, 어떻게 학습시킬지에 대해서 단순한 augmentation이 아닌 창의적인 방법들을 제고해야 함을 느낄 수 있는 작업입니다.
 2021년 1월 OpenAI에서 공개한 <DALL-E>는 텍스트에서 이미지를 생성할 수 있는 머신러닝 프로그램인데, 이와 같은 머신러닝 시스템인 디자이너들이 썸네일과 같은 창작물을 만드는데 있어 어시스턴트 역할을 해줄 수 있는 영역이 충분하다고 보입니다.          
 
어디서부터 시작할 수 있을까
기존 인공지능 창작 툴의 경우, 대다수의 사람들은 진입장벽이 너무 높고 용어가 익숙하지 않아서 접근성이 떨어지는 현실입니다. 구글 아트&컬쳐에서 제공하는 Teachable Machine은 모델 트레이닝을 시킬 수 있고 트레이닝 된 모델을 스크립트 형태로 뽑을 수 있기 때문에 데이터를 생성해 내어 분류 모델을 만들어서 브라우저에서 사용할 수 있는 반면, 기술에 대한 설명이 부족하며 창작 환경과의 연계는 스스로 해야한다는 단점이 있습니다. 최근 많이 쓰이는 runwayML은 AI에 기반한 창작관련 알고리즘을 클라우드 서비스로 제공하지만, 특별한 교육 프로그램이 없기 때문에 AI 사전지식이 필요하면 진입장벽이 높다는 단점이 있습니다. 결국 최소한의 머신러닝 관련 기본 지식은 있어야 하는 것입니다.
 랜덤웍스에서 제작한 Praxis.ai는 runwayML보다는 더 쉬우며, 창작자들에게 코딩없이 GUI 기반으로 사람들이 데이터를 수집하고 데이터의 특징을 추출하여 visualization 할 수 있는 툴입니다. 창작자가 기존 툴을 사용하면서 어려웠던 점은 직접 데이터를 수집하여 전처리 과정을 거쳐야 하고, ML모델을 이해해서 모델도 직접 선택을 해야 하는데 기술적인 이해가 수반되지 않았기 때문에 결과물에 대한 확신을 가지지 못했다는 단점이 있었습니다. Praxis.ai는 ai 관련 지식이 없는 일반인도 현업에서 AI와 데이터활용을 배우고 프로토타입에 적용할 수 있을 것으로 기대합니다.
 
질의응답
  • Ques) 다양한 분야에서 사용가능하다고 하셨는데 저작도구에서 사용할 수 있다고 말씀하셨습니다.  하지만, 예를들어 포토샵이나 일러스트의 블랜딩 옵션과 같은 기능은 단일한 함수로 적용되지만, AI 방식을 쓰면 단일한 함수가 아니라 계속 바뀌는 함수가 될 것입니다. 만약 툴을 오픈한다면 기능의 어느 부분까지 설명해주는 것이 좋을까요?
  • Ans) 타겟으로 하는 사용자는 기술자가 아니라 일반인을 대상으로 하기 때문에, 기술 자체를 설명해주는 것 보다 사용 방법을 설명해주는 것이 나을 것이에요. 아무런 관련 지식이 없다면, 단어 레벨부터 관련 지식까지 많은 지식을 설명해야 할 것입니다. 따라서 정보전달의 수준을 일반적인 상식의 수준으로 내리는 것을 목표로 합니다.
 
  • Ques) 딥러닝을 이용한 창작활동과 마찬가지로, 교육 목적을 가진 프로그램을 제작할 생각을 하고 계신가요?
  • Ans) 가까운 미래에는 지식을 글로써 배우는 것이 아니라 소프트웨어를 통해서 배우게 될 것 입니다. 곡선을 그려봄으로써 sin, cos함수를 이해하는 것과 같이, 창작하는 것과 지식의 학습이 동시에 일어날 것이에요. 아직은 실험적으로 많은 시도를 해봄으로써 가장 적합한 방법이 무엇인지 찾아보고 있는 과정입니다.
 
  • Ques) 현재 많은 툴들이 생겨나고 일반인들도 사용하기 쉬워지고 있습니다. 따라서 사용자들이 쉬운 툴들을 활용해서 많은 것을 만들 수 있는데요, 사용자들의 능력이 툴을 활용하는 것에 머물러 있을 것으로 예상하시나요, 혹은 툴을 넘어서 더 새로운 것을 만드는 방향으로 갈까요? 또한 툴을 제공함으로써 사회적으로 어떤 도움이 될 것이라고 생각하시나요?
  • Ans) 프로그래밍을 전공하지 않은 디자이너들이 프로그래밍으로 작품활동 하기를 요구받는 경우가 생기고 있어요. 하지만 기술이 고도화됨에 따라 비전공자가 어려운 지식을 이해하는 것은 점점 어려워지고 있는데, 이에 따라 비전공자들이 뒤쳐진다는 느낌을 받는 경우가 생기고 있습니다. Praxis.ai 툴을 통해 기술에 대한 기초지식을 설명하고 활용할 수 있게 함으로써, 비전공자들이 기술에 관심을 가질 수 있게 하고 더 나아가 더 나은 툴을 만들 수 있을 것으로 예상합니다.
 
  • Ques) 쉽게 기술을 사용하게 된다면 사회적으로 좋지 않은 방향으로 툴을 사용하게 될 수도 있습니다. 이것에 대한 장치가 있나요?
  • Ans) 기술 그 자체보다 개발된 기술을 불특정 다수에게 사용할 수 있게 하는 것이 더 책임감이 드는 문제입니다. 아직 특별한 고려를 해보지 않았지만, 기술을 가르치는 단계에서 공정하게 기술을 쓰는 방법 및 윤리적 교육이 필요할 것 같습니다.
 
  • Ques) 제 친구들 중에서 영상작업이나 조각과 같은 예술을 전공하면서 미디어 아트에 관심을 가지게 되는 친구들이 생기고 있습니다. 하지만 코딩을 해본적이 없고 새롭게 시도하는 것을 두려하는데요. 네트워크를 직접 디자인 해주는 툴이 나오지 않을까 기대하고 있습니다. 교수님 생각은 이렇게 좋은 툴이 나오길 기다리는 것이 좋을까요, 혹은 코딩 지식을 배우는 것이 나을까요?
  • Ans) 제 개인적인 생각에는 대작이 나오려면 바닥부터 이해를 해야한다고 생각해요. 간단하게 생각하는 것이 아니라 기술을 즐겁게 경험하고자 하는 거라면 즐겁게 한번 사용해보는 것이 좋을 것 같아요. 만약 대작을 하고자 한다면 바닥부터 이해하는 고행길을 걸을 필요가 있겠죠.  

 
[GSCT 콜로키움] 3.23 (화) | 이대원 (중앙대학교 예술공학대학 교수)
일시 : 2021. 3. 23. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : From Complex Networks to Digital Human
연사 : 이대원 (중앙대학교 예술공학대학 교수)


 

학력

-     한국과학기술원(KAIST) 바이오 및 뇌공학 시스템 생물학 석박사 통합과정 졸업 (2018)

-     중앙대학교 컴퓨터공학(생명과학 부전공) 학사 졸업 (2008)

-     서울고등학교 졸업 (2003)


경력

-      중앙대학교 예술공학대학 컴퓨터예술학부 조교수 (2020.03-Present)

-      ETRI부설 국가보안기술연구소 연구원 (2018.05-2020.02)

-      한국과학기술원 정보전자연구소 박사후연구원 (2018.03-2018.05)


강연요약

-         KAIST에서의 연구 소개
 
중앙대학교에서 컴퓨터 공학을 전공, 생명과학을 부전공했습니다. 그래서 학부 때 컴퓨터와 생물학을 전공을 했는데 졸업할 즈음 돼서 어떤 일을 할 수 있을까 고민을 하다가 두 분야를 융합하고자 하는 생각이 들었고, 그 중 생명 시스템, 세포를 모델링하는 시스템 생물학이라는 분야에 관심이 생겨 카이스트의 시스템생물학 연구실에 들어오게 되었습니다.
 
제가 카이스트에서 했던 연구를 간략하게 소개 드리자면 박사 과정 4년 동안은 Multi-scale modeling을 연구했는데 이는 우리 몸 속의 세포 내의 회로와 같은, 실제 전자회로처럼 동작하는 회로의 동작에 따라 세포가 움직이거나 살고 죽는데, 이것을 multi-scale로 시뮬레이션하는 연구를 진행했습니다. 이후 지도 교수님께서 굉장히 어려운, 도전적인 주제를 주시는데, 세포 내의 생체 회로 혹은 signaling network라고 부르는 이 신호 회로에 의해 세포의 운명이 결정되는데 이러한 회로의 동작 방식을 네트워크의 구조 정보만을 이용해서 예측해 보아라는 문제였습니다. 오늘 발표에서는 2018년도에 출판된 이 논문에 대해서 소개를 해드리려고 합니다.
 
우리나라 사망률 1위인 암 같은 질병이 주로 signaling pathway, Signal Transduction Pathway에 있는 특정한 단백질에 이상이 생겨서 발생하는 경우들이 많습니다. 즉 세포 내의 생체 회로가 고장이 나는 것입니다. 예를 들면, 신호가 전달되어서는 안되는데 돌연변이가 발생한 단백질에 의해 회로가 오작동하는 현상이 있을 수 있고, 이러한 단백질의 돌연변이로 인해 신호가 엉망으로 퍼져나갈 수 있는 것입니다. 이런 signal pathway가 굉장히 복잡하게 얽혀 있기에 이를 signaling network라고 부르고, 복잡계 네트워크 분야에서 다루는 작은 subject 중 하나입니다. Visualization한 결과만 보아도 굉장히 복잡하다는 것을 확인할 수 있는데, 사람이 쉽게 눈으로 분석을 하거나 일일이 나열을 해서 분석 하는 방식이 굉장히 어렵습니다. 그래서 formulation된 문제는 다음과 같습니다. 목적은 어떠한 Mathematical model 혹은 알고리즘을 개발하는 것이고 이 과정에서 experimental data(training data)를 사용하지 않고 네트워크의 구조(topology)만을 이용하라는 것입니다.
 
보통 Biochemical reaction, 생체 내에서 일어나는 수많은 반응들을 네트워크 형식으로 표현을 합니다. 저는 네트워크의 mathematical model을 수많은 실험들을 거쳐서 간단한 선형 차분 방정식으로 표현하기로 결정하였습니다. 문제는 선형 차분 방정식의 weight matrix를 어떻게 결정할 것이냐였습니다. 일반적으로는 실험 데이터를 이용해 weight를 fitting하는 방식을 취하겠지만 제 경우에는 network의 topology만을 이용해야 하기 때문에 data에 기반한 estimation을 할 수 가 없었고, 그래서 Link weight normalization 기법을 활용해 진행하였습니다. Public data를 이용해 실험을 진행하였고 이렇게 개발한 수식을 어떻게 평가할 것인가를 고민하다 결국에는 연구에 큰 제약을 가지고 진행하기 때문에 단순한 평가 방식을 취하자, 어떤 단백질이 활성화/불활성화 되었는지에 대한 방향성을 추정하는 식으로 제약을 가했습니다.
 
이 과정에서 일반적으로 활용하는 네트워크 시각화 도구가 불만족스러운 부분이 있어, Signal Flow Visualization을 하는 시각화 프로그램을 직접 만들었습니다. 시각적으로 보기 불편한, 예를 들면 화살표끼리 겹친 부분이 투명도가 다르게 보이는 등의 부분이 없도록 만들었고, 시각화 프로그램은 GUI for curating graphics of network, Dynamic execution of source code in Python, Interactive programming (REPL) for modifying network으로 구성하였습니다. 네트워크 토폴로지만을 이용했는데, overall accuracy가 0.6~0.8 사이로 나오는 고무적인 결과를 얻게 되었고, 그 중 Randomized structure를 적용했을 때는 예측력이 거의 없는, 0.5에 가까운 수치가 나왔고 hyperparameter를 바꿨을 때는 큰 변화가 없었습니다. 반면 개별적인 experimental result를 확인해보았더니 제대로 perturbation 되지 않은 부분이 상당히 많았습니다. 이를 수정하기 위해서, 기존의 모델에서 신호가 거의 흐르지 않는 링크를 지우고, 일부 다른 링크는 증폭시키는 과정을 거쳤으며 그 결과 이 연구는 Faculty of 1000 Prime(생명과학 분야의 전문가들이 선정하는 좋은 연구)에 선정되었습니다.
 
2016년 KAIST에 Demis Hassabis가 와서 알파고에 대해 강연을 한 적이 있었는데, 이 강연을 계기로 딥러닝을 공부하기 시작했습니다. Vanishing Gradient Problem을 풀 때, Sigmoid 함수를 사용할 때 기울기가 0에 가까워지면서 saturation되므로 back propagation을 하는 데에 문제가 있었고 그에 따라 예측력도 떨어졌는데, Nonlinear 모델을 사용하려고 했으나 예측력이 linear 모델만큼 나오지 않아서 linear 모델을 사용할 수 밖에 없었습니다.
 
-         중앙대학교에서의 연구 소개
 
(발표 영상 재생 후) 중앙대학교에서 자체적으로 개발한 AI 기반 디지털 휴먼의 지능화 모델 ‘SAY’ 에대해서 설명하였습니다. 이는 학부 1,2 학년 학생들과 함께 했었던 프로젝트로서 진행하였습니다. 3D human 스캐너를 통해 실제 학생의 모습을 모델링 하였고 후처리를 통해 실사에 가까운 모델을 뽑을 수 있었습니다. 특히 실시간 상호작용을 위하여 UNREAL 엔진을 이용하여 제작하였습니다. 실제 사용되는 음성과 3D 캐릭터 모델을 매칭 시켜주기 위해서 관련 연구 내용을 소개했습니다.  그 중 하나는 Max Plank Institute에서 발표했었던 Voice Operated Chracter Animation (VOCA)이고, 이는 간단한 네트워크 아키텍처를 가진 딥러닝 모델을 활용하여 음성신호와 캐릭터 표정 애니메이션과 매칭시켜주었습니다.
 고려대학교의 이성환 교수님 연구실에서 나온 Uncertainty-Aware Mesh Decoder for High Fidelity 3D Face Reconstruction 논문은 2D 이미지에서 3D 모델링과 이를 위한 텍스쳐 파일을 함께 생성해주는 딥러닝 연구입니다. 3D 모델링을 추출할 때에 Graph Neural Network(GNN)를 활용하여 생성했다는 점이 특징적인 논문임을 설명하였습니다. 위 논문 외 현재 많은 논문에서 이 GNN 방식을 사용하고 있음을 다른 논문들과 함께 설명하였습니다.
따라서 추후 계획으로 지금까지 진행해온 연구들이 앞서 언급한 Facial Representation에 관련된 그래픽 연구였기 때문에 GNN을 활용하는 관점으로 재해석이 가능할 것으로 보여서 이 방향으로 연구가 진행될 것임을 알려주셨습니다. 여기서 중요한 포인트는 복잡계 네트워크, Facial Representation등 기존에 해오던 연구들이 하나의 Framework로 모아질 수 있다는 것에서 연관성이 없어 보이는 연구들이 이후에 하나로 통합되어 새로운 연구로 나아갈 수 있음을 이야기했습니다.
 
-         질의 응답
 
Q. 복잡계 네트워크와 심층 신경망, 디지털 휴먼 등 다양한 연구 분야에서 연구를 진행하며, 이 분야들 사이에서 어떻게 연결 지점을 찾으셨나요?
 
  1. 연구 분야는 바뀌었지만, 사용하는 수식이나 언어가 비슷하여 여기에서 연결 지점을 찾았었습니다. 복잡계 네트워크에서 사용하던 언어나 수학적 표현, 개념 및 기법들이 딥러닝에서 많이 사용되고 있기 때문에, 딥러닝을 접했을 때에 그것이 아주 낯설지 않았습니다. 주제는 달랐지만, 사용 언어를 공유하기 때문에 빨리 적응하는 것이 가능했고, 디지털 휴먼의 경우도, 새롭게 다루어야하는 모델에 대해 자료 구조를 이해한 후에는 기존에 사용하던 방법론들을 적용하는 것이 가능했기 때문에 크게 어려움을 겪지 않았습니다. 이 분야들이 겉으로는 이질적으로 보이지만 뒷받침되는 수학적 혹은 기술적 개념들이 비슷하기 때문에, 기본기가 탄탄하게 자리잡혀있으면 금새 적응할 수 있는 듯 합니다.
 
 
Q. 향후에는 어떤 연구를 진행할 계획이신가요?
 
  1. 디지털 휴먼 프로젝트에서 모든 pipeline을 딥러닝 기술로 교체해보고자 하는 계획이 있습니다. 기존에 게임 엔진 상에서 시각화하는 부분은 3D 모델을 직접 언리얼 게임 엔진으로 가져와서 시각화하는 방식을 사용했었는데, 향후에는 2D와 3D 시각화를 하는 전 과정을 딥러닝 기법을 적용하여 구현해보고자 하고 있습니다. 단기적으로는 2D부터 접근하여, 텍스트부터 스피치 시그널, facial expression 등이 실시간으로 합성될 수 있는 pipeline을 개발하는 것을 목표로 하고 있고, 당장 모든 pipeline을 개발하는 것은 불가능하기 때문에 speech signal을 facial expression으로 변환하는 것부터 순차적으로 시도하는 중입니다. 이 외에도 steganography와 steganalysis 연구도 계속 진행하고 있습니다.
 
Q. 대학원생과 연구원, 그리고 현재는 교수로서 연구를 진행하며, 다양한 연구 환경들을 경험해오셨는데 각각의 환경을 어떻게 다르게 느끼셨나요?
 
  1. 석박사과정 중에는 교수님의 지도를 따라 연구를 수행하는 것이 일차적 목표였고, 교수님의 기대에 부응하여 연구 결과를 만들어야했기 때문에 압박감과 부담감을 많이 느꼈었습니다. 그리고 연구소의 경우, 분야의 전문가들이 모두 모여있는 곳이기에 동료들로부터 많이 배우고 자극을 받아, 개인적으로 많이 성장할 수 있었던 환경이었던 것 같습니다. 이 곳에서는 연구 뿐만이 아니라 삶을 운영하는 방식이나 살아가는 자세 역시 많이 배웠었습니다. 현재는 학교로 돌아와 직접 연구 책임자가 되니, 자유롭게 내가 하고 싶은 연구를 할 수 있다는 장점이 생겼으나, 한편으로 직접 연구를 하기보다는 선수가 아닌 감독으로서 학생들에게 디렉션을 줘야하는 위치에 서야하기 때문에, 이러한 부분에서 제 역할을 재정립하고, 이를 어떻게 수행할지를 고민하는 중에 있습니다.
 
Q. 디지털 휴먼 프로젝트는 어떠한 비전을 가지고 진행하시는지 궁금합니다.
 
  1. 디지털 휴먼 프로젝트는 개인적으로 연구하는 주제라기보다는 학과 차원에서 진행하는 주제이고, 굉장히 장기적인 관점에서 진행되고 있습니다. 장기적으로는 노년층을 고려해서 치매환자들을 도와줄 수 있는 디지털 휴먼을 만드는 것이 목표이고, 또한 치매 치료제를 개발하는 제약회사들과 협력하여 다양한 일들을 진행하고자 계획하고 있습니다.
 

* 4:00-5:00pm 연사 강연, 5:00-5:30pm Q&A 및 자유토론 (Mandatory)

* CT세미나에 참석하고 싶으신 타과 교수님 또는 학생분들은 언제든지 환영합니다.

* 콜로퀴움의 강연들은 대부분 한국어로 진행될 예정입니다.