일시 : 2021. 3. 23. (화) 오후 4:00~5:30
장소 : 비대면강연(ZOOM)
주제 : From Complex Networks to Digital Human
연사 : 이대원 (중앙대학교 예술공학대학 교수)


 

학력

-     한국과학기술원(KAIST) 바이오 및 뇌공학 시스템 생물학 석박사 통합과정 졸업 (2018)

-     중앙대학교 컴퓨터공학(생명과학 부전공) 학사 졸업 (2008)

-     서울고등학교 졸업 (2003)

경력

-      중앙대학교 예술공학대학 컴퓨터예술학부 조교수 (2020.03-Present)

-      ETRI부설 국가보안기술연구소 연구원 (2018.05-2020.02)

-      한국과학기술원 정보전자연구소 박사후연구원 (2018.03-2018.05)

강연요약

-         KAIST에서의 연구 소개
 
중앙대학교에서 컴퓨터 공학을 전공, 생명과학을 부전공했습니다. 그래서 학부 때 컴퓨터와 생물학을 전공을 했는데 졸업할 즈음 돼서 어떤 일을 할 수 있을까 고민을 하다가 두 분야를 융합하고자 하는 생각이 들었고, 그 중 생명 시스템, 세포를 모델링하는 시스템 생물학이라는 분야에 관심이 생겨 카이스트의 시스템생물학 연구실에 들어오게 되었습니다.
 
제가 카이스트에서 했던 연구를 간략하게 소개 드리자면 박사 과정 4년 동안은 Multi-scale modeling을 연구했는데 이는 우리 몸 속의 세포 내의 회로와 같은, 실제 전자회로처럼 동작하는 회로의 동작에 따라 세포가 움직이거나 살고 죽는데, 이것을 multi-scale로 시뮬레이션하는 연구를 진행했습니다. 이후 지도 교수님께서 굉장히 어려운, 도전적인 주제를 주시는데, 세포 내의 생체 회로 혹은 signaling network라고 부르는 이 신호 회로에 의해 세포의 운명이 결정되는데 이러한 회로의 동작 방식을 네트워크의 구조 정보만을 이용해서 예측해 보아라는 문제였습니다. 오늘 발표에서는 2018년도에 출판된 이 논문에 대해서 소개를 해드리려고 합니다.
 
우리나라 사망률 1위인 암 같은 질병이 주로 signaling pathway, Signal Transduction Pathway에 있는 특정한 단백질에 이상이 생겨서 발생하는 경우들이 많습니다. 즉 세포 내의 생체 회로가 고장이 나는 것입니다. 예를 들면, 신호가 전달되어서는 안되는데 돌연변이가 발생한 단백질에 의해 회로가 오작동하는 현상이 있을 수 있고, 이러한 단백질의 돌연변이로 인해 신호가 엉망으로 퍼져나갈 수 있는 것입니다. 이런 signal pathway가 굉장히 복잡하게 얽혀 있기에 이를 signaling network라고 부르고, 복잡계 네트워크 분야에서 다루는 작은 subject 중 하나입니다. Visualization한 결과만 보아도 굉장히 복잡하다는 것을 확인할 수 있는데, 사람이 쉽게 눈으로 분석을 하거나 일일이 나열을 해서 분석 하는 방식이 굉장히 어렵습니다. 그래서 formulation된 문제는 다음과 같습니다. 목적은 어떠한 Mathematical model 혹은 알고리즘을 개발하는 것이고 이 과정에서 experimental data(training data)를 사용하지 않고 네트워크의 구조(topology)만을 이용하라는 것입니다.
 
보통 Biochemical reaction, 생체 내에서 일어나는 수많은 반응들을 네트워크 형식으로 표현을 합니다. 저는 네트워크의 mathematical model을 수많은 실험들을 거쳐서 간단한 선형 차분 방정식으로 표현하기로 결정하였습니다. 문제는 선형 차분 방정식의 weight matrix를 어떻게 결정할 것이냐였습니다. 일반적으로는 실험 데이터를 이용해 weight를 fitting하는 방식을 취하겠지만 제 경우에는 network의 topology만을 이용해야 하기 때문에 data에 기반한 estimation을 할 수 가 없었고, 그래서 Link weight normalization 기법을 활용해 진행하였습니다. Public data를 이용해 실험을 진행하였고 이렇게 개발한 수식을 어떻게 평가할 것인가를 고민하다 결국에는 연구에 큰 제약을 가지고 진행하기 때문에 단순한 평가 방식을 취하자, 어떤 단백질이 활성화/불활성화 되었는지에 대한 방향성을 추정하는 식으로 제약을 가했습니다.
 
이 과정에서 일반적으로 활용하는 네트워크 시각화 도구가 불만족스러운 부분이 있어, Signal Flow Visualization을 하는 시각화 프로그램을 직접 만들었습니다. 시각적으로 보기 불편한, 예를 들면 화살표끼리 겹친 부분이 투명도가 다르게 보이는 등의 부분이 없도록 만들었고, 시각화 프로그램은 GUI for curating graphics of network, Dynamic execution of source code in Python, Interactive programming (REPL) for modifying network으로 구성하였습니다. 네트워크 토폴로지만을 이용했는데, overall accuracy가 0.6~0.8 사이로 나오는 고무적인 결과를 얻게 되었고, 그 중 Randomized structure를 적용했을 때는 예측력이 거의 없는, 0.5에 가까운 수치가 나왔고 hyperparameter를 바꿨을 때는 큰 변화가 없었습니다. 반면 개별적인 experimental result를 확인해보았더니 제대로 perturbation 되지 않은 부분이 상당히 많았습니다. 이를 수정하기 위해서, 기존의 모델에서 신호가 거의 흐르지 않는 링크를 지우고, 일부 다른 링크는 증폭시키는 과정을 거쳤으며 그 결과 이 연구는 Faculty of 1000 Prime(생명과학 분야의 전문가들이 선정하는 좋은 연구)에 선정되었습니다.
 
2016년 KAIST에 Demis Hassabis가 와서 알파고에 대해 강연을 한 적이 있었는데, 이 강연을 계기로 딥러닝을 공부하기 시작했습니다. Vanishing Gradient Problem을 풀 때, Sigmoid 함수를 사용할 때 기울기가 0에 가까워지면서 saturation되므로 back propagation을 하는 데에 문제가 있었고 그에 따라 예측력도 떨어졌는데, Nonlinear 모델을 사용하려고 했으나 예측력이 linear 모델만큼 나오지 않아서 linear 모델을 사용할 수 밖에 없었습니다.
 
-         중앙대학교에서의 연구 소개
 
(발표 영상 재생 후) 중앙대학교에서 자체적으로 개발한 AI 기반 디지털 휴먼의 지능화 모델 ‘SAY’ 에대해서 설명하였습니다. 이는 학부 1,2 학년 학생들과 함께 했었던 프로젝트로서 진행하였습니다. 3D human 스캐너를 통해 실제 학생의 모습을 모델링 하였고 후처리를 통해 실사에 가까운 모델을 뽑을 수 있었습니다. 특히 실시간 상호작용을 위하여 UNREAL 엔진을 이용하여 제작하였습니다. 실제 사용되는 음성과 3D 캐릭터 모델을 매칭 시켜주기 위해서 관련 연구 내용을 소개했습니다.  그 중 하나는 Max Plank Institute에서 발표했었던 Voice Operated Chracter Animation (VOCA)이고, 이는 간단한 네트워크 아키텍처를 가진 딥러닝 모델을 활용하여 음성신호와 캐릭터 표정 애니메이션과 매칭시켜주었습니다.
 고려대학교의 이성환 교수님 연구실에서 나온 Uncertainty-Aware Mesh Decoder for High Fidelity 3D Face Reconstruction 논문은 2D 이미지에서 3D 모델링과 이를 위한 텍스쳐 파일을 함께 생성해주는 딥러닝 연구입니다. 3D 모델링을 추출할 때에 Graph Neural Network(GNN)를 활용하여 생성했다는 점이 특징적인 논문임을 설명하였습니다. 위 논문 외 현재 많은 논문에서 이 GNN 방식을 사용하고 있음을 다른 논문들과 함께 설명하였습니다.
따라서 추후 계획으로 지금까지 진행해온 연구들이 앞서 언급한 Facial Representation에 관련된 그래픽 연구였기 때문에 GNN을 활용하는 관점으로 재해석이 가능할 것으로 보여서 이 방향으로 연구가 진행될 것임을 알려주셨습니다. 여기서 중요한 포인트는 복잡계 네트워크, Facial Representation등 기존에 해오던 연구들이 하나의 Framework로 모아질 수 있다는 것에서 연관성이 없어 보이는 연구들이 이후에 하나로 통합되어 새로운 연구로 나아갈 수 있음을 이야기했습니다.
 
-         질의 응답
 
Q. 복잡계 네트워크와 심층 신경망, 디지털 휴먼 등 다양한 연구 분야에서 연구를 진행하며, 이 분야들 사이에서 어떻게 연결 지점을 찾으셨나요?
 

1. 연구 분야는 바뀌었지만, 사용하는 수식이나 언어가 비슷하여 여기에서 연결 지점을 찾았었습니다. 복잡계 네트워크에서 사용하던 언어나 수학적 표현, 개념 및 기법들이 딥러닝에서 많이 사용되고 있기 때문에, 딥러닝을 접했을 때에 그것이 아주 낯설지 않았습니다. 주제는 달랐지만, 사용 언어를 공유하기 때문에 빨리 적응하는 것이 가능했고, 디지털 휴먼의 경우도, 새롭게 다루어야하는 모델에 대해 자료 구조를 이해한 후에는 기존에 사용하던 방법론들을 적용하는 것이 가능했기 때문에 크게 어려움을 겪지 않았습니다. 이 분야들이 겉으로는 이질적으로 보이지만 뒷받침되는 수학적 혹은 기술적 개념들이 비슷하기 때문에, 기본기가 탄탄하게 자리잡혀있으면 금새 적응할 수 있는 듯 합니다.

 
 
Q. 향후에는 어떤 연구를 진행할 계획이신가요?
 

1. 디지털 휴먼 프로젝트에서 모든 pipeline을 딥러닝 기술로 교체해보고자 하는 계획이 있습니다. 기존에 게임 엔진 상에서 시각화하는 부분은 3D 모델을 직접 언리얼 게임 엔진으로 가져와서 시각화하는 방식을 사용했었는데, 향후에는 2D와 3D 시각화를 하는 전 과정을 딥러닝 기법을 적용하여 구현해보고자 하고 있습니다. 단기적으로는 2D부터 접근하여, 텍스트부터 스피치 시그널, facial expression 등이 실시간으로 합성될 수 있는 pipeline을 개발하는 것을 목표로 하고 있고, 당장 모든 pipeline을 개발하는 것은 불가능하기 때문에 speech signal을 facial expression으로 변환하는 것부터 순차적으로 시도하는 중입니다. 이 외에도 steganography와 steganalysis 연구도 계속 진행하고 있습니다.

 
Q. 대학원생과 연구원, 그리고 현재는 교수로서 연구를 진행하며, 다양한 연구 환경들을 경험해오셨는데 각각의 환경을 어떻게 다르게 느끼셨나요?
 

1. 석박사과정 중에는 교수님의 지도를 따라 연구를 수행하는 것이 일차적 목표였고, 교수님의 기대에 부응하여 연구 결과를 만들어야했기 때문에 압박감과 부담감을 많이 느꼈었습니다. 그리고 연구소의 경우, 분야의 전문가들이 모두 모여있는 곳이기에 동료들로부터 많이 배우고 자극을 받아, 개인적으로 많이 성장할 수 있었던 환경이었던 것 같습니다. 이 곳에서는 연구 뿐만이 아니라 삶을 운영하는 방식이나 살아가는 자세 역시 많이 배웠었습니다. 현재는 학교로 돌아와 직접 연구 책임자가 되니, 자유롭게 내가 하고 싶은 연구를 할 수 있다는 장점이 생겼으나, 한편으로 직접 연구를 하기보다는 선수가 아닌 감독으로서 학생들에게 디렉션을 줘야하는 위치에 서야하기 때문에, 이러한 부분에서 제 역할을 재정립하고, 이를 어떻게 수행할지를 고민하는 중에 있습니다.

 
Q. 디지털 휴먼 프로젝트는 어떠한 비전을 가지고 진행하시는지 궁금합니다.
 

1. 디지털 휴먼 프로젝트는 개인적으로 연구하는 주제라기보다는 학과 차원에서 진행하는 주제이고, 굉장히 장기적인 관점에서 진행되고 있습니다. 장기적으로는 노년층을 고려해서 치매환자들을 도와줄 수 있는 디지털 휴먼을 만드는 것이 목표이고, 또한 치매 치료제를 개발하는 제약회사들과 협력하여 다양한 일들을 진행하고자 계획하고 있습니다.

 

* 4:00-5:00pm 연사 강연, 5:00-5:30pm Q&A 및 자유토론 (Mandatory)

* CT세미나에 참석하고 싶으신 타과 교수님 또는 학생분들은 언제든지 환영합니다.

* 콜로퀴움의 강연들은 대부분 한국어로 진행될 예정입니다.