지난 2017년 말, 이준환 교수님을 알게 되고 정보문화학에 진입을 하고 나니, 뭔가 나도 할 수 있다는 자신감을 가지게 되었다. 왜 그랬을까? 생각해보니 다음과 같은 이유가 있었던 것 같다.
그렇게 공부에 조금씩 흥미(?)가 생기고 나니, 나도 이제 뭔가 의미있고 멋진 일을 하고 싶었다. 그게 뭘까? 바로 페이퍼였다. (하.. 이땐 왜 이런 생각을 했을까..) 나도 사람들이 그리 갖고싶어하는 논문을 가져서, 누군가가 나에 대해 ‘무슨 일 하세요?’라고 하면 ‘아! 저는 이런이런 연구를 하는 사람입니다’고 말하고 싶었다. 그렇게 지옥은 시작되었다.
어느날 교수님께 페메가 왔다.
연대 학생이 재미있는 앱개발 아이디어가 있는 것 같던데, 한번 해볼래요?
허걱. 학부생 나부랭이에게 기회를 주시다니. 이건 뭔가 내 인생에서 수능 다음으로 제대로 평가받는 것 같았고 (나중에 나오겠지만 rebuttal처럼 더 매정한 평가가 있는지도 몰랐다 이땐..) 나는 당연히 한다고 했고, 그리고 같이 프로젝트를 진행하게 될 연대 대학원생 분들을 뵙게 되었다.
알고보니 주제는 발달장애인 아동을 위한 보완대체의사소통 (AAC) 라는 기술을 만드는 거였다. 사실, 나는 논문을 쓰고싶었지 무언가 의미있는 일을 하고 싶었던 게 아니었다. 주위 사람들이 이런걸 한다고 얘기를 전하면 ‘와 너 대단하다’는 식으로 말하는데, 난 전혀 이런 주제를 할 생각이 없었고, 오히려 뭔가 data-driven한 연구를 해보고 싶었던게 더 컸다 (물론 이정도로 깊게 파니 너무 가치있는 연구인 것 같아서 계속 하고싶다). 그래도 기회는 기회니까, 진짜 미친듯이 했다. 발달장애 학교에 여러번 가서 인터뷰를 진행하고, 2개월간 정말 서울대입구역 탐탐에 매일 가서 밤새고 코딩했다 (논문 내용을 적기엔 너무 양이 많아서 생략함을 양해 부탁한다). 2018년 말에 있었던 보완대체의사소통 학회 가서 oral presentation도 하고, 그렇게 논문이 나오는줄 알았는데..
맞다. 논문은 그렇게 쉽게 나오는게 아니었다. 이렇게 잘 만들었는데, 오럴 pt에서는 그렇게 호평을 받았는데, 내가 내고싶은 CHI쪽 venue들은 우리에게 기대하는 contribution이 좀 달랐다. 그게 무슨 말이나면, 특수교육 쪽은 원래 이런이런 디자인을 만들더라도 그냥 결과가 좋고 효과가 입증되면 끝인데, CHI는 그보다 Design rationale을 상당히 중요하게 여겼다. 정리하자면 다음과 같은 순서대로 논문을 기대한다는 걸 알게 되었다 (물론 artifact를 만드는 페이퍼라는걸 전제로 하고, 다른 연구는 충분히 달라질 수도 있다).
사실, 정말 연구는 빡세게 했는데 이런 과정들을 거쳐야 한다니, 곡할 노릇이었다. 왜냐하면 나는 특수교육 쪽 페이퍼를 많이 refer하다 보니 페이퍼 구상을 다 그쪽으로 해놨기 때문이다. 페이퍼에서 서술하는 틀을 바꾼다는 건 진짜 말도안되게 어려운 일이었다. 그렇게 거의 2개월 넘게 논문 framing을 HCI스럽게 수정하였다. 2저자 친구가 framing이 논문의 전부라고 했던 이유를 알 것 같았다 ㅠㅠ
IRB (Institutional Review Board)
우리는 우리 시스템의 효과를 알아보기 위하여 불가피하게 장애인과 그 보호자를 대상으로 실험을 해야 했는데, 이게 진짜 죽는 줄 알았다. 당연히 피험자의 권리는 보호돼야 하지만, 서울대 IRB는 완전 느리기로 악명이 높아서 2개월 동안 수정에 수정을 거쳐 겨우 승인을 받았다. 카이스트 랩에 아는 분께 여쭤봤는데, 보고 기겁했던 서울대 IRB… 얼마나 심하냐면, 랩사람이 연구 근황을 물었을 때 내가 IRB가 막 끝났다고 하니 ‘연구 거의 끝났네’라고 할 정도니…
연구비 펀딩
사실 이게 은근 신경쓰이는 부분이었다. 피험자를 5쌍정도만 모집해도 우리 실험같은 경우 총 3명으로 이루어져 피험자 급여가 꽤 될텐데, 자비를 쓸 수는 없는 노릇이었다. 그런 와중에, 2저자 친구가 학부생연구지원사업을 알려줬고, 그걸 지원했는데 덜컥 돼버렸다. 근데, 보통은 랩에 소속되어 있으면 교수님께 말씀드리면 최대한 지원해 주신다더라.
연구에 산전수전을 다 겪고, 9월 중순이 서브미션인 CHI에 페이퍼를 내보기로 했다 (CHI는 student competition 이런 프로그램 말곤 애초에 연구자가 첫발을 내딛기 위한 학회가 아니다. 그리고, 사실 개인적으론 top-tier 학회에 논문을 내려고 그 일정에 논문 퀄리티를 맞추는 건 아주 좋지 못한 생각인 것 같다. 이런 문제들이 있었지만, 우리같은 경우에는 정말 다 됐는데 framing만 거의 10바퀴는 돌아서.. 아쉬움에 우리 몸을 갈아서 시간을 맞출 수밖에 없었다). 솔직히 말해서, 이때의 나는 여러번의 paper iteration을 거치며 정신적으로 아주 피폐해져 있었다. 우울증도 심해지고, 데드라인이 급한데 더 잘 쓰지 못했다는 데에서 자신감도 심하게 떨어져있었다. 하지만, 같이 연구를 하는 재윤 덕분에 여러모로 힘을 내고 열심히 할 수 있었다 (재윤님이 이 글을 볼진 모르겠지만 내가 이때까지 본 학부생 중에 가장 똑똑하고 능력있는 사람이다. 정말로). 그렇게 어렵게 페이퍼를 섭밋하게 되었지만, 점수에 대해 자신감은 여전히 낮았고 붙으리라 생각하진 않았다. 그런데…
아, 점수를 설명하기 전에 ACM CHI는 어떻게 점수를 부여하는지 설명해야 할 것 같다. 일반적으로 하나의 논문에는 총 3명의 리뷰어 (AC: 다른 리뷰어들의 의견을 정리하는 메타리뷰어, R: 섭밋한 페이퍼를 보고 평가를 내리는 리뷰어) 가 붙는데, 나는 여기다가 추가적으로 2AC가 한명 더 붙었다. 사실 분야가 분야다보니 잘 아는 사람이 흔치 않아서 그랬을 수도 있고… 이유는 잘 모르겠다. 점수는 각 리뷰어가 5점 만점을 주는데, 이를 평균낸 분포를 보면 2.5점을 중심으로 정규분포를 이룬다. 그리고, 대체로 3점대를 받으면 가능성 있음~붙음 정도에 분포한다고 알려져있다.
그런데, 점수가 나왔는데.. 말도 안되는 점수가 나왔다. AC: 4.5, 2AC: 4.0, R1: 4.0, R2: 4.0. 나는 제발 3.0만 넘게 해달라고 빌고 또 빌었는데, 생각보다 점수가 너무 높게 나왔다. 곰곰히 생각해보니, 먼저 내가 그동안 자신감이 많이 떨어져있었는데 리뷰어들이 이것저것 채워넣은 것들을 좋게 봐준 것 같다.
이렇게 섭밋을 하고 첫 평가가 나왔을 때, 본인의 의도대로 페이퍼가 잘 전달되지 않은 것 같거나 수정할 부분이 생긴다면 rebuttal이라는 과정을 통해 연구자의 의견을 전달한다. Microsoft Research의 Meredith Ringel Morris가 쓴 My Rebuttal-Writing Process for HCI Venues에 따르면, 너무 낮은 점수를 받으면 rebuttal을 굳이 작성할 필요가 없고, 너무 높은 점수를 받으면 아주 짧게라도 적으라고 했는데, 후자는 전혀 생각치도 못했는데 이렇게 됐으니…
이런 상황이 되면 아무 문제 없을 것 같지만, 그래도 연구자간의 이견은 조금 생겼다. 사실 우리가 열심히 연구한 건 맞지만, multi-modally 데이터를 수집하다 보니 모든 유형의 데이터를 다 수집하진 않았다. 그래서 나는 rebuttal에서 괜히 헛공약 내세웠다가 글을 수정을 못할까봐 그냥 rebuttal을 짧게 적자고 했다. 하지만, 다른 연구자들은 나보다 훨씬 더 열정적이기 때문에 그래도 최선을 다해서 답변하고 수정해보자고 했고, 나는 수긍하며 다시 한번 그런 부분을 배워야겠다고 생각했다.
일단 곧 결과가 나오고 camera-ready 버전의 페이퍼를 내겠지만, 그리구 당연히 떨어질 수도 있겠지만, 그래도 일련의 과정이 나에겐 너무 값진 경험들이었다. 항상 어떤 주제에 대한 내 생각을 말로만 장황하게 했지 설득력있고 concise하게 글로 설명하진 못했는데, 그게 얼마나 어려운 것인지 알게 되었다. 또한, 너무나도 좋은 사람들, 교수님들 뵙고 도움을 많이 받아서 나도 이렇게 누군가에게 도움이 되는 사람이 돼야겠다는 생각을 하게 된 계기였다.
아참, 사실 많은 내용을 생략하다 보니 과정이 잘 전달되지 못했을 수도 있다고 생각한다. 아주 짧아보이지만, 1년 6개월간 때론 밥도 못먹을 정도로 스트레스를 많이 (그리고 연속해서) 받았고, 그래서 시작하기로 한 결정을 너무 많이 후회했다.. 학부생이면 수업 열심히 듣고 좋은 성적 받는게 올바른 순서라는 것도 깨달았다.