지난달, CHI의 AC 두 분이 리뷰 요청을 하는 메일을 보내왔다. 각각 i) Social computing ii) Accessibility 관련 시스템 개발 분야의 연구였는데 (리뷰어라 내용을 구체적으로 말해서는 안된다), 지난번에 풀페이퍼로 섭밋한 주제 두 개에 맞게 각각 리뷰 요청이 와서 신기했다. 물론 풀페이퍼 리뷰 요청이었으면 많이 어려웠겠지만, 포스터 리뷰이기도 하고 해서 하나 해보기로 하였다.
그런데 보통 리뷰 요청이 들어오면 같은 기관 소속은 절대 매칭해주지 않는다고 들었는데, 이상하게 후자는 완전 가까운 분이 쓰신 내용이라 리뷰를 거절했다 (사실 이걸 더 해보고 싶었는데, 좀 아쉬웠다. Anonymization policy가 적용된 풀페이퍼와는 다르게, LBW는 해당 규정이 없다.) 처음 하는 리뷰라 좀 성의껏 해야겠다고, 논문을 작성했을 때랑 비슷하게 literature review를 꽤 철저히 하면서 내용을 읽고 리뷰를 진행하였다 (사실 내일이 데드라인이라 오늘 좀 빡세게 하긴 했다.) 이렇게 누군가가 공을 들여 작성한 내용을 리뷰하는 것은 페이퍼를 작성하는 것과는 다르게 또 되게 신기한 과정이었다.
특히, 나와 같은 많은 초심의 연구자들은 그들의 페이퍼를 쓰기 전에 peer-review에 먼저 참여하곤 하는데 (물론 나는 바보같이 peer-review라는 제도 조차 모른 채 페이퍼부터 쓰려고 달려들었지만…) 이번 과정에서 왜 다들 그러는지 정확하게 알 수 있었다. 페이퍼를 리뷰하는 경험을 가지는 건 크게 다음과 같은 장점이 있는 것 같다.
사실, 나 또한 그랬지만 페이퍼를 처음 쓸 때는 엄청난 자신감에 가득 찬 채로 ‘이건 대박이야’를 외치며 달려드는데, 나중에 보면 점점 자신감이 떨어지고 뭔가 진행이 이상해져서 고민하는 경우가 많은 것 같다. 이를 해결하기 위해서는, 내가 어떤 학회에 페이퍼를 제출할 것이고 해당 학회는 어떤 기준으로 심사를 하는지 처음부터 정확하게 파악하는 것이 중요하다고 느껴왔다.
CHI는 본 학회에 페이퍼를 내기 위하는 연구자들에게 다음과 같이 조건들을 explicit하게 제시하는데, 대부분의 학계가 이와 비슷한 기준이 있다고 생각한다. 예전에 내가 진행하던 연구 자체에 너무 매몰되어 이렇게 중요한 부분을 망각했던 경험이 있어서 이젠 오히려 이 기준들을 더욱 중요하게 생각하게 됐는데, 각각을 직역하면 다음과 같다.
리뷰에 참여하기 전 까지는, 그냥 CHI 측에서 페이퍼 쓸 때 주의를 환기시키는 용도로 이런 기준을 블로그에 제시한 줄로만 알았다. 그런데 리뷰를 직접 진행하면서, 리뷰를 작성하는 란 자체가 각각의 기준에 해당하는 텍스트필드로 나뉘어 평가해야 하는 걸 보고 충격 먹었다. ‘위에 있는 기준들은 평가받는 기준 그 자체구나..’ 이런 생각을 연발했는데, 다르게 말하면 초심자들은 시작할 때 해당 기준들을 철저히 명심하며 진행하면 아주 유리하겠다는 의미로도 해석된다.
고등학교 시절, 나는 peer-mentoring 프로그램이 있으면 무조건 신청하곤 했다. 보통 학교 측에서 공부를 잘하는 친구가 못하는 친구랑 같이 공부하면서 성적을 올리라고 만드는 프로그램인 것 같은데, 난 특이하게 성적대가 비슷한 친한 친구랑 같이 참여했다. 왜냐하면 서로서로 가르치면서 스스로 몰랐는데 상대방이 아는 점을 많이 보고 배울 수 있었기 때문이다 (생각해보니 되게 목적이 영악한 제도인데 나는 그걸 또 악용했네.)
이번 리뷰를 진행할 때, 이런 예전 경험이 떠오르면서 정말 peer-review가 왜 (개인적으로) 중요하게 작용할 수 있는지 다시 한번 깨닫게 되었다. 비슷한 관심사, 비슷한 역할을 가진 동료들은 서로의 부족한 점도 수월하게 보이지만, 그만큼 배울 점도 쉽게 느끼기 때문이다. 예를 들어, 나는 이때까지 진행한 연구는 대부분 완전 qualitative하게 인터뷰 quote 따오고 하면서 rationale을 강화하다가, 뭔가 이과생이라 그런지 통계적으로 증명해보고 싶어서 survey를 통해 statistical test를 중간에 곁들이곤 하였다. 물론 이러면 mixed-method 연구가 돼버려서 ‘뭘 많이 했네’라는 인식을 줄 수도 있지만… 이러면 문제가 뭐냐면, 아무래도 statistical test가 너무 빈 곳이 많이 보이고 양적 proof가 너무 약해 보여서 방법론 전체가 까일 수도 있다. 그래서 항상 통계학을 좀 더 배워서 아예 양적 연구로 때려박고 싶다 이런 욕구가 뿜뿜했는데, 이번에 리뷰한 포스터에서는 완전 양적으로 RQ들을 증명해서 나도 나중에 참고할 stat test들이 참 많이 보였다 (CHI는 포스터도 풀페이퍼 급으로 아주 완성도 높은 글이 많이 나온다.) 이렇게 리뷰어는 물론 평가하는 입장이지만 그와 동시에 배울 수 있는 위치란 걸 느껴서 참 좋았다.
통계를 학석박 전공하고 통계로 교수까지 하고 계신 삼촌한테 내가 논문 쓸 때 사용한 통계 테스트가 맞는지 조언을 구했는데 자기는 통계를 잘 모른다고 거절당한 경험이 있어서 이런게 더 필요하다^^ (삼촌님 뒤끝 작렬 죄송합니다 ㅠㅠ ㅋㅋㅋㅋ)
어느 분야든지 연구는 정말 빠르게 발전하는데, 특히 융합학문인 HCI는 변화로부터 참 민감하다. 매년 CHI audience들의 관심사는 바뀌고, 세부 분야별로도 focus는 정말 빨리 변한다. 물론 학회를 열심히 다니면서 많은 연구자들과 이야기를 나누고, 본인이 관심있는 분야의 발표를 들으면 업데이트가 잘 되겠지만 나는 그런 상황이 되질 못한다. 이런 경우에는, 다른 사람이 쓴 페이퍼를 리뷰하면서 요즘에는 다른 연구자들은 어느 부분에 관심을 많이 가지고 연구를 진행하는지 확인해보는 것이 좋은 대안이 될 수 있다.
주제뿐만이 아니다. 단적으로 다른 저자들이 본인의 주제를 이끌어내기 위해 literature review를 한 것만 봐도 요즘 어떻게 연구 맥락이 흘러가고 있는지 아주 잘 파악할 수 있다. 나도 페이퍼를 쓸 때 기존 CHI에서 내 세부 분야에 포커스를 맞추고 쓴 페이퍼들을 이런 식으로 많이 참고하고 배웠는데, 리뷰를 하면 좀 더 업뎃이 된 연구 맥락으로 본인의 아이디어를 발전시킬 수 있다고 생각한다.