네트워크 분야에서의 TPC 활동 경험

[한국정보과학회 뉴스레터 제438호 2011년 9월 21일 전문가 광장 오피니언에 실었던 글을 퍼왔다.]
 
전산학 분야에서는 다른 과학 및 공학 분야와는 다르게 학술대회가 논문 발표의 장 역할을 한다. 내 전공 분야인 네트워크에서 많은 사람들이 주목하는 연구 실적은 대개 ACM SIGCOMM이 주최하는 학술대회인 SIGCOMM, IMC (Internet Measurement Conference), ANCS (Architectures for Networking and Communication Systems), IEEE ComSoc 주최의 INFOCOM, USENIX 주최의 NSDI (Networking Systems Design and Implementation) 등의 학회를 통해 발표된다. 왜 저널이 아니고 학술대회를 중요시하게 되었는지 나도 잘 모르겠다. 혹자는 전산학이 20세기 이후에 정립된 학문분야로 비행기 여행이 일상화된 이후라서 그렇다고도 하는데 검증된 바 없으니 잘 모르겠다.

위에 예로 나열된 학술대회는 모두 일 년에 한 번씩 개최되는데 대부분 논문 채택률 20% 이하로 경쟁이 치열하다. 채택률이 20%가 안되는 학술대회는 제법 있는데도 위의 학회들을 주목하는 이유는 여러 가지이다. 그 중에서 제일 중요한 게 발표되는 논문과 리뷰의 질이다. 위의 학술대회에 발표되는 논문들은 해당 분야의 최신 연구 동향일 뿐만 아니라 이론적으로나 응용면에서 반향이 크고 중요한 논문들로 인식된다. 또한 발표되는 논문을 포함해 제출된 논문에 대해 객관적이며 구체적인 피드백을 주기 때문에 논문이 탈락해도 저자들이 수긍하며 추후 연구에 도움이 되는 리뷰에 대해 고마워하기까지 한다. 그렇다면 논문 리뷰의 질은 어떻게 관리될까? 가장 특징되는 방법이 TPC 미팅이다. TPC는 Technical Program Committee의 약자로 학술대회의 성격과 질을 대변하고 관리하는 주축이 된다. TPC는 어떻게 선발되고 어떤 역할을 하는가? 모든 학술대회는 그 학술대회를 주창하고 시작한 사람들을 주축으로 steering committee가 있다. 이들이 학술대회장을 선발하고 그 학술대회장에게 학술대회 운영을 맡긴다. 학술대회장에는 general chair와 technical program chair가 있는데 전자는 대개 학술대회 홍보, 행사장 확보 및 운영, 등록, 숙박 및 리셉션 등의 행사 운영을 밭고, 후자는 TPC를 구성하는 책임을 맡는다. 학술대회 규모가 작은 경우에는 위의 두 가지 역할을 한 사람이 다 맡기도 한다. 위에 나열된 학술대회에 TPC로 초청받을 때는 face-to-face meeting에 참석할 수 있을 경우에만 초청을 승낙하기를 요구받는다.

개인적으로 위의 모든 학회에 논문을 제출해봤고, ANCS를 제외한 학회에서는 발표 및 TPC 활동을 해 본 경험으로 TPC의 역할과 활동에 대해 적어보기로 한다.

학술대회의 성격 및 범위는 학술대회장이 call for papers에 적어놓은 내용으로 정의된다. 이에 맞춰 해당 분야의 전문가들을 TPC로 초청하고, 지난 몇 년 간의 통계 내용에 바탕하여 올해는 몇 개의 논문을 언제까지 리뷰해야할지에 대한 예상치를 알려준다. 또한 TPC 미팅 일정이 언제 잡혀 있으니까 참석 가능 여부에 따라 초청을 수락할 지를 결정하게 된다. 초청을 수락하면 학술대회에 따라서 적으면 10편 이내에서 많게는 30편까지 논문을 리뷰하게 된다. 편당 10페이지 이상이니 대개 수백 페이지에 해당하는 논문을 읽게 된다. 최근 대부분의 학술대회에 제출되는 논문 수가 증가하여 TPC 규모를 키우기도 하지만 빠른 1차 리뷰로 정크에 해당되는 논문을 걸러내기도 한다. 이런 경우 1차 리뷰에는 리뷰어 2명이 짧은 평을 쓰는데, 자세한 리뷰를 할 필요가 있냐 없냐가 판단 기준이 된다. 이렇게 1차 리뷰에서 소위 말도 안 되는 논문들을 대강 걸러내고, 본격적으로 리뷰를 시작하면 리뷰어가 3명씩 할당된다.

본격적인 논문 리뷰를 학생들에게 맡기는 경우도 있는데 좋은 학회일수록 이러한 대리 리뷰를 제한하고, 원칙적으로는 금한다. 논문 내용이 TPC안에서는 전문가를 찾기 어려우나 학술대회의 범위내에 포함된다고 판단될 경우 학술대회장과 의논하여 추가 리뷰어를 구해서 자문을 구한다. 일차 리뷰가 끝나면 1-2주 정도 모든 TPC가 자기가 맡은 논문에 대해서 다른 사람들이 어떻게 리뷰했는지 읽고 온라인상으로 토론하는 기간이 주어진다. 이 기간 동안에 TPC 미팅에서 토론할 논문을 걸러내게 된다. 점수에 상관없이 리뷰어들이 만장일치로 탈락을 결정하면 학술대회장이나 다른 리뷰어들이 이의를 제기하지 않는 한 미팅에서 토론되지 않는다.

TPC 미팅은 대개 미국 동부에서 열린다. 아쉽게도 명망있는 국제 학술대회 TPC 활동을 하는 사람들의 80% 이상이 북아메리카와 유럽에 있기 때문에 어쩔 수 없는 선택이다. 때때로 유럽에 있는 연구원들의 구성비가 높거나 학술대회장이 유럽 사람이면 런던, 파리 등에서 열리기도 하는데 대부분 위원들이 비행기 한 번 타고 갈 수 있는 대도시로 결정된다.

TPC 미팅은 토론해야하는 논문 수에 따라 일정이 정해지지만 대개 8시나 8시반 정도에 시작해서 6-7시에 끝난다. 점심은 대개 도시락이나 샌드위치로 해결되기 때문에 따로 정해놓지 않고 회의를 하면서 해결하는 경우가 많다. 학회장이 토론할 논문 리스트를 회의 시작하면서 제시하지만 위원들 중 누구라도 이 논문만큼은 꼭 다시 한 번 점검해봤으면 좋겠다고 의견을 내면 학회장이 제시한 리스트에 없었더라도 포함된다. 대개 토론하는 순서는 리뷰 성적이 좋고, 온라인 토론에서도 지지의견이 많았던 순서로 진행된다. 이런 논문들은 대개 논문의 핵심 내용이 무엇이고, 그게 왜 중요한지를 리드 리뷰어가 요약하고 의견듣고 끝낸다. 대부분의 논문들은 챔피언이라고 칭하는 지지자와 반대 의견을 가진 리뷰어들간의 논쟁을 통해서 결정되는데 face-to-face 미팅의 진가는 여기서 발휘된다. 해당 논문을 읽고 자세히 리뷰한 사람은 원칙적으로 3명이지만, 다른 모든 리뷰어들이 논쟁 내용을 경청하면서 질문을 통해 논문에서 풀고자한 문제와 해결 방법론을 파악해나가고 리뷰어들의 논쟁 근거를 살펴본다. 논쟁 근거가 빈약하면 아무리 자기 보기에 좋은 논문이라고 해도 맞장구쳐주는 위원이 없으면 탈락을 막기 힘들다. 이런 TPC 미팅에서의 토론이 젊은 학자들에게는 특정 분야에서의 자신의 역량을 보여주는 기회가 된다.

자기 논문이나 conflict of interest (COI)가 있는 논문이 토론 대상이면 회의실 밖으로 나가 있어야 하는데, COI 대상이 같은 기관에서 근무하거나 지난 3년동안 논문을 같이 쓴 사람, 지도교수 등등이기 때문에 밖에 같이 나가게 되는 사람들이 대개 친한 친구들이다. 바쁜 회의 속에서도 친구들과 오랜만에 근황을 살피며 이런저런 얘기하고 안에서 지금 다루는 논문은 도대체 어떻게 될지 같이 상상해보는 것도 힘든 일정 속에서 나름 기운나게 하는 요소이다. 한 번도 나갈 필요가 없을 때는 여러 이유로 속상하기까지 하다. 

저녁 6시가 넘어 위원들이 피로에 지쳐도 학술대회장이 마지막까지 토론이 필요한 논문이 있는지를 계속 상기시키며 확인하고 최종 리스트를 살펴보게 한 후 마무리한다. 논문 저자들에게 당락 통보는 TPC 미팅 1주 후에 보내던게 관례였는데 TPC 미팅 결과에 대한 문의가 위원들에게 많이 들어오기 때문에 1-2년 전부터는 학술대회장들이 TPC 미팅 끝나는 날 당락 여부를 미리 통고하고, 리뷰는 1주 후에 보내주는 형식으로 바뀌었다. 당락 여부가 결정나도 토론에서 다루었던 핵심 내용을 최종 리뷰에 포함시켜야 하기 때문에 시간이 필요하다. 최고 논문상은 따로 위원회를 두거나 TPC 위원들 사이에서 추천하는 방식으로 결정된다. 학술대회장은 최종 결정된 논문들을 주제별로 묶어서 세션을 만들고, TPC 위원들에게 세션장으로 자원하길 요청해서 프로그램을 마무리짓는다.

지난 10년간 TPC 활동은 수십번, TPC 미팅도 열 번 이상 참석해보니 학술대회를 통해 학문 분야가 어떻게 성장해나가는지를 보이고, 어떻게 발전시켜 나가야할지 감이 좀 잡힌다.  지금까지의 수많은 시행착오를 후배들은 겪지 않았으면 하는 바램인데 다음 기회에는 그런 개인 경험을 적을 수 있기를 바래본다.