지난 12월에는 Univ. of Texas Austin에서 열린 NSDI Technical Program Committee (TPC) 미팅에 다녀왔다. 지금까지 많은 학술대회 위원을 해봤지만 NSDI는 새로운 게 많았다. 일단 논문의 길이가 14 페이지로 정말 길고, 내가 한 번도 논문을 내보지 못한 학회이고, OS와 네트워킹 분야의 중간에 있는 학회라서 OS 분야의 최근 연구내용에 대해서 내가 모르는 내용이 좀 많았다. 그리고 SIGCOMM과 OSDI의 중간의 범위를 관장하는 학회로써 논문의 질이 굉장히 좋았다.
나는 1차 라운드에 20개, 2차 라운드에서 3개를 할당받았다. 논문 길이는 두쪽14장으로 제한되어 있는데 내가 잘 아는 내용이면 1시간내에 읽을 수도 있지만, 대개의 논문은 읽는데만 적어도 2시간 이상씩 걸렸다. 거기다가 중요한 related work인데 내가 듣도보도 못한 내용이면 서론/발표자료라도 챙겨봐야했다. 그리고 나서 리뷰를 적으려면 또 한 시간. 그래서 논문 1개당 적어도 3시간. 20개이면 60시간. 거기다가 내가 primary reviewer일 경우에는 external reviewer를 추가해야 하고, 다른 사람들이 쓴 리뷰를 읽고 TPC 미팅에서 요약발표도 해야했다. 올해에는 각 논문마다 5개의 토큰을 주고 리뷰어가 논문리뷰 평가와는 독립적으로 토큰을 주게했다. 예를 들어 내가 20개 논문을 읽었으면 100개 토큰을 받아서 내가 제일 좋아한 논문 두 개에 50개씩 몰아줄 수 있게 했다. 위의 작업을 다 하려면 쉬지 않고 적어도 80시간. 2주일이 통째로 들어간다.
NSDI TPC에 초청을 받아들이면서 11월초에 열흘 정도를 싹 비워놨는데, 예상치 않았던 출장때문에 일주일을 허비해서 TPC 미팅 날까지 몇몇 논문 리뷰를 미처 끝내지 못했다. (굴욕 ㅠ.ㅠ) 리뷰어들 중에서 논문 리뷰를 제 시간에 끝내지 못한 사람들을 살펴보니 모두 non-native speaker라는 점이 흥미로웠다. 논문읽고 리뷰를 읽는게 아무래도 토박이들보다는 느린 게 아닌가 짐작해본다. (일전에 학생들 추천서 작성에 대해서 미국 친구와 의견을 나눈 적 있는데 그 친구는 10분밖에 안 걸린단다. 한글로 한 페이지짜리 우수 석사논문상 추천서라도 써주려면 30분이상 걸리는데, 아무리 미국사람이라도 10분은 너무 짧다고 생각들었다. 나는 영어로 학생들 추천서를 쓰려면 적어도 2시간 이상이 걸려 일차본을 만들고, 며칠 있다가 다시 고치는데 한두시간 쓴다.)
TPC 미팅 당일에는 학술대회장이 제출된 리뷰와 점수를 살펴보고, probably accept로 분류된 논문부터 토론을 한다. 논문이 무엇에 관한 것이고, main contributions과 약점을 살펴보고 큰 문제가 없으면 당첨시킨다.
다음에는 한두명의 리뷰어라도 champion이 있는 논문들은 토론을 거친다. TPC에 30명이 채 안되는 사람들이 있었는데, 70% 이상이 Austin까지 날라와서 참여를 했고, 부득불 못 참석하는 사람들은 전화로 하루종일 회의에 참석했다. 자기가 쓴 논문이나 같은 학교, 연구소 동료들이 쓴 논문을 평가할 때는 소위 conflict-of-interest가 있는 사람들은 방 밖으로 나가게 되어 있다. 오전 8:30에 시작해서 거의 7시가 다되서 회의를 마칠 때까지, TPC중에서 한 명이라도 이 논문은 정말 괜찮다고 생각되면 토론을 하였다. 한 논문에 대해서 대개 4~6개의 리뷰가 있었다.
이런 노력을 통해서 발표가 결정된 논문에는 sheperd가 붙어서 TPC 미팅에서 지적된 내용이 camera-ready 최종본에 반영이 되었나를 확인하게 되어 있다. TPC 미팅 끝나고, 저자들에게 결정통고가 가고 나면, sheperd들은 각자 맡은 논문의 저자들에게 연락해서 추가 리뷰를 시작한다.
내 개인적으로는 NSDI TPC 활동에서 부족한 게 너무 많았다. 논문 읽고, 리뷰쓰고, 남들 쓴 리뷰 읽고 (대개 논문마다 서너장씩!!!), 내가 primary reviewer인 경우 TPC 미팅에서 요약발표할 준비하고, TPC 미팅 참석하고, 끝마무리로 sheperd까지 하는데 적어도 3주의 시간이 걸린 것 같다. 안식년임에도 불구하고 시간이 부족했다. 다음 번에 논문을 쓸 때는 이 때의 경험이 많이 도움이 되리라. 그리고 다음 번에 이런 heavy-weight, top-quality 학회의 TPC 요청이 들어오면 3주의 시간을 확보해놓으리라.
학술대회의 질은 논문 리뷰의 질이다. 그래서 전산 분야에서는 리뷰의 질을 높이기 위해서 논문 저자들에게 리뷰어의 이름을 공개하는 방법, 또 리뷰를 공개하는 방법 등 다양한 시도를 하고 있다. Double-blind, single-blind 를 통해 중립성을 지키려다보니 그것을 악용해서 한두줄만 쓰는 게으른 리뷰어들이 생겨나서 이를 없애려는 고육지책이다. NSDI 리뷰를 읽어보니, constructive하고 내가 생각하지 못한 관점을 많이 지적해줘서 논문이랑 리뷰를 같이 읽어봐도 참 좋겠다는 생각이 들었다.