올겨울도 어김없이 12월~1월에는 과제 보고서를 쓰느라 바빴고, 1~2월에는 제안서, 계획서, 그리고 지금은 기다림의 계절이다. 과제 제안서 작성은 예산, 과제 참여 연구원 명단 등등의 과제 관리에 필요한 내용 빼고는 실은 연구 내용에 관련된 거라서 그리 싫지만은 않다. 하지만 여러 명이 하는 과제이면 과제 제안서 취합하고, 내용 조정하는게 어렵다. 취합하는 입장에서는 재촉해야하고, 내야하는 입장에서는 큰 그림에 끼워맞춰야하고.
어렵게 써서 낸 과제 제안서가 통과되서 연구비를 지원받게 되면 마냥 기분이 좋지만, 탈락하거나 계속 과제의 예산이 삭감되면 왜 그랬을까 반성하게 된다. 연구 성과 내지는 기대 효과가 만족할만한 수준이 아니라서? 그런 평가는 어떤 기준으로 하게 될까?
과제 평가 기준에 따라 연구자들의 연구 내용과 질이 달라지기 때문에 국가 경쟁력 차원에서 무척 중요한 사안이다. 국내 과제 평가 제도는 지난 수십년동안 꾸준히 변해왔고, 지금의 형태는 전세계적으로 봤을 때 나름 경쟁력이 있는 제도라고 생각된다. 하지만 몇몇 평가 여건은 개선의 여지가 있지 않을까 판단된다.
전산학 분야에서 SCI 저널 논문의 폐해는 지금까지 너무나 많이 얘기했는데 2010년부터는 WCU 기준에는 이미 변경된 내용이 적용되기 시작했으니 좀더 두고볼 일이다. BK의 경우에도 제한적이나마 바뀌기는 했는데 전산학의 실정과는 동떨어진 여건들이 많아서 고개를 갸우뚱하게 되지만, 적어도 전산학과 다른 분야와의 차이를 인정했다는 점에서는 의미가 전혀 없지만은 않다. WCU, BK 뿐만 아니라 국가 정부부처들의 과제 평가에서도 바뀌어야하는데 어떻게 바꿀 수 있을지 아직은 잘 모르겠다. 수학, 물리, 화학 등과 같이 오래된 학문 분야처럼 중요도가 impact factor로 쉽게 정의되는 저널이 없고, 중요도, 인기도 및 수준이 부침이 10년 단위로 보면 적지 않은 전산 분야 학회들에 대한 순위 매기기는 쉽지 않을 것으로 예상된다. Impact factor가 결국은 저널에 실린 논문들의 citation count를 평균한 수치임을 생각하면, Google Scholar, Web of Science 등에서 쉽게 얻을 수 있는 논문 각각의 citation count를 생각해볼 수 있지 않을까? 하지만 이것도 중국인이나 우리 나람 사람들과 같이 동명이인이 많은 경우에는 제3자가 객관적으로 검색하기에는 쉽지 않을 것으로 예상된다. 또 전산학 내에서도 분야마다 citation의 행태가 달라서 절대량 비교는 어려울 수도 있다. 정량적인 평가에 크게 의존해온 지금까지의 관행에서 크게 벗어나지 않으면서 타협할 수 있는 것은 여기가 한계인 듯하다.
NSF proposal review를 해보면 국내 과제 평가와 크게 다른 점이 한 가지가 있다. 과제 평가가 점수가 아니라 글로 된다는 것이다. 물로 최종 결과에는 점수가 있기는 한데 점수보다는 리뷰에서 나온 내용이 결정적이다. 이는 학술대회 논문 리뷰와 같다. 전산 분야 학술대회에서 논문 심사를 할 때는 논문 1개당 리뷰어가 서너명이 붙어서 리뷰를 쓰게 된다. 대개 200~1000자 정도의 리뷰를 쓰는데 발표되는 논문의 질과 리뷰의 질이 비례를 한다. 좋은 학회에 논문을 내면 정말 논문 연구에 도움이 되는 리뷰를 받게 되고, 논문의 당락에 상관없이 연구 내용이 좋아질 수 있다 (주석1). 나는 어느 학회에 논문을 낼까 고민할 때는 그 학회의 학술위원들을 살펴본다. 누가 어떤 연구를 예전에 했으니까 내 논문을 리뷰할 때 어떤 부분을 지적할 수 있겠구나 생각하기도 하지만, 이 정도 수준의 사람들이라면 내 논문에 대해 좋은 feedback을 줄 수 있겠다는 기대감을 하게 된다. NSF proposal review는 맨 마지막에 하루나 이틀을 다같이 모여서 토론을 거친 후 그 토론 내용을 정리해서 제출하게 되어 있다. 해당 분야 전문가들이 모여서 하는 토론이니 technical한 내용이 대부분을 이루고, 평가서에도 그런 내용이 대부분을 이루게 된다. 과제에서 논문을 몇 개 쓸 예정이고, 특허를 몇 개 낼 예정인지는 한 번도 살펴보지 않았던 것 같다. 그리고 과제 제안서는 열심히 리뷰하지만, 과제 결과 보고서는 보도듣도 못했다. NSF는 논문에 ack을 하고 그 ack된 논문만 제출하면 되기 때문에 보고서가 따로 없는 것으로 알고 있다.
국내 과제 평가에서는 내 연구에 도움이 되는 feedback을 받게 되는 경우가 많지 않다. 대개 당락만 통고하거나 짧은 의견서가 첨부되서 오는데, 의견서만으로는 왜 탈락했는지, 지원받게 됐는지 잘 모르겠다. 정량적인 실적없이, 정성적인 평가만으로 과제 지원을 고려할 수는 없을까? 우리는 왜 논문의 질에 대해서는 딱히 뭐라고 말을 많이 안 하면서 정량적 수치에 촛점을 둘까? (주석2) 왜 과제 제안서에 대한 평가를 좀더 정성적으로 하지 못할까? 어떻게 하면 스스로 내린 정성적인 평가를 서로 믿어줄 수 있을까?
예전에 박사 과정 때 처음 제출한 논문이 모 학술대회에서 탈락되었더랬다. 내 논문이 떨어졌다는 것보다는 딱 한 줄로 날라온 리뷰 때문에 정말 화가 났더랬다. "I don't understand this paper." 무엇을 왜 이해 못했는지 아무런 설명없이 딱 한 줄 (주석3). 다른 리뷰 2개는 좀더 친절했고, 좋은 얘기도 많이 해줬고, 심지어 점수도 나쁘지 않게 줬던 것 같은데, 한 줄짜리 리뷰어의 박한 점수 때문에 탈락되었던 것 같다. 그 논문은 결국 저널로 보내졌는데 지금은 내 논문 중에서 피인용횟수로는 상위 다섯 개 안에 드는 것이니 내용이 형편없었던 것은 아니였던 듯 싶은데. 정량적인 치수에 의존하는 평가는 어떤 면에서는 이런 한 줄짜리 리뷰 같은게 아닐까 싶다.
혼자서라도 좋은 연구 열심히 하면 과제 평가 및 관리 제도와 상관없이 늘 지원 빵빵하게 받을 수 있는 거 아니냐 생각하는 사람들도 있을 수 있지만, 나는 그렇게 생각하지 않는다. 극소수를 제외하고는 처음부터 대가로 연구를 시작하지 않는다. 좋은 연구를 할 수 있는 환경에서 열심히 하다보면, 능력도 있고 운좋은 몇몇은 대가가 되고, 그렇지 못해도 든든한 이공계의 일원이 되는 것이다. 한 사람의 천재는 제도와 상관없이 생길 수도 있지만, 수십만명의 과학도는 좋은 제도 하에서만 생길 수 있다고 믿는다. 그리고 제도는 유기적인 생명체와 같아서 끊임없이 변해가야 한다.
오늘 저녁엔 일이 손에 잘 안 잡혀, 잠시 제도 보완이라는 딴 생각을 하면서 몇 자 적어보았다.
--------------------------------------------
(주석1) 좋은 학회에는 리뷰 받으려고 제대로 준비도 안 된 논문들을 내는 사람들이 생기고, 그런 논문들 때문에 리뷰어가 해야되는 일이 너무 많아져서 일정 수준이 안되는 논문들은 리뷰를 짧게 해서 탈락시키는 quick reject track을 만들게 되는 등 끊임없이 제도 보완이 이루어지고 있다.
(주석2) 국내 모든 과제가 같은 평가 기준을 가진 것은 아니다. 한국연구재단의 경우 과제마다 평가 기준이 다른데, 몇몇 과제에서는 연구자의 역량이 40% 이상이 된다. 지금까지 해 온 연구 실적을 많이 참고하겠다는 것으로 이해하고 있다. 또한 정량적인 수치보다는 대표 실적과 파급효과에 대한 설명을 첨부하게 되어 있는 등 국내 과제 관리 시스템으로는 가장 합리적인 것으로 판단된다.
(주석3) 해당 학회는 몇 해 지난 후부터 얼마 이하보다 짧은 리뷰는 받아들이지 않게 제도를 바꾸었다.