대학원생을 위한 연구와 논문 ⑦
최근 동료 교수님께서 한 대학원생이 자신의 연구가 논문으로 출판될 수 있을지 판단이 서지 않아 논문 작성을 주저하고 있다는 말씀을 해주셨다. 지도교수로서 이제 논문 작성을 시작하자고 제안하셨지만, 학생은 자신의 연구가 출판될 가능성을 회의적으로 보고 있었던 것이다. 나도 학생들을 지도하면서 비슷한 경험을 한 적이 있다. 이 이야기를 계기로, 학생들이 자기 연구의 출판 가능성을 판단할 때 알아두면 좋을 점들을 정리해 보고자 한다.
“교수님, 이 정도 결과면 논문으로 쓸 수 있을까요?”
대학원생이라면 충분히 할 수 있는 질문이다. 몇 달 동안 데이터를 모으고, 방법을 개발하고, 실험을 수행했다. 결과도 나왔다. 그런데 막상 논문을 쓰려니 이 연구가 출판할 만한 수준인지 자신이 없다. 기존 방법보다 성능이 조금 높으면 충분한 것인지, 실험을 더 해야 하는 것인지, 새로운 방법을 하나 더 추가해야 하는 것인지 고민하게 된다.
연구 경험이 적은 학생이 출판 가능성을 판단하기는 쉽지 않다. 해당 분야의 학술지가 어떤 기여와 검증을 요구하는지 아직 익숙하지 않을 수 있다. 경험이 많은 연구자도 심사 결과를 확실하게 예측하지는 못한다.
그러나 심사 결과를 예측하기 어려운 것과, 자기 연구가 무엇을 밝혔는지 설명하기 어려운 것은 구분해야 한다.
전자는 학술적 평가에 따르는 불확실성이다. 후자는 연구 질문과 설계, 그리고 결과의 의미를 다시 살펴봐야 한다는 신호일 수 있다. 연구 질문 없이 개발 목표만 세우고 작업을 진행했거나, 선행연구 속에서 자신의 발견이 어떤 위치에 있는지 충분히 정리하지 못했다면 스스로도 출판 가능성을 판단하기 어렵다.
그래서 이 질문을 받으면 먼저 무엇을 개발했는지보다 무엇을 알아냈는지 묻게 된다.
“이 정도 작업을 했으면 논문이 될까?”가 아니라, “이 연구를 통해 무엇을 새롭게 알게 되었고, 그것을 뒷받침할 근거가 충분한가?”를 물어야 한다.
1. 왜 연구 결과를 출판해야 하는가?
대학원생에게 논문은 졸업 요건이기도 하고, 취업이나 진학에 필요한 실적이기도 하다. 그렇지만 이것만으로는 연구 결과를 출판해야 하는 이유를 충분히 설명할 수 없다.
연구는 아직 충분히 알려지지 않은 문제에 대해 답을 찾는 활동이다. 그 답이 연구자의 컴퓨터나 연구실 내부 보고서에만 남아 있다면 다른 사람은 이를 검토하거나 활용하기 어렵다. 연구 결과를 공개해야 누군가는 그 결과를 바탕으로 다음 질문을 만들고, 누군가는 다른 조건에서 검증하며, 누군가는 실제 문제를 해결하는 데 적용할 수 있다.
논문 출판은 개인이 얻은 결과를 다른 사람이 검토하고 활용할 수 있는 지식으로 제시하는 과정이다. 출판된 지식도 이후 연구에서 수정되거나 반박될 수 있다. 그렇게 검토와 수정이 반복되면서 학문이 발전한다.
논문을 쓰는 과정은 연구자 자신에게도 중요하다. 실험할 때는 이해했다고 생각했던 내용이 글로 설명하려 하면 불분명해지는 경우가 많다. 왜 이 문제를 다루었는지, 왜 이 방법을 선택했는지, 결과가 무엇을 의미하는지를 연결하다 보면 연구 설계의 빈틈이 드러난다.
따라서 논문 작성은 모든 연구가 완벽하게 끝난 뒤에야 시작할 수 있는 일이 아니다. 연구 질문과 주요 결과가 어느 정도 정리되었다면 글을 쓰면서 부족한 근거를 확인하고, 필요한 분석이나 실험을 보완할 수 있다. 지도교수가 논문 작성을 시작하자고 제안하는 것도 이러한 점검을 함께 해보자는 의미일 수 있다.
출판 가능성에 대한 확신이 생길 때까지 글쓰기를 미루기보다, 글을 쓰면서 연구의 기여와 부족한 부분을 구체적으로 확인하는 편이 도움이 된다.
2. 출판 가능성의 중심에는 학술적 기여가 있다
학생들은 종종 자신이 수행한 일을 학술적 기여로 제시한다.
“새로운 모델을 개발했다.”
“여러 종류의 데이터를 통합했다.”
“자동화 시스템을 구축했다.”
이러한 작업은 연구에 필요할 수 있다. 그러나 그 설명만으로는 무엇이 학문적으로 기여했는지 알기 어렵다. 독자는 개발 과정의 수고만큼이나, 그 결과로 기존 지식이 어떻게 달라졌는지를 알고 싶어 한다.
예를 들어 다음 두 설명을 비교해 보자.
“영상과 센서 데이터를 결합한 시설물 손상 탐지 모델을 개발했다.”
“영상만으로는 손상을 구분하기 어려운 저조도 조건에서 센서 정보가 탐지 오류를 줄이는 데 기여했으며, 그 효과가 나타나는 조건과 제한되는 조건을 확인했다.”
첫 번째는 개발한 대상을 설명한다. 두 번째는 연구를 통해 얻은 지식을 설명한다. 물론 두 번째 설명이 기여로 인정받으려면 그 내용이 선행연구에서 충분히 알려지지 않았고, 적절한 실험으로 뒷받침되어야 한다.
학술적 기여는 새로운 이론이나 알고리즘에만 한정되지 않는다. 기존 설명이 성립하지 않는 조건을 밝히거나, 서로 상충하던 결과의 원인을 설명하거나, 중요한 현상에 대한 신뢰할 만한 실증 근거를 제시하는 것도 기여가 될 수 있다. 새로운 데이터셋이나 측정 방법 역시 기존에 답하기 어려웠던 질문을 다룰 수 있게 한다면 학술적 가치가 있다.
성능 개선도 기여가 될 수 있다. 다만 “정확도가 높아졌다”는 사실에서 설명이 멈추면 기여의 의미가 제한된다. 어떤 한계를 해결했는지, 개선이 일관되게 나타나는지, 어떤 조건에서 효과가 있는지, 추가 비용이나 제약은 무엇인지까지 설명할 수 있어야 한다.
학술적 기여를 점검할 때는 다음 문장을 완성해 보면 좋다.
“기존 연구에서는 ______가 충분히 밝혀지지 않았으나, 본 연구는 ______를 통해 ______를 확인하였다.”
이 문장을 구체적으로 쓰기 어렵다면 실험이 부족한 것인지에 앞서 연구의 질문과 기여가 명확한지부터 돌아볼 필요가 있다.
3. 왜 자기 연구가 출판할 만한지 확신하지 못하는가?
출판 가능성을 판단하기 어려운 이유는 다양하다. 논문을 읽고 써본 경험이 부족할 수도 있고, 자기 결과에 지나치게 엄격한 기준을 적용할 수도 있다. 다만 연구 내용 자체를 점검할 때 내가 특히 살펴보는 것은 두 가지다.
첫째, 연구 질문을 명확하게 수립한 뒤 연구를 수행했는가?
둘째, 자신의 연구가 기존 지식 속에서 어떤 위치를 차지하는지 이해하고 있는가?
연구 질문 없이 개발 목표만 세운 경우
“인공지능 기반 예측 시스템을 개발하겠다”는 것은 개발 목표다. 그러나 그것만으로는 어떤 학술적 질문에 답하려는지 드러나지 않는다.
예를 들어 “물리적 제약을 학습에 반영하면 관측 데이터가 부족한 조건에서 예측의 일반화 성능이 개선되는가?”는 연구 질문이 될 수 있다. 이 질문을 세웠다면 데이터의 양을 달리하고, 물리적 제약의 유무를 비교하며, 학습에 사용하지 않은 조건에서 성능을 평가할 필요가 있다.
반면 시스템 개발만을 목표로 삼았다면, 데이터가 가장 많은 조건에서 기존 모델과 정확도를 한 번 비교하고 연구를 마칠 수도 있다. 결과는 얻었지만, 그 결과로 데이터가 부족한 조건에서의 효과를 설명할 수는 없다.
실험을 많이 했다는 사실보다, 그 실험이 연구 질문에 답하도록 설계되었다는 사실이 중요하다.
가설을 설정했다면 어떤 결과가 가설을 지지하고, 어떤 결과가 가설에 반하는지도 미리 생각해야 한다. 기대한 결과가 나오는 조건만 확인해서는 가설을 충분히 검토했다고 보기 어렵다.
여기서 가설의 ‘채택’과 ‘기각’이라는 표현도 주의해서 사용할 필요가 있다. 실증 연구에서는 가설이 최종적으로 참이라고 증명되었다기보다, 특정 조건과 자료에서 지지되었는지를 판단하는 경우가 많다. 통계적 검정에서도 귀무가설을 기각하지 못했다는 것이 곧 그 가설이 참이라는 뜻은 아니다.
모든 연구에 형식적인 가설 검정이 필요한 것은 아니다. 탐색적 연구나 방법론 연구도 가능하다. 다만 어떤 유형의 연구든 무엇을 알아보려 했고, 어떤 근거로 답을 판단할 것인지는 분명해야 한다.
자신의 발견을 기존 지식과 연결하지 못한 경우
실험 결과가 있어도 선행연구를 충분히 이해하지 못하면 그 의미를 판단하기 어렵다. 자신에게는 새로운 결과라도 학계에는 이미 알려진 사실일 수 있다. 반대로 수치상 작은 차이가 중요한 기존 가정의 한계를 드러내는 결과일 수도 있다.
문헌 고찰은 서론에 인용할 논문을 모으는 작업이 아니다. 이미 알려진 내용과 아직 불확실한 내용을 구분하고, 자신의 발견이 그 사이 어디에 놓이는지를 판단하는 과정이다.
이것이 연구의 포지셔닝(positioning)이다. 최신 기술을 사용했다는 설명만으로는 충분하지 않다. 기존 연구와 비교했을 때 어떤 지식이 추가되었는지를 설명할 수 있어야 한다.
출판 가능성이 불확실할 때 새로운 모듈이나 실험부터 추가하려는 학생들이 있다. 그러나 먼저 해야 할 일은 다음 연결을 점검하는 것이다.
기존 지식의 공백 → 연구 질문 → 연구 설계 → 결과 → 새롭게 제시되는 지식
이 연결이 끊어져 있다면 작업량을 늘려도 문제가 해결되지 않을 수 있다.
4. 동료 심사는 무엇을 판단하는 과정인가?
논문을 처음 준비하는 학생이라면 학술지에 원고를 제출한 뒤 어떤 과정을 거쳐 출판되는지부터 알아둘 필요가 있다.
논문은 투고한 원고가 그대로 승인되기보다, 심사 의견에 따라 수정하고 다시 검토받는 과정을 거쳐 출판되는 경우가 일반적이다. 첫 심사에서 수정 요청을 받고, 수정 원고와 답변서를 제출한 뒤, 재심에서 추가 수정을 요구받을 수 있다. 이러한 과정이 여러 라운드 이어지는 일도 흔하다. 다만 정해진 횟수는 없으며 학술지와 원고의 상태에 따라 달라진다. 1
일반적인 흐름은 다음과 같다.
투고와 편집자의 초기 검토
편집자가 학술지의 범위에 맞는지, 기여가 분명한지, 외부 심사를 받을 만큼 원고가 준비되었는지 판단한다. 이 단계에서 외부 심사 없이 거절될 수도 있다. 이를 데스크 리젝션(desk rejection)이라고 한다.외부 전문가의 심사
해당 분야의 연구자들이 질문의 중요성, 기여의 독창성, 방법의 타당성, 결과와 결론의 연결 등을 검토하고 의견을 제시한다.편집자의 결정과 저자의 수정
편집자는 심사 의견을 종합하여 거절, 수정 후 재검토, 게재 승인 등을 결정한다. 수정 요청을 받은 저자는 원고를 고치고, 각 의견에 어떻게 대응했는지 설명하는 답변서를 제출한다.수정 원고의 재검토
편집자 또는 심사자가 수정 내용과 답변을 검토한다. 쟁점이 남아 있으면 추가 수정이 요구될 수 있다. 모든 수정 원고가 반드시 외부 심사자에게 다시 전달되는 것은 아니며, 편집자가 직접 판단하기도 한다. 2최종 승인과 출판 준비
게재가 승인되면 교정과 편집 등 출판 준비를 진행한다.
이 과정을 이해하면 수정 요청을 받았다는 사실만으로 연구가 실패했다고 생각할 필요가 없다는 것을 알 수 있다. 반대로 수정 기회를 받았다고 게재가 보장되는 것도 아니다. 중요한 것은 몇 번째 라운드인지보다 심사에서 제기된 핵심 문제가 실제로 해결되었는지다.
동료 심사는 어떻게 시작되었는가?
동료 심사(peer review)는 해당 분야의 연구자가 다른 연구자의 원고를 검토하는 제도다. 오늘날에는 학술 출판의 익숙한 절차지만, 처음부터 지금과 같은 형태로 운영된 것은 아니다.
그 역사를 설명할 때 자주 등장하는 학술지가 1665년에 창간된 영국의 Philosophical Transactions다. 다만 창간 당시부터 오늘날과 같은 외부 전문가 심사가 정착되어 있었다고 이해하면 정확하지 않다. 초기에는 편집자가 게재 내용을 결정하는 역할이 중심이었고, 1752년 왕립학회가 학술지 운영을 공식적으로 맡으면서 위원회에 의한 검토 체계가 도입되었다. 3
왕립학회에서는 1832년에 전문성을 갖춘 회원들의 검토를 활용하는 보다 공식화된 심사 절차가 도입되었다. 이 역사는 동료 심사가 어느 날 완성된 제도로 만들어졌다기보다, 편집자의 판단과 학회 내부의 검토에서 전문 연구자의 평가를 활용하는 방향으로 발전했음을 보여준다. 따라서 특정 연도를 오늘날 동료 심사 제도의 유일한 시작점으로 단정하기보다는 여러 단계에 걸쳐 형성된 제도로 이해하는 편이 적절하다. 4
이러한 제도의 취지는 저자의 주장을 저자 자신이나 편집자의 판단에만 맡기지 않고, 관련 지식을 가진 다른 연구자들의 검토에 부치는 데 있다.
심사자는 무엇을 보는가?
동료 심사는 저자가 얼마나 오래 연구했고 얼마나 많은 작업을 했는지를 평가하는 과정이 아니다. 그 노력으로 얻은 주장이 학술적으로 의미가 있으며, 제시된 근거로 뒷받침되는지를 판단하는 과정이다.
심사자는 대체로 다음과 같은 질문을 검토한다.
- 연구 질문이 중요하고 명확한가?
- 기존 연구와 구별되는 지식이나 방법론적 기여가 있는가?
- 연구 설계와 비교 조건이 질문에 답하기에 적절한가?
- 결과가 결론을 뒷받침하는가?
- 다른 가능한 설명이나 중요한 한계를 충분히 검토했는가?
- 다른 연구자가 방법을 이해하고 검토할 수 있을 만큼 설명되어 있는가?
심사자는 의견과 권고를 제시하고, 편집자는 이를 종합하여 결정을 내린다. 심사자들의 찬반을 단순히 다수결로 집계하는 과정은 아니다.
예를 들어 “비교 실험이 부족하다”는 의견을 받았다면 실험 하나를 추가하는 것으로 충분한지부터 생각해서는 안 된다. 심사자가 무엇을 확인하지 못했는지를 먼저 파악해야 한다. 제안한 방법의 효과인지, 비교 조건의 공정성인지, 특정 데이터에만 성립하는 결과인지에 따라 필요한 대응이 달라진다.
설명의 부족은 원고를 명확하게 고쳐 해결할 수 있지만, 근거의 부족은 표현만 바꾸어 해결할 수 없다.
동료 심사는 완벽한 제도도 아니다. 심사자마다 전문성과 관점이 다르며, 원고를 오해하거나 중요한 부분을 놓칠 수 있다. 따라서 모든 의견을 무조건 수용해야 하는 것은 아니다. 동의하기 어려운 의견에는 자료와 논리를 근거로 정중하게 설명할 수 있다.
다만 심사자의 오해라고 판단하기 전에 원고가 그렇게 읽힐 여지는 없었는지 살펴보는 태도가 필요하다. 저자에게 익숙한 논리가 독자에게도 명확한 것은 아니기 때문이다.
학생이 동료 심사를 통해 배워야 할 것은 심사자를 만족시키는 표현법만이 아니다. 자신의 주장을 다른 연구자의 질문 앞에 놓고, 근거를 보완하며, 주장할 수 있는 범위를 정확하게 정하는 법을 배우는 것이다.
5. 목표 학술지는 언제, 어떻게 정해야 하는가?
목표 학술지는 연구가 끝난 뒤 처음 고민하기보다 연구 초기부터 후보를 생각해 두는 편이 좋다. 어떤 독자에게 어떤 지식을 전달하려는지를 구체화하는 데 도움이 되기 때문이다.
가장 먼저 볼 것은 학술지의 범위와 독자다. 같은 인공지능 연구라도 알고리즘 자체의 발전을 중심으로 평가하는 학술지와 건설·인프라 문제에 대한 기여를 중심으로 평가하는 학술지는 기대하는 설명과 검증이 다를 수 있다.
그다음에는 해당 학술지에 최근 게재된 관련 논문을 직접 읽어야 한다. 제목이나 초록만 볼 것이 아니라, 어떤 질문을 다루고 어느 수준의 근거로 결론을 제시하는지 살펴보는 것이 중요하다.
| 확인할 사항 | 스스로 물어볼 질문 |
|---|---|
| 주제와 독자 | 이 학술지의 독자가 내 결과를 왜 알아야 하는가? |
| 기여의 성격 | 방법론, 현상 설명, 실증 분석 중 무엇이 중심인가? |
| 검증의 수준 | 내 주장에 필요한 비교와 검증이 갖추어졌는가? |
| 주장하는 범위 | 한 사례의 결과를 지나치게 일반화하고 있지는 않은가? |
| 투고 조건 | 논문 유형, 분량, 비용 등의 조건이 연구와 맞는가? |
목표 학술지를 정하는 것은 그 학술지의 유행을 따라가는 일이 아니다. 자신의 기여를 평가하고 활용할 독자 공동체를 찾는 일이다. 연구 결과에 따라 목표 학술지를 조정할 수도 있다.
다만 기여가 불분명하거나 검증이 잘못된 문제를 학술지의 수준을 낮추는 것으로 해결하려 해서는 안 된다. 게재되는 논문의 기여 범위는 학술지마다 다를 수 있지만, 주장을 뒷받침할 타당한 근거는 어디에서나 필요하다.
6. 해외 학술지와 국내 학술지는 무엇이 다른가?
흔히 해외 학술지는 수준이 높고 국내 학술지는 수준이 낮다고 생각한다. 그러나 발행 국가만으로 학술적 수준을 판단할 수는 없다. 국내 학회가 발행하는 국제학술지도 있으며, 해외에서 발행된다는 사실만으로 신뢰할 만한 학술지가 되는 것도 아니다.
보다 중요한 차이는 주된 독자와 다루는 문제의 맥락이다.
국제 독자를 대상으로 하는 학술지에서는 특정 국가나 현장의 사례가 다른 지역의 연구자에게 어떤 의미가 있는지 설명하는 일이 중요하다. 한국의 시설물이나 제도를 연구하더라도 그 사례에서 얻은 결과가 더 넓은 학술적 질문과 연결된다면 국제적으로 의미 있는 연구가 될 수 있다.
국내 독자를 주로 대상으로 하는 학술지에서는 국내 제도, 설계기준, 산업 환경에 밀접한 문제를 구체적으로 논의할 수 있다. 국내 실무자가 활용할 수 있는 지식을 한국어로 전달하는 것 역시 중요한 역할이다.
| 구분 | 국제 독자를 주로 대상으로 하는 학술지 | 국내 독자를 주로 대상으로 하는 학술지 |
|---|---|---|
| 주요 독자 | 여러 국가의 연구자와 실무자 | 국내 연구자와 실무자 |
| 필요한 맥락 설명 | 지역적 배경을 모르는 독자도 이해할 수 있도록 설명 | 국내 제도와 현장 여건을 상세히 논의 |
| 기여의 전달 | 다른 조건에도 참고할 수 있는 원리·방법·발견을 강조 | 국내 문제에 대한 지식과 활용 가능성을 강조 |
| 공통 요구 | 명확한 질문, 타당한 방법, 충분한 근거, 연구윤리 | 명확한 질문, 타당한 방법, 충분한 근거, 연구윤리 |
이 구분은 절대적인 경계가 아니다. 국내 독자를 대상으로 하는 학술지에도 보편적인 이론과 방법을 다룬 연구가 실릴 수 있다. 중요한 것은 ‘해외냐 국내냐’보다 누가 이 연구를 읽고, 어떤 지식을 얻어야 하는가이다.
7. JCR의 Impact Factor, 사분위, 백분위는 어떻게 이해해야 하는가?
목표 학술지를 찾다 보면 “Impact Factor가 얼마인가?”, “Q1 학술지인가?”, “분야 내 상위 몇 퍼센트인가?”라는 이야기를 접하게 된다. 이러한 지표는 학술지의 인용 영향력과 분야 내 상대적 위치를 보여주며, 학술지의 수준을 판단하는 보조적인 지표로 활용된다. 다만 각각 무엇을 측정하는지 알아야 적절하게 해석할 수 있다.
Impact Factor는 무엇을 나타내는가?
JCR(Journal Citation Reports)은 Clarivate가 제공하는 학술지 인용 분석 자료다. 여기에 수록되는 대표적인 지표가 Journal Impact Factor(JIF), 흔히 IF라고 부르는 학술지 영향력 지수다.
특정 연도의 JIF는 해당 연도에 그 학술지의 직전 2년간 출판물에 발생한 인용 수를, 같은 2년 동안 게재된 논문·리뷰 등 산정 대상 출판물 수로 나누어 계산한다. 분자에 포함되는 인용과 분모에 포함되는 출판물의 유형이 완전히 같지는 않으므로, 엄밀하게는 모든 게재 논문의 단순 평균 인용 수와 동일하지 않다. 7
예를 들어 어느 학술지가 2023년과 2024년에 게재한 산정 대상 논문이 100편이고, 해당 기간의 출판물이 2025년에 받은 인용이 600회라면 2025년 JIF는 6.0이 된다. 여기서 세는 것은 두 해 동안 누적된 인용이 아니라, 2025년 한 해에 발생한 인용이다.
IF가 높다는 것은 최근 게재된 연구가 다른 연구에서 비교적 활발하게 인용되고 있다는 뜻으로 해석할 수 있다. 그러나 그 학술지의 모든 논문이 고르게 많이 인용된다는 뜻은 아니다. 일부 논문에 인용이 집중될 수도 있다.
또한 분야마다 연구자 수, 논문 출판량, 참고문헌 수와 인용 속도가 다르다. 따라서 서로 다른 분야의 학술지를 IF 숫자만으로 직접 비교하는 데에는 한계가 있다.
Q1, Q2, Q3, Q4는 무엇인가?
이러한 분야 차이를 고려하여 학술지의 상대적인 위치를 살펴보는 방법이 사분위(quartile)다. 흔히 말하는 JCR의 Q1부터 Q4는 특정 주제 분야(category) 안에서 학술지를 JIF 순위에 따라 구분한 것이다. 분야를 나타내는 category와 그 분야 내 순위 구간을 나타내는 quartile은 서로 다른 개념이다. 5
| 사분위 | 해당 분야 내 JIF 순위의 대략적인 구간 |
|---|---|
| Q1 | 상위 25% |
| Q2 | 상위 25% 초과∼50% |
| Q3 | 상위 50% 초과∼75% |
| Q4 | 상위 75% 초과∼100% |
이 구분은 개념적인 설명이다. 실제로는 동순위 처리 때문에 각 구간의 학술지 수가 정확히 4분의 1씩 나뉘지 않을 수 있다. 또한 하나의 학술지가 여러 분야에 속하면 분야별 사분위가 다를 수 있다. 따라서 “Q1 학술지”라고 할 때는 어느 연도의 어느 분야를 기준으로 한 것인지 함께 확인해야 한다. 6
백분위와 ‘상위 몇 퍼센트’는 어떻게 다른가?
사분위가 학술지를 네 구간으로 나눈다면, 백분위(percentile)는 분야 내 상대적인 위치를 더 세밀하게 나타낸다. JIF 백분위는 값이 높을수록 해당 분야에서 높은 순위에 있다는 의미다. 5
여기서 백분위와 ‘상위 몇 퍼센트’를 혼동하지 않아야 한다. 백분위가 약 90이라는 것은 대략 상위 10% 수준이라는 의미이지, 상위 90%라는 뜻이 아니다.
| 표현 | 대략적인 의미 |
|---|---|
| 백분위 90 | 상위 10% 수준 |
| 백분위 75 | 상위 25% 수준 |
| 백분위 50 | 분야 내 중간 수준 |
정확한 값은 순위 산정 방식과 동순위 처리에 영향을 받으므로, 실제 확인할 때는 JCR에 제시된 값을 기준으로 삼는 것이 좋다.
이 지표들은 학술지의 수준을 얼마나 설명하는가?
IF, 사분위, 백분위는 학술지의 수준을 판단할 때 유용한 참고 자료다. 어떤 학술지가 해당 분야에서 얼마나 활발하게 인용되는지, 다른 학술지와 비교하여 어느 위치에 있는지를 파악하는 데 도움이 된다. 따라서 목표 학술지 후보를 비교할 때 이러한 지표를 확인하는 것은 합리적이다.
다만 여기서 말하는 ‘수준’은 하나의 숫자로 모두 설명되지 않는다. 학술지의 전문성, 편집과 심사의 충실성, 연구윤리, 독자층, 학계와 실무에 미치는 영향 등도 함께 고려해야 한다. 인용 지표는 이 가운데 주로 인용을 통해 나타나는 영향력을 보여준다.
특히 학술지 수준의 지표와 개별 논문의 가치는 구분해야 한다. Q1 학술지에 실렸다는 사실만으로 특정 논문의 방법과 결론이 타당하다고 판단할 수는 없다. 반대로 Q3나 Q4 학술지에 실렸더라도 중요한 문제에 신뢰할 만한 답을 제시한 연구일 수 있다. 개별 논문은 결국 그 질문과 방법, 근거와 발견을 읽고 평가해야 한다.
따라서 “실험을 이 정도 하면 Q1, 조금 적게 하면 Q2”와 같은 판단은 적절하지 않다. 학술지마다 독자, 범위, 편집 방침과 기대하는 기여가 다르기 때문이다.
학생에게 권하고 싶은 순서는 먼저 자신의 연구가 어떤 지식을 제시하는지 정리하고, 그 지식을 필요로 하는 독자가 있는 학술지를 찾은 뒤, 해당 학술지의 최근 논문과 인용 지표를 함께 살펴보는 것이다. 지표는 목표 학술지를 판단하는 데 도움을 주지만, 자기 연구의 기여를 대신 설명해 주지는 않는다.
8. 투고 전에 무엇을 설명할 수 있어야 하는가?
출판 가능성을 판단할 때 다음 여섯 가지 질문에 답해 보기를 권한다.
무엇이 아직 충분히 알려지지 않았는가?
선행연구를 근거로 지식의 공백을 설명할 수 있는가?이 연구는 어떤 질문에 답하는가?
개발한 대상이 아니라 알아보려는 내용을 말할 수 있는가?연구 설계가 그 질문에 답할 수 있는가?
비교 조건과 평가 방법이 적절하며, 다른 가능한 설명을 검토했는가?결과를 통해 무엇을 새롭게 알게 되었는가?
성능 수치의 나열을 넘어 발견의 의미를 설명할 수 있는가?어디까지 주장할 수 있는가?
확인한 내용과 아직 확인하지 못한 내용을 구분하는가?그 발견을 왜 이 학술지의 독자가 알아야 하는가?
연구의 기여와 목표 학술지의 독자가 연결되는가?
이 질문들에 명확하게 답할 수 있다고 해서 게재가 보장되는 것은 아니다. 그러나 적어도 무엇을 근거로 출판 가능성을 판단해야 하는지는 분명해진다. 추가 실험이 필요하더라도 무엇을 확인하기 위한 실험인지 설명할 수 있다.
반대로 답이 불분명하다면 무조건 더 복잡한 방법을 만들거나 실험의 수를 늘릴 필요는 없다. 먼저 문헌으로 돌아가 연구 질문과 발견의 위치를 정리해야 한다. 이미 수행한 실험으로 답할 수 없는 질문이라면 연구 설계를 보완해야 한다.
결과를 본 뒤 흥미로운 질문을 발견하는 일도 가능하다. 다만 사후에 발견한 질문을 처음부터 설정했던 것처럼 서술해서는 안 된다. 탐색 과정에서 얻은 발견임을 밝히고, 필요하다면 독립적인 자료나 추가 실험으로 확인해야 한다.
또한 기대한 가설이 지지되지 않았다는 이유만으로 출판할 가치가 없다고 생각해서도 안 된다. 중요한 질문을 타당한 방법으로 검토했다면, 기대와 다른 결과도 기존 지식의 한계를 밝히는 데 기여할 수 있다. 반대로 기대한 방향으로 성능이 높아졌더라도 비교가 불공정하거나 해석의 근거가 부족하면 설득력 있는 논문이 되기 어렵다.
연구자는 심사 결과를 미리 보장할 수 없다. 그렇지만 자신의 질문이 무엇이고, 어떤 근거를 얻었으며, 그 결과가 기존 지식에 무엇을 더하는지는 설명할 수 있어야 한다. 지도교수와의 논의도 “될까요, 안 될까요?”에 머무르기보다 이 내용을 구체적으로 놓고 진행할 때 도움이 된다.
학생이 “이 정도면 논문이 될까요?”라고 물을 때 내가 먼저 듣고 싶은 것은 수행한 작업의 양이 아니다.
“기존에는 무엇을 몰랐고, 이번 연구로 무엇을 알게 되었으며, 그것을 어떤 근거로 말할 수 있는가?”
이 질문에 자신의 언어로 답할 수 있다면, 출판 가능성에 대한 막연한 불안에서 한 걸음 벗어날 수 있다. 아직 답이 충분하지 않더라도 무엇을 정리하고 보완해야 하는지는 알 수 있다. 논문 작성은 바로 그 답을 명확하게 만드는 과정이기도 하다.
참고 자료
대학원생을 위한 연구와 논문 시리즈