대학원생을 위한 연구와 논문 · 1편
무엇을 만들 것인가, 무엇을 알아낼 것인가?
대학원에 처음 들어온 학생들과 연구 주제를 이야기하다 보면 자주 듣는 이야기가 있습니다.
“LLM으로 건설 문서를 분석해보고 싶습니다.”
“Crack segmentation에 새로운 모델을 적용해보고 싶습니다.”
좋은 출발점입니다. 그런데 이것만으로는 아직 연구 주제라고 하기는 어렵습니다. 무엇을 해보겠다는 계획은 있지만, 무엇을 연구하겠다는 질문은 아직 없기 때문입니다.
예를 들어 건설공사 시방서를 LLM이 해석하도록 시스템을 만들었다고 해봅시다. PDF를 처리하고, 문서를 chunk로 나누고, embedding을 만들고, vector database와 RAG를 구축합니다. 그리고 테스트해보니 질문의 90%에 정확하게 답했습니다.
구현하는 데 상당한 시간과 노력이 필요했을 것입니다. 실무적으로도 유용할 수 있습니다. 하지만 논문을 쓰려고 한다면 여기서 질문을 하나 더 해야 합니다.
그래서 이 연구를 통해 기존에 몰랐던 무엇을 알게 되었는가?
단순히 기존 RAG 기술을 건설 문서에 적용했고 잘 작동했다는 것만으로는 학술적 기여를 설명하기 어렵습니다.
예를 들어 분석 과정에서 이런 현상을 발견했다고 해봅시다.
LLM은 하나의 조항에 답이 있는 질문에는 상당히 정확하게 답하는데, 여러 조항에 흩어진 조건을 함께 고려해야 하는 질문에서는 오류가 급격히 증가합니다.
그러면 이야기가 달라집니다.
“왜 이런 차이가 발생하는가?”
“건설 문서의 정보 구조와 질문의 복잡성이 LLM의 해석 성능에 어떤 영향을 미치는가?”
이런 질문을 세우고, 질문 유형과 문서 구조를 체계적으로 나누어 실험한다면 단순히 시스템을 구현하는 것을 넘어 연구가 됩니다. 그 결과 어떤 조건에서 LLM이 실패하는지, 그 원인이 retrieval에 있는지 reasoning에 있는지 등을 밝힐 수도 있습니다.
그러면 성능을 높이는 연구는 연구가 아닌가?
그렇지 않습니다.
실제로 공학 분야에는 기존 방법의 성능을 개선하는 훌륭한 논문이 많습니다.
Crack segmentation을 예로 들어보겠습니다.
기존 encoder–decoder 모델이 아주 얇은 균열을 잘 분할하지 못한다고 합시다. 분석해보니 downsampling 과정에서 thin-crack feature가 사라지는 것이 중요한 원인이라고 판단했습니다. 그래서 high-resolution feature를 보존하는 새로운 방법을 제안하고, 여러 데이터셋과 ablation study를 통해 실제로 thin crack의 segmentation 성능이 개선된다는 것을 보였습니다.
이것은 충분히 좋은 연구가 될 수 있습니다.
반면,
“U-Net에 attention module을 하나 추가했더니 IoU가 2% 높아졌다.”
에서 끝난다면 이야기가 다릅니다.
왜 그 모듈이 필요한지, 기존 방법의 어떤 한계를 해결하는지, 실제로 그 아이디어 때문에 성능이 좋아진 것인지가 명확하지 않기 때문입니다.
결국 중요한 것은 새로운 모델을 만들었느냐, 성능이 몇 % 높아졌느냐만이 아닙니다.
좋은 방법론 연구에는 대체로 다음과 같은 흐름이 있습니다.
문제가 있다 → 기존 방법에는 한계가 있다 → 이를 해결할 아이디어를 제시한다 → 방법으로 구현한다 → 실험으로 검증한다 → 기존 연구에 없던 기여를 만든다.
연구의 기여도 꼭 한 가지 형태일 필요는 없습니다. 새로운 방법을 제시할 수도 있고, 기존에 알려지지 않았던 현상이나 관계를 밝힐 수도 있습니다. 새로운 데이터셋이나 benchmark를 만들 수도 있습니다. 중요한 실제 문제에 기존 기술을 적용하면서 일반화할 수 있는 새로운 방법론을 제시하는 것도 가능합니다.
모델보다 먼저 생각해야 할 것
다만 학생들에게 한 가지는 꼭 강조하고 싶습니다.
“무엇을 만들어 볼까?”에서 연구를 시작하지 않았으면 합니다.
그보다 먼저 다음 질문을 생각해보는 것이 좋습니다.
- 무엇이 아직 잘 해결되지 않았는가?
- 우리가 아직 잘 모르는 것은 무엇인가?
- 기존 연구에는 어떤 한계가 있는가?
그 다음에 그 문제를 해결하기 위해 모델을 만들든, 실험을 하든, 데이터를 구축하면 됩니다.
연구의 기본적인 흐름을 아주 단순하게 정리하면 다음과 같습니다.
Problem → Existing Knowledge → Research Gap → Research Question → Method → Evidence → Contribution
다음 미팅 전에 답해볼 네 가지 질문
처음 연구를 시작하는 학생이라면 다음 미팅 자료를 만들기 전에 네 가지 질문에 먼저 답해보기를 권합니다.
- 내가 해결하려는 문제는 정확히 무엇인가?
- 기존 연구로는 왜 충분하지 않은가?
- 그래서 내가 새롭게 제시하거나 알아내려는 것은 무엇인가?
- 그것을 어떤 evidence로 보여줄 것인가?
이 질문에 답하는 과정이 연구의 시작입니다.
그림으로 정리하기
그림을 누르면 확대해 볼 수 있습니다.