선행연구가 이미 다 했을 때 — 재현 연구의 가치

선행연구를 찾다가 내 질문과 거의 똑같은 논문을 만나면 대부분 손이 멈춥니다. 이미 답이 나와 있으니 내가 할 게 없다고 느끼고, 주제를 처음부터 다시 찾기 시작합니다. 그렇게 두세 번 반복하면 학기의 절반이 지나가 있고, 남은 것은 "아무도 안 한 주제"라는 불가능한 조건뿐입니다.

그런데 연구자들은 정반대로 움직입니다. 내 질문과 똑같은 논문을 찾으면 그때부터 설계가 쉬워집니다. 무엇을 재고 어떤 조건을 통제해야 하는지가 이미 적혀 있기 때문입니다. 그 논문을 조건만 바꿔 다시 해보는 것, 그게 재현 연구입니다.

"이미 있다"에서 멈추는 학생, 거기서 시작하는 연구자

"이미 있다"는 판단은 대개 제목만 보고 내려집니다. 하지만 논문 한 편이 답한 것은 생각보다 훨씬 좁습니다. 제목이 "음악 청취가 기억에 미치는 영향"이어도, 방법 절에 들어가 보면 대상은 미국 대학생 40명, 자극은 클래식 두 곡, 과제는 영어 단어 20개, 측정은 즉시 회상 1회입니다. 이 논문이 답한 질문은 "미국 대학생이 클래식을 들으며 영어 단어를 외웠을 때 즉시 회상이 어떻게 되는가"이지, 음악과 기억 전체가 아닙니다.

그래서 "이미 있다"를 판정하려면 초록이 아니라 방법 절을 봐야 합니다. 대상·자극·과제·측정 시점 네 칸을 적어보면, 그중 한 칸도 내 상황과 같지 않은 경우가 대부분입니다. 그 다름이 곧 내 연구의 자리입니다.

관련 논문을 아직 충분히 모으지 못했다면 선행연구 검색해보기로 키워드 두세 개를 조합해 후보를 먼저 만들어두세요. 재현 연구는 원 논문이 정해져야 시작할 수 있고, 원 논문은 한 편이 아니라 서너 편을 놓고 고르는 편이 낫습니다. 방법이 자세히 적힌 논문일수록 좋은 원 논문입니다 — 뒤에서 보겠지만, 재현은 방법 서술의 품질에 전적으로 달려 있습니다.

재현이 연구인 이유

재현이 학술적으로 왜 중요한지는 심리학 분야의 대규모 협업 연구가 잘 보여줍니다. Open Science Collaboration이 2015년 Science에 발표한 "Estimating the reproducibility of psychological science"(DOI 10.1126/science.aac4716)는 심리학 논문 100편의 실험을 다시 수행했고, 원 논문에서 통계적으로 유의했던 결과 중 다시 유의하게 나온 것은 일부에 그쳤으며 반복된 실험의 효과 크기는 원 논문의 절반 수준이었다고 보고했습니다. 이 결과 이후 여러 분야에서 "한 번 나온 결과는 아직 확정된 지식이 아니다"라는 인식이 자리 잡았고, 재현을 목적으로 하는 논문을 따로 싣는 학술지도 늘었습니다. 다시 말해 재현은 남이 한 것을 베끼는 일이 아니라, 지식이 지식이 되는 과정 그 자체입니다. 참고로 "재현 가능"과 "반복 가능"은 학술적으로 다른 말인데, 이 구분은 5단계: 논문화의 '재현 가능과 반복 가능은 다르다'에 정리해두었으니 설계에 들어가기 전에 한 번 읽어두세요.

세 종류 — 직접 재현, 조건 재현, 개념 재현

재현이라고 다 같은 재현이 아닙니다. 무엇을 같게 두고 무엇을 바꾸는가에 따라 셋으로 나뉘고, 셋은 답하는 질문이 다릅니다.

고등학생 연구에서 가장 현실적인 것은 조건 재현입니다. 원 논문이 대학생을 대상으로 했다면 나는 고등학생으로, 원 논문이 실험실에서 했다면 나는 교실에서 합니다. 절차와 측정을 그대로 두면 결과를 원 논문과 나란히 놓고 비교할 수 있고, 바꾼 칸이 하나뿐이라 차이가 났을 때 원인을 지목할 수 있습니다.

직접 재현은 원 논문이 최근에 나왔고 자극 자료가 공개되어 있을 때만 가능합니다. 개념 재현은 이론을 다루는 만큼 난도가 높지만, 원 논문의 측정 도구가 학교에서 쓸 수 없는 장비일 때 오히려 유일한 선택지가 되기도 합니다. 어느 쪽이든 내가 어느 종류를 하는지 보고서에 명시해야 합니다. 이 한 문장이 없으면 심사자는 그냥 따라 한 실험으로 읽습니다.

무엇을 같게 하고 무엇이 달라도 되나

재현 설계의 원칙은 한 줄입니다. 비교의 근거가 되는 것은 같게, 내 상황상 불가능한 것은 바꾸되 기록한다.

같게 두어야 하는 것부터 봅니다.

• 독립변수의 조작 방식. 원 논문이 소음을 50 dB로 틀었다면 나도 50 dB입니다. "적당히 시끄럽게"로 바꾸면 그 순간 비교 대상이 사라집니다.
• 종속변수의 측정 방법과 시점. 즉시 회상인지 20분 뒤 회상인지가 결과를 통째로 바꿉니다.
• 집단 배정 방식. 원 논문이 무작위 배정이었다면 나도 무작위여야 합니다.
• 분석 방법. 같은 검정을 써야 두 결과가 같은 단위로 비교됩니다.

달라도 되지만 반드시 적어야 하는 것은 이렇습니다. 대상(연령·지역·학교), 표본 크기, 자극의 언어와 난이도, 측정 장비의 사양, 실시 시간대와 계절, 실시 장소. 이 목록을 방법 절에 원 논문 / 내 연구 두 열로 나란히 적어두면 그 표 하나가 재현 연구의 핵심 자료가 됩니다. 결과가 달랐을 때 논의에서 짚을 후보가 바로 이 표의 다른 칸들이기 때문입니다.

원 논문의 방법을 어디까지 그대로 가져오고 어디부터 바꿔야 하는지, 그리고 그것이 왜 표절이 아닌지는 Methods를 읽어야 하는 이유에서 더 자세히 다룹니다. 설계를 확정하기 전에 연구윤리 · 재현가능성 체크리스트로 한 번 훑어보세요 — 내가 적은 방법만 보고 제3자가 같은 실험을 할 수 있는지가 재현 연구에서는 결과만큼 중요합니다.

결과가 원 논문과 다를 때

재현 연구를 겁내는 이유는 대개 하나입니다. "원 논문과 다르게 나오면 내가 틀린 거 아닌가." 아닙니다. 재현 연구에서는 같게 나와도 다르게 나와도 둘 다 결과입니다. 다만 서술하는 방식이 다릅니다.

같은 방향으로 나왔다면 이렇게 씁니다.

본 연구의 결과는 원 연구와 같은 방향이었다. 대상을 고등학생으로 바꾸었음에도 차이가 유지되었다는 점은, 해당 효과가 특정 연령 집단에 한정되지 않을 가능성을 시사한다.

방향은 같지만 크기가 작았다면 크기를 그대로 적고 원 논문 값과 나란히 놓습니다. "효과가 확인되었다"로 뭉뚱그리지 않습니다.

차이가 나오지 않았다면 세 가지 가능성을 순서대로 적습니다. ① 원 결과가 이 조건에서는 성립하지 않는다, ② 내가 바꾼 칸(대상·환경·자극) 때문이다, ③ 내 표본으로는 그 크기의 차이를 잡아낼 수 없었다. 세 번째를 빠뜨리는 보고서가 많은데, 표본이 작으면 실제 효과가 있어도 유의하게 나오지 않습니다. 셋 중 무엇인지 단정하지 말고 셋을 다 적은 뒤, 각각을 판별하려면 다음 연구가 무엇을 해야 하는지 한 문장씩 붙이면 논의가 완성됩니다.

여기서 절대 하지 말아야 할 것은 원 논문과 맞추기 위해 표본을 더 모으거나, 조건을 바꿔 다시 해서 잘 나온 쪽만 보고하는 일입니다. 예상과 다른 결과를 정직하게 쓰는 구체적인 방법은 실험이 실패했을 때 쓰는 법에 있습니다.

재현 연구를 보고서에 자리매김하기

마지막으로, 재현 연구는 서론에서 자기 위치를 밝히는 순간 평가가 달라집니다. 아래 네 자리에 각각 한두 문장씩 넣으세요.

1. 서론 후반 — 원 논문을 명시하고, 그 논문이 답한 범위가 어디까지인지 적습니다. "○○(2019)은 대학생을 대상으로 ~를 보고했다. 그러나 이 결과가 청소년에게도 나타나는지는 검증되지 않았다."
2. 연구의 목적 — 재현의 종류를 이름으로 씁니다. "본 연구는 ○○(2019)의 절차를 유지하고 대상만 고등학생으로 바꾼 조건 재현이다."
3. 방법 절 — 앞에서 만든 원 논문 / 내 연구 대조표를 넣습니다. 표 아래에 "그 외 절차는 원 연구를 따랐다"는 한 문장을 답니다.
4. 논의 첫 단락 — 내 결과와 원 논문 결과를 한 문장 안에서 비교합니다.

이 네 자리가 채워지면 "이미 있는 연구를 따라 했다"가 아니라 "선행연구의 적용 범위를 넓혔다"가 됩니다. 재현 연구가 낮게 평가받는 경우는 재현이라서가 아니라, 재현이라는 사실을 숨긴 채 새 연구처럼 써서 심사자가 원 논문을 찾아냈을 때입니다.

점검은 다섯 개면 충분합니다.

• 원 논문을 저자·연도·DOI까지 특정했는가
• 내가 하는 것이 직접·조건·개념 중 어느 재현인지 한 단어로 말할 수 있는가
• 같게 둘 네 가지(조작·측정·배정·분석)를 원 논문에서 확인해 적었는가
• 달라진 칸을 빠짐없이 대조표에 적었는가
• 결과가 원 논문과 다르게 나왔을 때 쓸 세 가지 가능성을 미리 알고 있는가

다섯 개에 답할 수 있다면 이미 설계는 끝났습니다. 남은 것은 원 논문의 방법 절을 한 줄씩 읽으며 내 환경으로 옮기는 일입니다.