실험이 실패했을 때 쓰는 법 — 음성 결과도 결과다

데이터를 다 모으고 계산을 끝냈는데 두 집단의 평균이 거의 같습니다. 예상했던 방향과 반대로 나온 항목도 있습니다. 이 시점에 많은 학생이 셋 중 하나를 합니다. 표본을 더 모으거나, 조건을 바꿔 다시 하거나, 아예 보고서를 포기하고 다른 주제로 갈아탑니다.

셋 다 필요 없습니다. 가설이 틀렸다는 것은 연구가 실패했다는 뜻이 아니라, 그 가설이 이 조건에서는 성립하지 않는다는 결과가 나왔다는 뜻입니다. 학술 세계가 재현을 중요하게 여기게 된 이유도 여기에 있습니다 — 잘 나온 결과만 세상에 나오면 지식은 한쪽으로 기울기 때문입니다. 이 글은 그 결과를 어떻게 정직하게, 그리고 평가받을 수 있는 형태로 쓰는지에 대한 것입니다.

"안 나왔다"는 세 가지 다른 상황이다

먼저 구분해야 합니다. 이 셋은 원인도 다르고 쓰는 방법도 다른데, 보고서에서는 뭉뚱그려 "실험이 실패했다"로 적히곤 합니다.

① 가설과 반대 방향으로 나왔다. 백색소음이 회상을 높일 것으로 예상했는데 오히려 낮았습니다. 데이터는 멀쩡하고 차이도 분명한데 방향만 반대입니다. 이것은 가장 정보가 많은 결과입니다. 무언가가 일어났고, 그 무언가를 내가 잘못 예측한 것뿐입니다.

② 차이가 없었다. 두 집단이 사실상 같게 나왔습니다. 여기서 주의할 것은 "차이가 없다"와 "차이를 찾지 못했다"가 다르다는 점입니다. 표본이 작으면 실제로 차이가 있어도 검출되지 않습니다. 이 구분을 흐리면 논의 전체가 틀린 주장을 하게 됩니다.

③ 측정이 실패했다. 장비가 중간에 멈췄고, 설문 응답이 절반만 회수됐고, 두 사람이 잰 값이 크게 어긋납니다. 이 경우는 앞의 둘과 성격이 완전히 다릅니다. 결과가 나온 게 아니라 결과를 만들 수 없었던 것이므로, 결론에서 가설에 대해 말하면 안 됩니다.

내 상황이 셋 중 어디인지부터 한 단어로 정하세요. 이후의 모든 서술이 여기서 갈립니다.

상황별로 무엇을 말할 수 있나

②에서 "효과가 없다"고 쓰지 못하는 이유가 이 표의 핵심입니다. 통계 검정은 차이가 없음을 증명하도록 만들어져 있지 않고, 차이가 있다고 말할 근거가 충분한지만 판정합니다. p값이 정확히 무엇을 말하고 무엇을 말하지 않는지는 통계, 딱 필요한 만큼만의 'p값이 말해주는 것과 말해주지 않는 것'에 정리되어 있으니 논의를 쓰기 전에 한 번 읽어두세요.

그래서 ②에서는 차이의 크기와 그 불확실성을 함께 적는 것이 유일하게 정직한 방법입니다. "유의하지 않았다"로 끝내지 말고, 두 집단의 평균과 표준편차, 그리고 차이의 크기를 숫자로 적습니다. 간이 통계 계산기에 두 집단의 값을 넣으면 평균·표준편차와 함께 효과 크기까지 한 번에 나오니, 그 값을 그대로 결과 절에 옮기면 됩니다. 차이가 작더라도 크기를 적어두면, 나중에 누군가 더 큰 표본으로 같은 실험을 할 때 내 숫자가 비교 기준이 됩니다.

③이라면 결과 절에서 가설을 다루지 않고, 대신 어느 단계에서 무엇이 어긋났는지를 절차 순서대로 적습니다. 회수율이 낮았다면 배포 수와 회수 수를 적고, 장비가 멈췄다면 몇 회차에서 멈췄는지 적습니다. 이 기록만으로도 다음 사람이 같은 함정을 피할 수 있고, 그것이 이 보고서의 기여가 됩니다.

하지 말아야 할 것 세 가지

여기서 손대기 시작하면 음성 결과가 조작이 됩니다. 왜 안 되는지를 하나씩 봅니다.

결과를 보고 나서 데이터를 더 모으는 것. "조금만 더 모으면 유의해질 것 같아서" 20명을 추가하는 순간, 그 p값은 더 이상 해석할 수 없는 숫자가 됩니다. 유의해질 때까지 표본을 늘리면 실제로 차이가 없어도 언젠가는 유의하게 나오기 때문입니다. 표본 크기는 데이터를 보기 전에 정해야 합니다.

조건을 바꿔 다시 해서 잘 나온 쪽만 싣는 것. 소음 크기를 바꾸고, 과제를 바꾸고, 시간대를 바꿔 다섯 번 해본 뒤 가장 예쁜 결과 하나만 보고하는 방식입니다. 다시 해보는 것 자체는 문제가 아닙니다. 몇 번 했고 나머지는 어떻게 나왔는지 적지 않는 것이 문제입니다.

여러 분석 중 p값이 작은 것만 고르는 것. 항목이 열 개인 설문에서 열 번 검정하면 실제로 아무 관계가 없어도 하나쯤은 유의하게 나옵니다. 그 하나만 싣고 나머지 아홉을 숨기면, 읽는 사람은 그 결과가 열 번 중 한 번이라는 사실을 알 수 없습니다.

셋의 공통점은 결과를 본 뒤에 규칙을 바꾼다는 것입니다. 이 선을 넘는 구체적인 사례와 판단 기준은 연구윤리 — 학생 연구에서 실제로 문제가 되는 것들의 '데이터를 다룰 때 넘지 말아야 할 선'에 이미 정리되어 있으니, 손대고 싶은 충동이 들 때 그 절을 먼저 여세요.

한 가지만 덧붙입니다. 예상과 다른 결과가 나왔을 때 다시 해보는 것은 좋은 선택입니다. 다만 처음 결과를 지우고 다시 하는 것이 아니라, 두 번을 모두 보고하는 방식이어야 합니다. 원래 있던 연구를 조건만 바꿔 다시 하는 설계가 그 자체로 왜 연구인지는 재현 연구의 가치에서 다룹니다.

결과 절 쓰기 — 있는 그대로, 해석 없이

음성 결과 보고서에서 가장 자주 무너지는 곳이 결과 절입니다. 숫자가 시원치 않으니 변명을 섞게 되고, 그러면 결과와 논의가 뒤엉킵니다.

결과 절의 규칙은 음성이든 양성이든 같습니다. 숫자와 방향만 적고, 왜 그랬는지는 한 글자도 쓰지 않습니다.

백색소음 집단의 평균 회상 점수는 12.4개(SD 3.1), 무소음 집단은 12.9개(SD 2.8)였다. 두 집단의 차이는 0.5개로 통계적으로 유의하지 않았다(p = .58).

이 세 문장에 "장비 문제로 보인다", "표본이 작아서일 것이다" 같은 말이 끼어들면 안 됩니다. 그 문장들은 전부 논의 절의 몫입니다.

그래프도 그대로 그립니다. 차이가 작다고 축을 잘라 크게 보이게 만드는 것은 조작입니다. 오히려 두 막대가 비슷한 높이로 나란히 있는 그림이 이 연구의 결과를 정확하게 보여줍니다. 결과 절과 논의 절의 경계가 흐려졌다는 느낌이 들면 IMRaD 구조 점검으로 각 절에 무엇이 들어가야 하는지 한 번 맞춰보세요 — 음성 결과일수록 이 경계가 평가를 좌우합니다.

논의 절 쓰기 — 네 단락 구조를 그대로

논의를 어떤 순서로 쓰는지는 5단계: 논문화의 '논의는 네 단락이면 된다'에 있습니다. 음성 결과라고 해서 다른 구조를 쓸 필요는 없고, 각 단락에 들어갈 내용만 달라집니다.

첫 단락(답). "차이가 없었다"가 아니라 "이 조건에서는 차이를 검출하지 못했다"로 씁니다. 한 문장 안에 조건이 함께 들어가야 합니다.

둘째 단락(선행연구와 비교). 여기가 음성 결과 보고서에서 가장 강해지는 곳입니다. 선행연구는 효과를 보고했는데 나는 못 찾았다면, 무엇이 달랐는지를 따집니다. 대상의 연령, 자극의 강도, 측정 시점, 과제의 난이도 — 이 중 어느 칸이 달랐는지 짚으면 그 자체가 학술적인 논의가 됩니다.

셋째 단락(가능성). 결과가 이렇게 나온 이유의 후보를 순서대로 적습니다. ⓐ 실제로 이 조건에서는 효과가 없다, ⓑ 효과는 있으나 내 표본으로는 검출할 수 없을 만큼 작다, ⓒ 측정이 그 효과를 잡아낼 만큼 민감하지 않았다, ⓓ 처치가 의도한 대로 전달되지 않았다. 넷 중 하나로 단정하지 말고 넷을 다 적은 뒤, 각각을 판별하려면 무엇을 확인해야 하는지 한 문장씩 붙입니다.

넷째 단락(제안). 셋째 단락의 후보를 하나씩 지울 수 있는 다음 연구를 적습니다. ⓑ가 의심되면 표본을 얼마나 늘려야 하는지, ⓒ가 의심되면 어떤 측정을 대신 쓸 수 있는지.

여기서 한계를 얼마나 솔직하게 적을지 망설이게 되는데, 결론부터 말하면 먼저 적는 쪽이 언제나 유리합니다. 그 이유와 쓰는 구조는 논문의 한계를 솔직하게 쓰는 게 왜 유리한가에 있습니다.

제목과 초록을 결과에 맞게 고치기

연구를 시작할 때 정한 제목은 대개 기대를 담고 있습니다. "백색소음이 단기 기억에 미치는 영향". 결과가 음성으로 나왔다면 이 제목은 내용과 어긋납니다.

제목은 관계의 방향을 주장하지 않는 형태로 바꿉니다.

(전) 백색소음이 고등학생의 단기 기억을 향상시키는 효과 (후) 백색소음 조건에서 고등학생의 단어 회상 점수 비교

초록도 마찬가지입니다. 결과 문장에 "유의한 차이가 없었다"를 그대로 넣고, 결론 문장은 조건을 붙여 좁힙니다. "효과가 없다"가 아니라 "본 조건에서는 차이가 관찰되지 않았다"입니다. 초록에서 결과를 흐리게 써두면 심사자는 본문을 읽다가 어긋남을 발견하게 되고, 그때부터 나머지 숫자도 의심하게 됩니다.

음성 결과 보고서는 이렇게 생겼다

가상의 연구 하나로 결과 절과 논의 절 첫 단락이 실제로 어떤 문장이 되는지 보겠습니다. 고등학생 34명을 두 집단으로 나눠, 한 집단은 백색소음을 들으며 한 집단은 조용한 환경에서 단어 20개를 외우고 즉시 회상 점수를 잰 연구입니다.

결과 절

백색소음 집단(n = 17)의 평균 회상 점수는 12.4개(SD 3.1), 무소음 집단(n = 17)은 12.9개(SD 2.8)였다. 두 집단의 평균 차이는 0.5개였으며, 독립표본 t 검정 결과 유의하지 않았다(t(32) = 0.49, p = .58). 효과 크기는 d = 0.17로 작았다. 사전에 정한 제외 기준(과제 도중 이탈, 응답 누락)에 해당하는 참여자는 없었으며, 수집된 34명의 자료를 모두 분석에 사용하였다.

논의 절 첫 단락

본 연구에서는 백색소음 조건과 무소음 조건 간 즉시 회상 점수의 차이를 검출하지 못했다. 이는 성인을 대상으로 백색소음의 촉진 효과를 보고한 선행연구와 다른 결과이나, 두 연구는 자극 강도와 과제 난이도에서 차이가 있었다. 본 연구의 표본(집단당 17명)으로는 d = 0.17 수준의 작은 차이를 통계적으로 확인하기 어려우므로, 이 결과를 '효과가 없다'는 근거로 해석해서는 안 된다. 다만 본 조건에서 관찰된 차이가 크지 않았다는 점은, 교실 환경에서 백색소음을 학습 보조 수단으로 권장하기에는 근거가 부족함을 시사한다.

두 단락에 변명이 한 줄도 없다는 점을 보세요. 숫자는 있는 그대로 있고, 해석은 조건 안에 갇혀 있으며, 마지막 문장은 이 결과로 말할 수 있는 만큼만 말합니다. 음성 결과 보고서가 좋은 평가를 받는 경우는 거의 언제나 이 형태입니다.

실제로 이렇게 쓴 사례

뇌파와 바이노럴 비트를 다룬 고등학생 팀은 여섯 모델에서 결정계수가 음수로 나온 것을 지우지 않고 그대로 적었습니다. 동시에 18Hz 조건의 시행에서 정답률이 높게 나온 빈도가 많았다는 관찰도 함께 실었습니다. 통계가 뒷받침하지 않았다는 서술과 눈으로 읽은 경향이 보고서 안에 나란히 놓여 있습니다. 보고서에 담은 방식 보기