연구질문 → 가설 → 검증 방법, 연결이 끊기는 지점

계획서를 내면 "가설을 세워 오세요"라는 말을 듣습니다. 그래서 질문 아래에 한 줄을 더 씁니다. 그런데 몇 주 뒤 데이터를 다 모으고 결과를 쓰려고 앉으면, 내가 잰 숫자가 내가 적은 가설에 대해 아무 말도 해주지 않는다는 것을 알게 됩니다. 질문은 수면 시간을 묻는데 가설은 '피로'를 말하고, 실제로 잰 것은 자습 시간에 존 횟수인 식입니다. 세 문장이 각각은 그럴듯한데 서로 다른 연구를 가리키고 있는 것입니다.

이 상태는 게으름 때문에 생기지 않습니다. 질문·가설·검증을 각각 다른 날에, 다른 기분으로 썼기 때문에 생깁니다. 그래서 이 글은 세 문장을 한 자리에 놓고 고리가 끊긴 지점을 찾는 작업만 다룹니다. 질문 자체가 아직 연구가 되는 형태인지 자신이 없다면 궁금한 질문을 탐구 가능한 질문으로 바꾸는 법을 먼저 통과시키고 오세요. 여기서는 질문이 이미 있다고 보고 시작합니다.

세 문장은 한 줄로 이어져야 한다

연구 설계의 뼈대는 문장 세 개입니다. 질문, 가설, 검증 방법입니다. 셋은 나란히 놓인 항목이 아니라 앞 문장이 뒤 문장을 결정하는 사슬입니다.

질문 백색소음은 고등학생의 영어 단어 암기 성적에 차이를 만드는가 가설 백색소음(약 50dB) 조건에서 외운 20개 단어 중 회상 개수는 조용한 조건보다 적을 것이다 검증 같은 학생 30명이 두 조건을 하루 간격으로 모두 수행하고, 조건별 회상 개수 평균을 대응표본 t-검정으로 비교한다

세 문장을 소리 내어 이어 읽어보면 같은 단어들이 반복됩니다. '백색소음', '회상 개수', '조용한 조건'이 세 문장에 모두 나옵니다. 한 문장에만 나오는 단어가 있다면 그 지점이 끊긴 곳입니다. 이것이 이 글에서 쓸 유일한 도구입니다.

이어 읽기가 어색하다면 질문보다 앞에 있는 목적 진술이 흐릿한 경우가 많습니다. "본 연구는 무엇이 어떤 조건에서 어떤 결과를 보이는지를 규명한다"는 한 문장을 목적 진술 만들어보기에서 먼저 완성해 두면, 질문은 그 문장을 의문형으로 바꾼 것이 되고 가설은 거기에 방향을 붙인 것이 됩니다. 순서를 거꾸로 하면 세 문장이 제각각 자라납니다.

아래 여섯 절은 실제 보고서에서 반복해서 나오는 끊김입니다. 자기 세 문장을 옆에 띄워 놓고 하나씩 대보세요.

끊김 1 — 질문의 변수와 가설의 변수가 다르다

가장 흔하고 가장 늦게 발견되는 끊김입니다.

질문: 카페인은 학생의 집중력에 영향을 주는가 가설: 카페인 음료를 마신 학생은 시험 점수가 높을 것이다

질문의 결과 변수는 '집중력'인데 가설의 결과 변수는 '시험 점수'입니다. 시험 점수는 집중력 말고도 공부량·난이도·수면으로 달라지므로, 점수가 올라가도 질문에 답한 것이 아닙니다. 반대 방향으로 어긋나는 경우도 있습니다. 질문은 '수면 시간'을 말하는데 가설은 '늦게 자는 학생'을 말하는 식입니다. 취침 시각과 수면 시간은 다른 변수입니다. 6시간 자는 사람은 11시에 자든 2시에 자든 6시간입니다.

고치는 방법은 하나입니다. 질문에 들어간 변수 이름을 가설에 그대로 복사해 붙입니다. 새 단어를 쓰고 싶어지면 그것은 변수 정의가 덜 끝났다는 신호입니다. 독립변수·종속변수·통제변수를 변수 정의표 만들기로 한 번 적어 두면, 그 표의 이름들이 세 문장 전체에서 쓰는 유일한 이름이 됩니다. 표에 없는 단어가 가설에 등장했다면 거기가 끊긴 자리입니다.

끊김 2 — 가설이 방향 없이 "관계가 있다"

두 번째 끊김은 가설이 너무 안전한 경우입니다.

가설: 수면 시간과 학업 성취도는 관계가 있을 것이다

이 문장은 틀릴 수 없습니다. 성적이 올라가도 관계가 있는 것이고 내려가도 관계가 있는 것이기 때문입니다. 틀릴 수 없는 문장은 확인할 수도 없습니다. 어떤 결과가 나와도 "맞았다"고 쓰게 되고, 그 순간 연구는 결론이 미리 정해진 절차가 됩니다.

가설에는 세 가지가 들어가야 합니다. **누가(대상), 무엇을 무엇과 비교해서(조건), 어느 쪽이 얼마나 다른가(방향)**입니다.

고친 뒤: 우리 학교 2학년 중 평일 수면 6시간 미만 집단은 7시간 이상 집단보다 3분 숫자 지우기 과제 정답 개수가 적을 것이다

방향을 적는 것이 부담스러울 수 있습니다. 틀리면 어쩌나 싶기 때문입니다. 그런데 방향을 적었다가 반대 결과가 나오는 것은 실패가 아니라 가장 쓸 것이 많은 결과입니다. 방향 없는 가설로 얻은 "관계가 있었다"는 문장은 논의에서 할 말이 없습니다. 선행연구에서 방향을 짐작할 근거가 정말로 없다면 "차이가 있을 것이다"까지는 허용됩니다. 다만 그때는 서론에 왜 방향을 정할 수 없었는지 한 줄을 적어야 합니다.

끊김 3 — 검증이 가설의 반대를 허용하지 않는다

세 번째 끊김은 검증 방법에서 생깁니다. 가설은 멀쩡한데, 설계상 가설이 기각될 길이 막혀 있는 경우입니다.

가설: 비료를 준 상추는 안 준 상추보다 잘 자랄 것이다 검증: 비료를 준 화분 5개의 14일 후 초장을 재어 처음보다 자랐는지 확인한다

상추는 비료를 안 줘도 자랍니다. 그러니 이 검증은 어떤 경우에도 "자랐다"로 끝나고, 가설의 반대인 "비료가 차이를 만들지 않는다"가 관찰될 방법이 없습니다. 설문에서도 같은 일이 일어납니다. "스마트폰이 수면을 방해한다고 생각합니까"에 그렇다고 답한 비율만 세면, 방해하지 않는다는 결과는 애초에 나올 수 없는 형태로 문항이 만들어져 있습니다.

검증 문장을 쓴 뒤 반드시 한 문장을 더 적어보세요. "어떤 숫자가 나오면 내 가설이 틀린 것인가." 이 문장이 써지지 않으면 검증이 아니라 시연입니다. 위 예에서는 "비료 없는 화분 5개의 평균 초장과 비교해 차이가 1cm 미만이면 기각"처럼 적어야 검증이 됩니다. 이 한 문장이 나중에 결과 절의 첫 줄이 됩니다.

끊김 4 — 측정값이 변수를 대표하지 않는다

네 번째 끊김은 가장 늦게, 대개 발표장에서 드러납니다. 세 문장은 이어져 있는데 실제로 잰 숫자가 그 변수가 아닌 경우입니다.

• 스트레스를 재겠다면서 "요즘 힘든가요"라는 한 문항으로 잰 경우
• 수질을 재겠다면서 물의 색만 눈으로 등급 매긴 경우
• 반응속도를 재겠다면서 스마트폰 스톱워치를 손으로 눌러 잰 경우
• 암기력을 재겠다면서 채점 기준 없이 "비슷하게 쓴 것"을 정답 처리한 경우

공통점은 측정이 재현되지 않는다는 것입니다. 다른 사람이 같은 절차를 읽고 똑같이 했을 때 같은 숫자가 나오지 않으면, 그 숫자는 변수를 대표하지 못합니다. 측정을 정할 때는 세 가지를 함께 적으세요. 도구(무엇으로), 단위(어떤 숫자로), 판정 기준(무엇을 정답·불량으로 셀지)입니다. 셋 중 하나라도 비어 있으면 데이터를 모으는 도중에 기준이 흔들리고, 흔들린 기준으로 모은 앞부분은 버려야 합니다.

측정이 변수의 일부만 잡는 것은 괜찮습니다. 숫자 지우기 과제가 집중력의 전부가 아니라는 것을 알면서 쓰면 됩니다. 문제는 일부만 잡아 놓고 결과에서 전체를 말하는 것입니다. 잰 것이 좁으면 결론도 좁게 씁니다.

끊김 5·6 — 비교 대상 부재, 분석 계획 부재

남은 두 끊김은 함께 옵니다. 둘 다 "데이터를 모은 다음에 생각하지"라고 미뤘을 때 생깁니다.

끊김 5, 비교 대상이 없다. 가설이 "~보다"를 담고 있는데 검증에는 한 집단만 있는 경우입니다. 처치를 받은 집단만 재고 나면, 나온 숫자가 큰지 작은지 말할 기준이 없습니다. 전후 비교 하나로 때우는 것도 같은 문제입니다 — 시간이 지나면 그냥 달라지는 것들이 있기 때문입니다. 무엇과 비교할지, 그 비교 집단이 처치 말고 무엇이 같아야 하는지는 대조군 설계에서 학생들이 가장 많이 틀리는 지점에서 다섯 가지 오류로 정리했습니다. 세 문장 중 검증 문장에 비교 대상이 안 보이면 그 글을 먼저 보고 오세요.

끊김 6, 분석 계획이 없다. 검증 문장이 "데이터를 모아 분석한다"에서 끝나는 경우입니다. 어떤 검정을 언제 쓰는지, 왜 데이터를 보기 전에 정해야 하는지는 3단계: 방법론 설계의 '분석 계획과 가설' 절에 표까지 정리되어 있으니 여기서 다시 쓰지 않겠습니다. 이 글에서 할 일은 하나입니다. 그 절에서 고른 검정 이름을 검증 문장 안에 넣는 것. "대응표본 t-검정으로 비교한다"까지 적혀 있어야 세 번째 문장이 완성됩니다.

두 끊김이 동시에 있다면 설계 유형 자체를 잘못 골랐을 가능성이 큽니다. 설문인지 실험인지 자료분석인지에 따라 비교 대상의 모양과 쓸 수 있는 검정이 통째로 달라지기 때문입니다. 내 연구질문에 맞는 설계 유형 찾기에 질문을 넣어 유형부터 확정하고, 그 유형에 맞춰 검증 문장을 다시 쓰는 편이 빠릅니다.

끊긴 곳 찾는 표

아래 빈 표에 내 세 문장을 그대로 옮겨 적으세요. 요약하지 말고, 계획서에 쓴 문장을 복사해 붙이는 것이 중요합니다. 요약하는 순간 머릿속에서 저절로 이어져 버려서 끊긴 곳이 안 보입니다.

다 적었으면 세 문장에서 명사만 형광펜으로 칠하고, 세 줄에 모두 나온 명사가 몇 개인지 세어보세요. 변수 이름 두 개(비교하는 것, 재는 것)가 세 줄에 모두 나와야 통과입니다. 아래는 통과한 예 두 개입니다.

두 예에서 검증 칸이 가장 긴 것을 눈여겨보세요. 검증 문장에는 대상 수, 배정 방식, 고정할 조건, 측정 시점, 분석 방법이 다 들어갑니다. 검증 칸이 질문 칸보다 짧다면 아직 설계가 끝나지 않은 것입니다.

표를 채우다 막히는 칸이 있으면 그 칸부터 고치지 말고, 그 앞 칸을 의심하세요. 가설이 안 써지는 이유는 대개 질문의 변수가 흐리기 때문이고, 검증이 안 써지는 이유는 대개 가설에 방향이 없기 때문입니다. 사슬은 앞에서부터 당겨야 풀립니다. 세 문장이 한 줄로 읽히면 그때 자료를 모으러 나가면 됩니다.