대조군 설계에서 학생들이 가장 많이 틀리는 지점

실험을 다 끝내고 결과를 발표하는 자리에서 가장 자주 나오는 질문은 "그래서 비교한 건 뭔가요"입니다. 대부분의 학생은 대조군을 만들어 뒀다고 답합니다. 물을 안 준 화분, 음악을 안 들려준 조, 아무 처치도 안 한 반이 있었다는 것입니다. 그런데 다시 물어보면 그 화분은 창가에 있었고, 그 조는 다른 날에 시험을 봤고, 그 반은 원래 성적이 더 높았습니다. 대조군은 있었지만 비교가 되지 않는 대조군이었습니다.

대조군은 실험 설계에서 유일하게 "안 해도 결과는 나오는" 부분입니다. 그래서 가장 자주 대충 만들어집니다. 이 글은 실제 청소년 보고서에서 반복해서 나오는 다섯 가지 대조군 오류를 다루고, 마지막에 같은 재료로 다시 설계한 전후 표를 놓습니다. 질문·가설·검증 세 문장이 아직 서로 어긋나 있다면 연구질문에서 검증 방법까지 연결이 끊기는 지점을 먼저 통과시키고 오세요. 대조군은 그 세 문장 중 검증 문장의 절반을 차지합니다.

대조군은 "없음"이 아니라 "그것만 빼고 같음"이다

대조군의 정의를 "아무것도 하지 않은 집단"으로 외우면 설계가 거의 항상 틀어집니다. 정확히는 내가 확인하려는 처치 하나만 빼고 나머지가 실험군과 같은 집단입니다. 이 차이는 말장난이 아니라 실제 작업의 차이입니다. '아무것도 안 함'을 목표로 하면 대조군을 방치하게 되고, '그것만 빼고 같음'을 목표로 하면 대조군에도 실험군과 똑같은 손이 갑니다.

식물에 비료액을 주는 실험이라면, 대조군에는 아무것도 안 주는 것이 아니라 비료만 뺀 같은 양의 물을 같은 시각에 줍니다. 사람에게 카페인 음료를 주는 실험이라면, 대조군에는 음료를 안 주는 것이 아니라 맛과 온도가 비슷한 무카페인 음료를 같은 컵에 같은 양으로 줍니다. 프로그램을 3주간 시행하는 연구라면, 대조군도 3주간 같은 시간만큼 다른 활동을 합니다.

무엇을 같게 할지는 결국 통제변수 목록입니다. 독립변수·종속변수·통제변수를 어떻게 나눠 적는지는 3단계: 방법론 설계의 '변수 정의' 절에 표로 정리되어 있으니 여기서 되풀이하지 않겠습니다. 대조군 설계에서 할 일은 그 표의 통제변수 칸을 대조군 쪽 열에도 똑같이 채워지는지 확인하는 것입니다. 변수 정의표 만들기로 표를 만들 때 실험군 조건만 적고 넘어가는 경우가 많은데, 대조군에 대해 같은 칸을 못 채우면 그 칸이 곧 다음 절의 오류가 됩니다.

오류 1 — 대조군이 처치 외에 다른 것도 다르다

가장 많고, 결과를 통째로 못 쓰게 만드는 오류입니다.

백색소음 조건은 3반 교실에서 5교시에, 조용한 조건은 1반 교실에서 1교시에 시행했다

이 설계에서 점수 차이가 나와도 그것이 소음 때문인지, 교시 때문인지, 반 때문인지 구분할 방법이 없습니다. 처치와 함께 움직여 버린 다른 요인을 교란요인이라고 부르는데, 데이터를 다 모은 뒤에는 통계로 떼어낼 수 없습니다. 설계 단계에서만 막을 수 있습니다.

학생 실험에서 실제로 자주 섞이는 것들은 정해져 있습니다. 위치(창가/안쪽, 위 칸/아래 칸), 시각(오전/오후, 1교시/7교시), 사람(측정자가 다름, 반이 다름), 기기(저울·스톱워치·조명이 다름), 순서(항상 실험군을 먼저 측정)입니다. 다섯 가지를 목록으로 놓고 "우리 실험에서 이것이 두 집단 사이에 다른가"를 하나씩 답하면 대부분 걸립니다.

막는 방법은 둘입니다. 같게 만들 수 있으면 같게 만들고(같은 교실, 같은 시각, 같은 기기), 같게 만들 수 없으면 두 집단에 골고루 흩어지게 만듭니다. 화분을 배치할 때 실험군을 왼쪽, 대조군을 오른쪽에 모아 두지 않고 번갈아 놓는 것, 측정 순서를 매일 뒤집는 것이 그것입니다.

오류 2 — 대조군이 없다, 전후 비교만 있다

두 번째 오류는 대조군 자리에 '처치 전의 나'를 세우는 것입니다.

학습법을 2주간 적용한 뒤, 적용 전 모의고사 점수와 적용 후 점수를 비교했다

점수는 올랐을 것입니다. 그런데 2주 동안 학생들은 학습법 말고도 수업을 듣고, 시험에 익숙해지고, 키가 자랐습니다. 같은 검사를 두 번 보면 두 번째가 잘 나오는 연습 효과도 있습니다. 전후 비교만 있는 설계는 이 모든 것을 처치의 효과로 합산해 버립니다. 식물 실험도 마찬가지입니다. 비료를 준 화분이 2주 뒤 자란 것은 비료의 증거가 아닙니다. 상추는 비료가 없어도 자랍니다.

전후 비교 자체가 나쁜 것은 아닙니다. 전후 비교에 대조군을 더하면 오히려 가장 강한 설계 중 하나가 됩니다. 두 집단 모두 전과 후를 재고, 두 집단의 '변화량'을 비교하는 것입니다. 이러면 원래 실력 차이가 있어도 상쇄됩니다. 대조군을 도저히 둘 수 없는 사정이라면(학급 전체가 프로그램을 받아야 하는 경우 등) 설계를 바꾸는 대신 결론의 크기를 줄여야 합니다. "효과가 있었다"가 아니라 "2주간 점수가 상승했으며, 대조군이 없어 이 변화가 프로그램 때문인지는 확인할 수 없었다"로 씁니다.

오류 3 — 대조군이 하나인데 처치 조건이 넷

세 번째 오류는 욕심에서 나옵니다. 조건을 여러 개 넣고 싶은데 대조군은 하나만 두는 것입니다.

LED 색 4종(적·청·녹·백)으로 키운 상추를 자연광 화분 1개와 비교했다

문제는 두 가지입니다. 첫째, 자연광은 색이 아니라 광원 자체가 다릅니다. 색의 효과를 보려면 대조군도 LED여야 하고, 그중 기준이 될 색 하나(보통 백색)를 대조 조건으로 삼아야 합니다. 처치와 대조는 같은 축 위에 있어야 비교가 됩니다. 둘째, 조건이 늘어나면 비교의 수도 늘어납니다. 네 조건이면 짝지어 비교할 쌍이 여섯 개가 되고, 여섯 번 비교하면 그중 하나쯤 우연히 차이가 나 보이는 일이 생깁니다.

해결은 두 단계입니다. 대조 조건을 같은 축 위의 한 조건으로 정하고, 조건 수를 줄일 수 있으면 줄입니다. 학생 연구에서 조건 셋이면 충분한 경우가 대부분입니다. 조건을 유지해야 한다면 먼저 전체 차이를 한 번에 보고(분산분석), 차이가 있을 때만 어느 쌍인지 따로 보는 순서를 계획에 미리 적어 둡니다. 이 순서를 데이터 본 뒤에 정하면 유리한 쌍만 골라 보고하게 됩니다.

오류 4 — 대조군 표본이 실험군보다 훨씬 작다

네 번째 오류는 눈에 잘 안 띕니다. 처치가 재미있으니 지원자를 실험군에 몰아넣고, 남은 사람으로 대조군을 채우는 경우입니다.

실험군 28명, 대조군 7명으로 비교했다

이 설계에서 결론의 정밀도는 큰 쪽이 아니라 작은 쪽에 끌려갑니다. 7명의 평균은 한두 명의 특이값에 크게 흔들리고, 전체 인원이 35명이어도 실제로 쓸 수 있는 힘은 두 집단이 각각 17~18명일 때보다 떨어집니다. 인원을 늘릴 수 없다면 배분을 반반에 가깝게 맞추는 것이 같은 비용으로 얻는 가장 큰 개선입니다.

배분보다 먼저 걸리는 것은 배정 방식입니다. 지원자를 실험군에, 나머지를 대조군에 넣으면 두 집단은 처치 말고도 '지원할 만큼 관심이 있었는가'에서 다릅니다. 오류 1이 인원 배정에서 되풀이되는 셈입니다. 명단에 번호를 붙여 랜덤 표본 추첨기로 뽑아 두 집단에 나누면 이 문제는 사라지고, 뽑은 결과를 그대로 캡처해 두면 방법 절에 "무작위 배정하였다"라고 쓸 근거도 남습니다.

표본이 애초에 작아서 반반으로 나눠도 각 집단이 열 명 남짓이라면, 인원을 늘리려 애쓰기 전에 설계를 바꾸는 편이 낫습니다. 같은 사람이 두 조건을 모두 수행하는 반복측정 설계는 인원을 늘리지 않고도 비교의 힘을 크게 올립니다. 작은 표본으로 무엇을 말할 수 있고 무엇은 말하면 안 되는지는 표본이 부족할 때 할 수 있는 것과 없는 것에 따로 정리해 두었습니다.

오류 5 — 사람이 대상인데 자기가 무엇을 받는지 안다

다섯 번째 오류는 사람을 대상으로 할 때만 생깁니다. 참가자가 자신이 실험군인지 대조군인지 알면, 처치와 무관하게 행동이 달라집니다. 관찰당한다는 사실만으로 더 열심히 하고, 좋은 것을 받았다고 믿으면 실제로 조금 나아집니다. 측정하는 사람도 마찬가지입니다. 누가 실험군인지 알면서 점수를 매기면 애매한 답을 실험군 쪽에 유리하게 판정하게 됩니다. 본인은 공정하다고 느끼는 채로 그렇게 됩니다.

학생 연구에서 쓸 수 있는 가림 방법은 소박하지만 효과가 있습니다. 대조군에도 겉모습이 같은 것을 주는 것(같은 컵·같은 색 음료·같은 형식의 유인물), 조건 이름을 A·B로만 표기하는 것, 채점자에게 조건을 알리지 않고 번호만 붙은 답안을 채점하게 하는 것, 채점 기준을 데이터 수집 전에 확정해 두는 것입니다. 셋 중 하나만 해도 판정 편향은 크게 줄어듭니다.

주의할 점이 하나 있습니다. 조건을 가린다는 것과 연구 참여 사실을 숨기는 것은 완전히 다릅니다. 참가자는 자신이 연구에 참여한다는 것, 무엇을 하게 되는지, 언제든 그만둘 수 있다는 것을 미리 알고 동의해야 합니다. 가리는 것은 '두 조건 중 어느 쪽인가'뿐입니다. 동의 절차와 미성년자 보호자 동의를 어떻게 밟는지는 연구 윤리: 어디서부터가 문제인가에 있으니 데이터를 받기 전에 확인하세요.

고친 설계 다섯 개 나란히

앞의 다섯 오류를 같은 재료로 다시 설계하면 아래와 같습니다. 오른쪽 열에서 바뀐 것은 대부분 새 장비나 더 많은 인원이 아니라 배치와 순서입니다.

다섯 줄을 관통하는 원칙은 하나입니다. 다르게 만들 것은 딱 하나, 나머지는 전부 같게. 설계를 다 짠 뒤 마지막으로 한 문장을 적어보세요. "이 실험에서 두 집단이 다른 점은 ○○ 하나다." 빈칸에 두 가지 이상이 들어간다면 아직 대조군이 아닙니다. 이 문장이 하나로 써지면, 결과가 어느 쪽으로 나오든 그 차이를 무엇 덕분이라고 말할 자격이 생깁니다.