표본이 부족할 때 할 수 있는 것과 없는 것

설문지를 돌렸는데 25장이 돌아왔습니다. 다른 반은 담임 선생님이 안 된다고 했고, 온라인으로 뿌린 링크는 아는 사람 몇 명만 눌렀습니다. 실험이라면 사정이 더 나쁩니다. 한 회차에 40분씩 걸리는 과제를 점심시간마다 돌려서 2주 만에 겨우 16명을 채웠습니다. 여기서 대부분의 학생이 두 갈래로 갑니다. 하나는 "표본이 적어서 의미가 없다"며 연구를 접는 것이고, 다른 하나는 25명 데이터로 "고등학생은 ~하다"는 결론을 써버리는 것입니다.

둘 다 틀렸습니다. 적은 표본은 연구를 못 하게 만드는 조건이 아니라 결론의 범위를 좁히는 조건입니다. 문제는 그 범위가 어디까지인지 아무도 알려주지 않는다는 것입니다. 몇 명이면 되는지에 대한 대략의 숫자는 자주 묻는 질문의 설문 인원 항목에 있으니 그건 거기서 확인하시고, 이 글은 그다음을 다룹니다 — 이미 인원이 적게 확정된 상태에서 무엇을 말할 수 있고, 무엇을 하면 안 되고, 설계를 어떻게 바꾸고, 보고서에 어떤 문장을 쓰는가.

표본이 작다는 것은 무엇이 작다는 뜻인가

인원이 적으면 "정확도가 떨어진다"고 흔히 말하는데, 더 정확히는 차이를 알아볼 수 있는 눈이 나빠진다는 뜻입니다. 이 눈의 좋고 나쁨을 통계에서는 검정력이라고 부릅니다.

비유하면 이렇습니다. 어두운 방에서 손전등으로 물건을 찾는다고 해봅시다. 표본 수는 손전등의 밝기이고, 찾으려는 차이의 크기는 물건의 크기입니다. 밝기가 약해도 방 한가운데 놓인 책상은 보입니다. 하지만 바닥에 떨어진 동전은 안 보입니다. 여기서 중요한 것은 동전이 없어서 안 보인 것이 아니라, 있어도 이 밝기로는 안 보였다는 점입니다. 손전등을 껐다 켰다 하며 "동전은 없다"고 결론 내리면 안 됩니다.

검정력이 낮은 연구가 위험한 진짜 이유가 여기 있습니다. 차이를 못 잡는 것 자체는 정직하게 보고하면 됩니다. 위험한 것은 "차이가 없었다"로 읽어버리는 것입니다. 25명으로 유의한 차이가 안 나왔다는 결과는 "차이가 없다"의 증거가 아니라 "이 밝기로는 판단을 보류한다"는 뜻입니다.

한 가지 덜 알려진 함정도 있습니다. 표본이 작은데도 우연히 유의한 결과가 나왔다면, 그때 계산된 차이의 크기는 실제보다 부풀려져 있을 가능성이 높습니다. 어두운 방에서 겨우 보인 물건은 대개 유난히 크고 반짝이는 것뿐이기 때문입니다. 그래서 소표본에서 나온 큰 효과를 "역시 효과가 크다"로 읽으면 안 되고, "이 값은 불안정한 추정치"로 읽어야 합니다.

할 수 없는 것 — 세 가지

인원이 적을 때 하면 안 되는 일은 명확합니다. 이 셋은 데이터를 아무리 잘 다뤄도 되지 않습니다.

작은 차이를 검출하는 것. 두 조건의 점수 차이가 원래 크지 않을 것 같은 주제라면, 적은 인원으로는 애초에 잡히지 않습니다. 예를 들어 "아침에 물 한 잔을 마신 집단과 안 마신 집단의 집중력 차이"는 있다 해도 아주 작을 것이고, 25명으로는 확인할 방법이 없습니다. 이런 주제는 인원이 아니라 주제 자체를 바꾸는 편이 낫습니다. 효과가 클 것으로 기대되는 조건을 고르는 요령은 끝낼 수 있는 크기인가에서 다룹니다.

일반화. 우리 반 25명은 우리 반의 표본이지 고등학생의 표본이 아닙니다. 무작위로 뽑은 것이 아니라 닿을 수 있어서 모인 사람들이기 때문입니다. 같은 학교, 같은 학년, 비슷한 성적대, 비슷한 생활 패턴 — 이 공통점이 결과를 특정 방향으로 밀어냅니다. 그래서 결론 문장의 주어를 반드시 실제 대상으로 좁혀야 합니다. "고등학생은"이 아니라 "본 연구에 참여한 2학년 25명에서는"입니다.

하위집단 비교. 가장 자주 벌어지는 사고입니다. 25명을 남녀로 나누면 13명과 12명이 되고, 여기서 다시 성적 상·하로 나누면 각 칸이 6명 안팎이 됩니다. 이 정도 인원의 평균은 한 사람이 바뀌면 통째로 흔들립니다. 게다가 나눠서 여러 번 검정하면 그중 하나쯤은 우연히 유의하게 나옵니다 — 이 문제는 통계 결과를 정직하게 읽는 법의 다중 비교 부분에 정리돼 있습니다. 전체 25명으로 세운 질문 하나에만 답하세요.

할 수 있는 것 — 네 가지

없는 것만 세면 연구가 사라집니다. 적은 인원으로도 정당하게 할 수 있는 것이 있습니다.

큰 효과 검출. 차이가 원래 크다면 적은 인원으로도 잡힙니다. 조건을 극단으로 벌리면 효과는 커집니다. "소음 40dB vs 50dB"보다 "완전 무음 vs 대화 소리 수준"이 훨씬 잘 잡히고, 이건 인원을 늘리지 않고 설계만 바꿔 얻는 이득입니다.

기술통계. 검정을 못 해도 기술은 할 수 있습니다. 25명의 평균, 표준편차, 분포 모양, 최솟값과 최댓값, 그리고 그 분포를 그린 그래프는 그 자체로 결과입니다. "우리 학교 2학년 25명의 하루 수면 시간은 평균 6.2시간(SD 1.1)이었고, 5시간 미만이 7명이었다" — 이 문장은 인원이 25명이어도 정확합니다.

사례 서술. 값이 유난히 튄 참여자, 예상과 반대로 반응한 조건, 실험 중 관찰된 행동은 숫자로 검정할 수 없지만 기록하면 논의의 재료가 됩니다. 소표본 연구의 강점이 여기 있습니다 — 인원이 적으면 한 사람 한 사람을 자세히 볼 수 있습니다.

파일럿으로 자리매김하기. 지금 연구를 "본 연구"가 아니라 **"다음 연구를 설계하기 위한 예비 연구"**로 규정하는 방법입니다. 이렇게 쓰면 목적이 달라집니다. 예비 연구의 목적은 차이를 증명하는 것이 아니라 절차가 굴러가는지, 측정이 되는지, 효과가 대략 어느 정도인지를 보는 것입니다. 그리고 그 결과로 "본 연구에는 집단당 몇 명이 필요하다"는 추정을 내놓으면, 그것이 이 연구의 결론이 됩니다.

설계로 보완하기 — 인원을 늘리지 않는 세 가지 수

여기가 이 글의 핵심입니다. 인원은 그대로 두고 설계를 바꾸면 검정력이 올라갑니다.

반복 측정. 한 사람에게 한 번만 재지 말고 여러 번 재서 평균을 씁니다. 반응 시간처럼 재잴 때마다 값이 흔들리는 측정에서 특히 효과가 큽니다. 한 사람당 3회를 재서 평균을 쓰면 그 사람의 값 자체가 안정되고, 개인 안의 측정 오차가 줄어든 만큼 집단 간 차이가 선명해집니다. 다만 순서 효과(먼저 한 것이 나중에 영향)를 막기 위해 회차 순서를 사람마다 무작위로 섞어야 합니다.

짝지은 설계. 서로 다른 두 집단을 비교하는 대신, 같은 사람에게 두 조건을 다 겪게 합니다. 25명을 12명·13명으로 쪼개는 대신 25명 전원이 A조건과 B조건을 모두 수행하는 것입니다. 이렇게 하면 개인차가 비교에서 통째로 빠집니다. 원래 집중력이 좋은 사람은 A에서도 B에서도 좋을 테니, 두 값의 차이만 보면 개인차는 상쇄됩니다. 같은 인원으로 훨씬 작은 차이까지 잡을 수 있고, 통계도 대응표본 t-검정으로 바뀝니다. 조건 순서는 절반은 A→B, 절반은 B→A로 배치하세요.

효과 크기를 함께 보고하기. p값 하나만 적으면 소표본 연구는 거의 항상 "유의하지 않음"으로 끝납니다. 평균 차이와 효과 크기를 같이 적으면 "차이의 방향과 크기는 이만큼이었으나 이 인원으로는 통계적 판단이 어렵다"는 훨씬 정확한 보고가 됩니다. 효과 크기가 무엇이고 어느 정도면 큰 것인지는 통계 결과를 정직하게 읽는 법의 "크기를 함께 말해야 한다"에 정리돼 있으니 그대로 따르시고, 실제 계산은 위 도구 간이 통계 계산기에 값을 넣으면 t·p와 함께 나옵니다.

세 가지 중 짝지은 설계가 가장 이득이 큽니다. 데이터를 모으기 전이라면 이것부터 검토하세요. 이미 모은 뒤라면 반복 측정과 효과 크기 보고만 남습니다.

보고서에 어떻게 쓰나 — 그대로 쓸 수 있는 세 문장

한계 절에서 표본을 다룰 때 "표본이 적어 일반화에 한계가 있다" 한 줄로 끝내는 경우가 많습니다. 그 문장은 아무 정보도 주지 않아 심사자가 직접 더 센 지적을 채워 넣게 만듭니다. 한계는 무엇이 한계인지 · 그것이 결과에 어떤 영향을 주는지 · 그래서 결론을 어디까지로 제한하는지 세 부분으로 씁니다(이 구조는 연구의 한계를 쓰는 법에서 더 자세히 다룹니다). 아래 세 문장은 상황에 맞는 것을 골라 숫자만 바꿔 쓰면 됩니다.

본 연구의 참여자는 연구자가 접근 가능한 단일 학교 2학년 25명으로, 무작위 표집이 아니다. 따라서 결과는 해당 집단의 경향으로만 해석해야 하며 동일 연령대 전체로 일반화할 수 없다.

집단당 12~13명이라는 인원은 중간 크기 이하의 차이를 검출하기에 충분하지 않다. 본 연구에서 통계적으로 유의한 차이가 나타나지 않은 것은 차이가 없음을 확인한 결과가 아니라, 이 표본 크기로는 판단을 유보해야 한다는 의미로 읽어야 한다.

표본 크기의 제약으로 성별·학년별 하위집단 분석은 수행하지 않았다. 각 하위집단의 인원이 10명 미만이 되어 추정치가 불안정해지기 때문이며, 이 비교는 표본을 확대한 후속 연구의 과제로 남긴다.

세 번째 문장의 형태를 눈여겨보세요. 못 한 것을 숨기지 않고, 안 한 이유를 밝히고, 다음으로 넘긴다. 이 구조로 쓰면 한계가 약점이 아니라 판단력의 증거가 됩니다.

"몇 명이면 되나"에 답하는 법

마지막으로 가장 많이 받는 질문입니다. 이 질문에는 그 자체로는 답할 수 없고, 반드시 두 가지를 먼저 정해야 합니다.

1. 몇 개 집단을 비교하는가 — 두 집단인지, 같은 사람의 전후인지, 세 조건인지.
2. 어느 정도 차이를 잡고 싶은가 — 선행연구에 비슷한 실험이 있으면 거기 나온 평균 차이를 쓰고, 없으면 "이 정도 차이가 나야 의미 있다"고 스스로 정한 값을 씁니다.

이 둘을 정한 뒤 위 도구 표본 크기 계산기에 넣으면 필요한 인원이 나옵니다. 그리고 여기서 답이 두 갈래로 갈립니다.

• 나온 숫자를 채울 수 있다면 — 그 숫자를 목표로 잡고, 왜 그 숫자인지를 방법 절에 한 문장으로 적습니다. "선행연구에서 보고된 평균 차이를 기준으로 집단당 30명이 필요한 것으로 산출하여 이를 목표로 하였다."
• 채울 수 없다면 — 방향을 뒤집습니다. 계산기에 실제로 닿을 수 있는 인원을 넣고, 그 인원으로 검출 가능한 최소 차이가 얼마인지를 봅니다. 그 값보다 큰 차이가 기대되는 조건으로 설계를 조정하거나(조건을 극단으로), 앞 절의 짝지은 설계로 바꾸거나, 이 연구를 예비 연구로 규정합니다.

어느 쪽이든 숫자를 정한 근거가 보고서에 남는다는 점이 같습니다. 심사에서 문제가 되는 것은 인원이 적다는 사실이 아니라, 그 인원을 왜 그렇게 정했는지 아무도 설명하지 못하는 상태입니다. 25명이어도 "닿을 수 있는 인원이 25명이었고, 이 인원으로 검출 가능한 차이의 크기를 계산해 조건을 이렇게 설계했다"고 쓸 수 있다면 그 연구는 방어됩니다.