통계 결과를 정직하게 읽는 법

통계는 결론을 대신 내려주는 도구가 아닙니다. "이 정도 차이가 우연으로 생길 만한가"를 따져주는 계산일 뿐입니다. 이 구분을 놓치면 계산은 맞는데 문장이 틀린 보고서가 나옵니다. 그리고 심사에서 가장 먼저 지적받는 부분이 바로 그 문장입니다.

여기서는 계산 방법보다 해석과 서술을 다룹니다. 계산 자체는 5단계: 논문화의 간이 통계 계산기로 확인할 수 있습니다.

무엇을 쓸지는 질문의 형태로 정해진다

검정을 고르는 기준은 데이터가 아니라 질문입니다.

가장 자주 나오는 착오는 상관과 t-검정을 바꿔 쓰는 것입니다. "게임 시간이 많은 학생과 적은 학생의 성적 차이"는 두 집단 비교(t-검정)이고, "게임 시간과 성적의 관계"는 상관분석입니다. 같은 데이터라도 질문이 다르면 다른 방법을 씁니다.

또 하나. 같은 사람을 두 번 측정했다면(사전·사후) 반드시 대응표본이어야 합니다. 독립표본으로 계산하면 개인차가 오차로 들어가 실제 효과를 놓칩니다.

p값이 말해주는 것과 말해주지 않는 것

p값은 이렇게 읽습니다. "만약 실제로는 아무 차이가 없다면, 이번에 얻은 것만큼의 차이가 우연히 나올 확률." 그래서 p가 작으면 "우연이라고 보기엔 좀 이상하다"가 되는 것입니다.

여기서 자주 어긋나는 다섯 가지를 짚겠습니다.

오해 1. p가 작으면 차이가 크다

아닙니다. p는 차이의 크기가 아니라 우연 가능성을 말합니다. 표본이 아주 크면 아주 작은 차이도 p가 작게 나옵니다. 반대로 표본이 작으면 큰 차이도 p가 크게 나옵니다. 크기를 말하려면 평균 차이나 효과크기를 함께 봐야 합니다.

오해 2. p ≥ .05면 차이가 없다는 뜻이다

아닙니다. "차이가 없음을 확인했다"가 아니라 "이 데이터로는 우연과 구분하기 어렵다"입니다. 표본 30명으로 못 잡은 차이가 300명이면 잡힐 수 있습니다. 그래서 보고서에는 "차이가 없었다"가 아니라 **"통계적으로 유의한 차이는 나타나지 않았다"**라고 씁니다.

오해 3. p = .04는 성공, p = .06은 실패다

.05는 관습적인 선일 뿐 자연법칙이 아닙니다. .04와 .06 사이에 본질적인 차이는 없습니다. 둘 다 "애매하다"에 가깝습니다. 그래서 p를 크기와 함께 보고, 값을 그대로 적습니다.

오해 4. p값은 가설이 맞을 확률이다

아닙니다. p는 "가설이 맞을 확률"이 아니라 "차이가 없다고 가정했을 때 이런 데이터가 나올 확률"입니다. 방향이 반대입니다. 이건 통계학에서 가장 흔한 오해로 알려져 있고, 대학원생도 자주 틀립니다.

오해 5. 여러 번 검정해도 상관없다

문항 20개를 각각 검정하면, 실제로 아무 차이가 없어도 그중 하나쯤은 p < .05가 나옵니다(20번 중 1번 꼴). 여러 비교를 했다면 몇 개를 했는지 밝히고, 그중 유의한 것만 골라 보고하지 않아야 합니다.

크기를 함께 말해야 한다

"유의했다"만 쓰면 절반만 말한 것입니다. 얼마나 차이 나는지를 같이 적어야 읽는 사람이 판단할 수 있습니다.

• 평균 차이: 가장 이해하기 쉽습니다. "회상 점수가 평균 2.4개 높았다."
• 효과크기(Cohen's d): 차이를 표준편차 단위로 바꾼 값입니다. 대략 0.2면 작음, 0.5면 중간, 0.8이면 큼으로 봅니다.
• R²: 회귀에서 "이 변수가 결과의 변동을 몇 % 설명하는가"입니다. 0.3이면 30%입니다.
• r: 상관의 강도입니다. 부호는 방향이고, 절댓값이 클수록 강합니다.

효과크기가 크더라도 표본이 작으면 그 추정치 자체가 불안정합니다. 두 가지를 같이 보고, 둘 다 보고서에 적으세요.

상관은 인과가 아니다 — 그런데 어떻게 쓰라는 말인가

"상관은 인과가 아니다"는 알지만 막상 논의를 쓸 때 어떻게 표현해야 할지 막힙니다. 문장으로 정리하면 이렇습니다.

• 쓸 수 있는 표현: "~와 ~는 정적 상관을 보였다", "~한 학생일수록 ~가 높은 경향이 나타났다", "~와 관련이 있는 것으로 보인다"
• 피해야 할 표현: "~가 ~를 높였다", "~때문에 ~가 감소했다", "~의 효과가 확인되었다"

인과를 말하려면 조작(무엇을 바꿨는가)과 통제(다른 것을 같게 뒀는가)가 있어야 합니다. 설문으로 얻은 상관에는 둘 다 없습니다. 대신 논의에서 **"제3의 변수 가능성"**을 직접 언급하면 오히려 좋은 평가를 받습니다. "아침을 먹는 학생의 성적이 높았지만, 규칙적인 생활습관이 두 변수 모두에 영향을 주었을 가능성이 있다"처럼요.

결과를 문장으로 옮기기

숫자를 그대로 나열하지 말고 정해진 형식으로 씁니다.

t-검정 예시

백색소음 집단(M = 12.4, SD = 3.1, n = 16)과 조용한 환경 집단(M = 15.1, SD = 2.8, n = 16)의 단어 회상 점수를 비교한 결과, 두 집단의 차이는 통계적으로 유의했다, t(30) = 2.71, p = .011, d = 0.91.

상관 예시

하루 수면 시간과 주관적 집중도는 정적 상관을 보였다, r = .42, p = .003. 다만 상관 분석이므로 인과관계로 해석할 수 없다.

유의하지 않았을 때 예시

두 집단의 평균 차이는 통계적으로 유의하지 않았다, t(28) = 1.12, p = .272. 이는 차이가 없음을 확인한 것이 아니라, 본 연구의 표본 크기(집단당 15명)로는 우연과 구분하기 어려웠음을 뜻한다.

세 번째 예시처럼 쓰면, 유의하지 않은 결과도 정직한 보고가 됩니다. 감점 요인이 아닙니다.

그래프에서 하지 말아야 할 것

• y축을 0에서 시작하지 않기: 막대그래프에서 축을 잘라내면 작은 차이가 커 보입니다. 막대는 0에서 시작하는 것이 원칙입니다.
• 오차를 안 그리기: 평균만 있는 막대는 정보가 절반입니다. 가능하면 표준편차나 표준오차를 함께 표시하세요.
• 3D·기울인 원그래프: 각도가 왜곡돼 비율을 잘못 읽게 만듭니다.
• 점 몇 개로 추세선 긋기: 데이터가 5개인데 직선을 그으면 없는 경향을 만들어냅니다.

마지막 점검

• 질문의 형태에 맞는 검정을 골랐는가 (두 집단 비교인가, 관계인가)
• 같은 사람을 두 번 잰 것이라면 대응표본을 썼는가
• p와 함께 크기(평균 차이·d·R²)를 보고했는가
• "차이가 없다" 대신 "유의하지 않았다"로 썼는가
• 상관 결과를 인과로 서술하지 않았는가
• 몇 번의 비교를 했는지 밝혔는가

여기까지 확인했다면 결과 서술은 준비된 것입니다. 결과와 논의를 어떻게 나누는지는 5단계: 논문화에 이어집니다.