설문 문항, 고쳐 쓰기 전과 후

설문은 만들기 쉬워 보여서 가장 대충 만들어지는 도구입니다. 그런데 문항이 잘못되면 아무리 많은 사람에게 돌려도 그 데이터로는 아무 말도 할 수 없습니다. 응답자가 질문을 각자 다르게 이해했다면, 모인 숫자는 서로 다른 것을 잰 값을 평균 낸 것이기 때문입니다.

여기서는 청소년 연구에서 반복해서 나오는 문제 문항을 고치기 전 문장과 고친 뒤 문장으로 보여드립니다. 설문을 어느 단계에서 어떻게 배치하는지는 4단계: 데이터 수집에 있습니다.

1. 한 문항에서 두 가지를 묻는다

가장 흔하고 가장 치명적인 실수입니다.

• 고치기 전: "스마트폰 사용이 수면과 성적에 영향을 준다고 생각하십니까?"
• 문제: 수면에는 그렇다고 생각하고 성적에는 아니라고 생각하는 사람은 무엇을 골라야 할까요. 답을 골라도 연구자는 그 사람이 무엇에 동의했는지 알 수 없습니다.
• 고친 뒤: 두 문항으로 나눕니다. "스마트폰 사용이 내 수면 시간을 줄인다고 생각한다" / "스마트폰 사용이 내 성적에 영향을 준다고 생각한다"

문장에 "그리고", "와/과", "또는"이 들어 있으면 일단 의심하세요.

2. 답을 유도한다

질문 안에 이미 연구자의 결론이 들어 있는 경우입니다.

• 고치기 전: "지나친 스마트폰 사용이 학업에 방해가 된다고 생각하십니까?"
• 문제: "지나친"과 "방해"가 이미 답을 정해두었습니다. 동의하지 않기가 어색해집니다.
• 고친 뒤: "스마트폰 사용은 내 학업에 (1) 도움이 된다 (2) 영향이 없다 (3) 방해가 된다"

중립적으로 쓰는 요령은 간단합니다. 반대 방향의 답도 자연스럽게 고를 수 있는 문장인지 소리 내어 읽어보면 됩니다.

3. 빈도를 애매한 말로 묻는다

• 고치기 전: "평소에 운동을 자주 하십니까?"
• 문제: 누군가에게 "자주"는 주 5회이고 누군가에게는 주 1회입니다. 같은 사람도 기분에 따라 다르게 답합니다.
• 고친 뒤: "최근 2주 동안 30분 이상 운동을 한 날은 며칠입니까? (0~14일)"

기간을 정하고, 기준을 정하고, 숫자로 받으면 세 가지 문제가 한꺼번에 해결됩니다. "자주", "가끔", "종종", "많이"는 설문 문항에서 되도록 쓰지 않는 편이 좋습니다.

4. 기억할 수 없는 것을 묻는다

• 고치기 전: "작년 한 해 동안 도서관을 몇 번 이용하셨습니까?"
• 문제: 정확히 기억하는 사람은 거의 없습니다. 결국 짐작해서 적고, 그 짐작에는 "그 정도는 갔어야 할 것 같다"는 마음이 섞입니다.
• 고친 뒤: "지난 한 달 동안 도서관을 이용한 횟수는 몇 번입니까?"

회상 기간이 길수록 답은 부정확해집니다. 대개 2주에서 한 달이 적당합니다.

5. 척도의 칸 수와 이름이 제각각이다

리커트 척도(전혀 아니다 ~ 매우 그렇다)를 쓸 때 자주 어긋나는 부분입니다.

5점 척도라면 이렇게 씁니다. 전혀 그렇지 않다 · 그렇지 않다 · 보통이다 · 그렇다 · 매우 그렇다.

6. 부정문으로 물어 헷갈리게 만든다

• 고치기 전: "나는 수업 중에 집중하지 못하는 편이 아니다"
• 문제: "아니다"에 "그렇지 않다"라고 답하면 결국 무슨 뜻인지 응답자도 연구자도 헷갈립니다.
• 고친 뒤: "나는 수업 중에 집중을 잘 하는 편이다"

다만 모든 문항을 같은 방향으로만 쓰면, 내용을 읽지 않고 한 줄로 쭉 체크하는 응답이 생깁니다. 이를 막으려면 역문항을 몇 개 섞되, 부정문 대신 뜻이 반대인 문장을 쓰세요. "나는 수업 시간이 길게 느껴진다"처럼요. 분석할 때 역문항은 점수를 뒤집어 계산해야 한다는 점을 잊지 마세요.

7. 선택지가 겹치거나 빠져 있다

• 고치기 전: 하루 공부 시간 — (1) 0~1시간 (2) 1~2시간 (3) 2~3시간
• 문제: 정확히 1시간인 사람은 1번인지 2번인지 알 수 없고, 3시간 넘는 사람은 고를 것이 없습니다.
• 고친 뒤: (1) 1시간 미만 (2) 1시간 이상 2시간 미만 (3) 2시간 이상 3시간 미만 (4) 3시간 이상

선택지는 겹치지 않고(상호배타), 모든 경우를 덮어야(포괄) 합니다. 마지막에 "해당 없음"이나 "기타"를 두는 것도 방법입니다.

8. 답하기 곤란한 것을 그냥 묻는다

성적, 가정 형편, 건강 상태처럼 민감한 항목은 솔직하게 답하지 않거나 아예 설문을 중단하게 만듭니다.

• 정말 필요한 항목인지 먼저 따져보세요. 분석에 안 쓸 항목이면 묻지 않는 것이 최선입니다.
• 꼭 필요하면 범위로 묻고(정확한 등급 대신 구간), 무기명임을 명시하고, 건너뛸 수 있게 합니다.
• 미성년자에게 민감한 내용을 묻는다면 지도교사와 반드시 상의해야 합니다. 판단 기준은 연구 윤리에 정리했습니다.

9. 전문 용어를 그대로 쓴다

• 고치기 전: "귀하의 수면의 질(sleep quality)에 대한 주관적 인식은 어떠합니까?"
• 문제: 응답자가 연구자의 개념 정의를 알 수 없습니다.
• 고친 뒤: "지난 2주 동안 아침에 일어났을 때 얼마나 개운했습니까?"

설문 문항은 연구자가 아니라 응답자의 언어로 써야 합니다. 개념 정의는 보고서의 변수 정의에 적으면 됩니다.

돌리기 전에 반드시 하는 두 가지

소리 내어 읽기. 문장을 소리 내어 읽으면 이중 질문과 어색한 부정문이 대부분 잡힙니다. 5분이면 끝나는데 효과가 가장 큽니다.

5명에게 미리 돌려보기. 정식 응답자가 아닌 친구 5명에게 먼저 풀게 하고, 각 문항에서 "이건 무슨 뜻이라고 생각했어?"를 물어보세요. 연구자가 의도한 뜻과 다르게 이해한 문항이 반드시 나옵니다. 이 과정을 파일럿 테스트라고 하고, 여기서 고친 문항 하나가 나중에 데이터 100개를 살립니다.

마지막 점검표

• 한 문항에서 한 가지만 묻고 있는가
• 반대 방향의 답도 편하게 고를 수 있는가
• "자주·가끔" 대신 기간과 숫자로 물었는가
• 척도의 칸 수와 이름이 설문 전체에서 같은가
• 선택지가 겹치지 않고 모든 경우를 덮는가
• 안 쓸 개인정보를 묻고 있지는 않은가
• 5명에게 미리 돌려봤는가

이 목록을 통과했다면 문항 자체는 준비된 것입니다. 몇 명에게 돌릴지, 어떻게 모을지는 4단계: 데이터 수집에서 이어집니다.