설문에 답한 사람들은 누구일까?

01

시간표 옆에 적힌 80%

서진은 동네 보드게임 모임의 다음 체험회 시간을 정리하고 있습니다. 이번 시즌에 등록한 회원은 120명입니다. 서진이 알고 싶은 것은 이 회원들이 평일 오전과 토요일 저녁 중 어느 시간을 더 선호하는지입니다. 실제 모임을 조사한 결과가 아니라, 설문을 읽기 위해 정한 가상 장면입니다.

서진은 온라인 알림 채널에 설문 링크를 올렸습니다. 현재 회원 중 이 채널에 들어 있는 사람은 60명이고, 나머지 60명은 들어 있지 않습니다. 링크는 다른 곳에 전달되지 않았으며, 응답은 회원 한 사람당 한 번만 받았다고 놓겠습니다. 화요일 오전에 열고 다음 날 오전에 닫았습니다.

응답한 20명 가운데 16명이 평일 오전을, 4명이 토요일 저녁을 골랐습니다. 서진은 16÷20=80%를 계산한 뒤 공지 초안에 “회원 대부분이 평일 오전을 원합니다”라고 씁니다. 응답 결과의 숫자는 맞습니다. 그런데 문장 속의 “회원”도 응답한 20명과 같은 범위일까요?

02

링크가 갈 수 있었던 곳을 따라가면

회원 명단에는 120명이 있지만, 링크가 올라간 채널 명단에는 그중 60명만 있습니다. 채널 밖의 60명에게는 이번 링크를 접할 경로가 없었습니다. 채널 안의 60명 가운데에서도 응답한 사람은 20명입니다. 나머지 40명이 글을 읽었는지, 못 봤는지, 답하지 않기로 했는지는 기록에 없습니다.

따라서 이 설문에서 확인한 것은 “답한 20명 중 16명이 평일 오전을 골랐다”는 사실입니다. 채널 밖의 60명과 채널 안에서 답하지 않은 40명을 합친 100명의 선호는 아직 모릅니다. 그들이 응답자와 같다고 채워 넣을 수도, 반대라고 채워 넣을 수도 없습니다.

채널에는 평일 오전 모임에 자주 오는 사람이 많을지도 모릅니다. 또는 시간과 상관없이 알림을 자주 확인하는 사람만 빨리 답했을 수도 있습니다. 지금 자료만으로 어느 설명이 맞는지 정할 수는 없습니다. 다만 응답자가 모이는 과정이 시간 선호와 관련되는지는 확인할 질문으로 남습니다.

03

몇 명인지와 어떻게 모였는지는 다른 질문

알아보고 싶은 전체를 모집단이라고 합니다. 이 장면의 모집단은 이번 시즌 회원 120명입니다. 조사를 위해 사람을 찾아가거나 선택할 때 바탕으로 삼는 명단이나 틀을 표본틀이라고 부릅니다. 여기서는 채널 회원 60명의 명단이 사실상 연락할 범위를 정했습니다. 실제 답을 준 집단은 그 안의 20명입니다.

일부의 응답을 전체에 옮겨 말하려면, 전체의 어떤 사람들이 포함되거나 빠지기 쉬웠는지 살펴봐야 합니다. 이런 점에서 표본의 대표성을 묻습니다. 처음부터 연락 경로 밖에 있던 사람의 문제와, 연락할 수 있는 범위에 있었지만 답하지 않은 사람의 문제는 구별해 볼 수 있습니다.

응답자와 응답하지 않은 사람 사이에 조사하려는 선호와 관련된 체계적인 차이가 있다면 전체를 추정하는 결과가 치우칠 수 있습니다. 그러나 응답이 적다는 사실만으로 치우침의 방향이나 크기까지 알 수는 없습니다. 이 예시는 무작위로 뽑은 조사가 아니므로, 80% 옆에 임의의 오차범위를 붙여 전체 추정치처럼 만들지도 않습니다.

04

더 많은 답을 받기 전에 남는 조건

같은 채널에서 답을 더 받으면 그 채널 안의 의견은 더 알 수 있습니다. 하지만 채널 밖의 60명에게 연락할 경로가 생기는 것은 아닙니다. 응답 수가 커지는 일과, 알아보고 싶은 전체에 닿는 일이 같은지는 따로 살펴볼 필요가 있습니다.

서진이 현재 회원 명단을 바탕으로 다른 연락 방법을 마련한다면, 기존에 빠졌던 사람도 참여할 기회가 생길 수 있습니다. 그렇다고 안내 방법을 늘렸다는 사실만으로 대표성이 완성되는 것은 아닙니다. 실제로 누구에게 연락이 닿았고 누가 응답했는지 계속 기록할 자리가 남습니다.

다시 물을 때에는 질문과 기간도 살펴볼 수 있습니다. 평일 오전과 토요일 저녁 중 선호하는 시간을 고르는 것과, 실제로 참석할 수 있는 시간을 묻는 것은 다릅니다. 질문을 바꿨다면 앞의 응답과 같은 질문에 답한 것처럼 섞어 세지 않아야 합니다. 선호한다고 답한 일도 참석을 약속한 일과 같지는 않습니다.

모임에 아직 가입하지 않은 사람의 의견까지 알고 싶은 경우라면 알아보고 싶은 전체부터 달라집니다. 이번 회원 120명의 명단만으로 그 새 범위까지 다룰 수는 없습니다. 누구의 뜻을 알고 싶은지 먼저 적어 두면, 80%라는 수를 어느 문장에 쓸지 조금 더 분명해집니다.

05

응답한 사람의 이름표를 붙여 두기

이 질문은 공방 수업 후기나 도서관 프로그램 설문을 읽을 때에도 옮겨 볼 수 있습니다. 누구에게 질문을 보냈는지, 응답할 방법과 시간은 어땠는지, 실제 답한 사람은 누구인지 차례로 봅니다. 글이 많이 모였다는 인상과 전체에 고르게 닿았다는 말은 구별할 수 있습니다.

응답 범위가 제한됐다고 이미 받은 의견을 버릴 필요는 없습니다. 그 20명이 알려 준 선호는 그대로 남습니다. 다만 전체 회원의 결론으로 넓히기 전에, 응답 집단과 조사 방법을 함께 적어 두면 다른 사람이 숫자의 범위를 읽을 수 있습니다.

서진은 공지 초안의 “회원 대부분”에 밑줄을 긋고 “이번 설문에 답한 20명 중 16명”으로 바꿉니다. 평일 오전이라는 후보는 지우지 않습니다. 그 옆에는 채널 밖의 회원에게 연락할 방법과 답할 기간을 적을 작은 칸을 만듭니다.

시간표에는 두 시간대가 나란히 남아 있습니다. 서진은 빈 칸 옆에 현재 회원 명단을 펼쳐 놓습니다. 이미 들은 답과 아직 듣지 못한 답 사이에, 다음 안내문을 쓸 자리가 조금 생겼습니다.