“잘 맞힌다”는 말만으로 충분할까?

01

표시가 붙은 카드 한 장

지우는 모임에서 쓸 카드 1,000장을 정리하고 있습니다. 뒷면에 작은 별무늬가 있는 카드는 따로 모을 예정입니다. 가상으로 정한 이 상자에는 별무늬 카드가 정확히 10장, 별무늬 없는 카드가 990장 있습니다. 카드의 실제 무늬는 확인표에 모두 기록돼 있습니다.

분류 장치를 시험한 기록에는 “전체 1,000장 중 900장을 맞혔다”고 적혀 있습니다. 맞힌다는 것은 별이 있으면 있다고, 없으면 없다고 구분했다는 뜻입니다. 지우는 90%라는 수를 보고, 장치가 표시한 카드라면 꽤 믿어도 되겠다고 생각합니다.

그때 표시된 카드들이 한 쟁반에 쌓입니다. 지우가 알고 싶은 것은 이제 달라졌습니다. “모든 카드 중 얼마나 맞혔나?”가 아니라 “이 쟁반의 카드 중 실제로 별이 있는 것은 얼마나 될까?”입니다. 같은 장치를 묻는 말인데, 세려는 카드의 묶음은 같을까요?

02

두 출발 묶음을 나누어 세면

시험 기록을 더 펼쳐 보니, 장치는 실제 별무늬 카드 10장 중 9장에 표시를 했습니다. 나머지 1장은 표시하지 않았습니다. 별무늬 없는 990장 중에서는 99장에 잘못 표시했고, 891장에는 표시하지 않았습니다. 이 네 수는 이번 설명을 위해 정한 가상 기록입니다.

장치가 맞힌 카드는 별을 찾아낸 9장과 별이 없다고 바르게 구분한 891장입니다. 9+891=900장이므로 전체 정확도는 900÷1,000=90%가 맞습니다. 그렇지만 표시된 쟁반에는 진짜 별 카드 9장과 잘못 표시된 99장이 함께 들어갑니다. 쟁반의 전체는 9+99=108장입니다.

따라서 이 기록에서 표시된 카드 중 실제 별 카드의 비율은 9÷108=1/12, 약 8.3%입니다. 90%와 약 8.3% 중 하나가 계산 실수인 것은 아닙니다. 앞의 수는 모든 1,000장을, 뒤의 수는 표시된 108장만을 바탕으로 계산했습니다. 분모가 가리키는 묶음부터 달랐던 셈입니다.

03

찾기 전에는 얼마나 흔했을까요?

어떤 집단에서 찾는 대상이 처음부터 얼마나 흔한지를 나타내는 비율을 기저율이라고 합니다. 이 상자에서 별무늬 카드의 기저율은 10÷1,000=1%입니다. 별 카드가 드물었기 때문에, 별이 없는 훨씬 큰 묶음에서 생긴 잘못된 표시도 쟁반에 많이 모일 수 있었습니다.

“실제 별 카드 중 표시된 비율”은 9÷10=90%입니다. “표시된 카드 중 실제 별 카드의 비율”은 9÷108입니다. 문장에 들어간 말은 비슷하지만 출발점이 뒤집혀 있습니다. 별이 있다는 조건에서 장치의 표시를 보는 것과, 장치의 표시라는 조건에서 별을 찾는 것은 서로 다른 질문입니다.

기저율만 알면 표시의 뜻을 모두 알 수 있다는 이야기도 아닙니다. 장치가 진짜 별을 얼마나 찾아내는지, 별이 없는데도 얼마나 자주 표시하는지 함께 필요합니다. 여기서는 두 출발 묶음과 각각의 표시 결과를 직접 세어, 표시 뒤에 모인 새 묶음을 다시 만들었습니다.

04

장치를 믿거나 버리기 전에

다른 상자에도 별 카드가 1%라고 바로 옮겨 적을 수는 없습니다. 행사 뒤에 남은 카드를 모은 상자와, 별 카드만 따로 섞어 놓은 상자는 구성이 다를 수 있습니다. 같은 표시 방식이라도 무엇을 대상으로 시험했는지부터 확인해야 합니다.

잘못 표시하는 수가 줄어들어도 결과는 달라집니다. 별이 없는 990장에서 생기는 표시가 99장보다 훨씬 적다면, 쟁반의 구성도 달라집니다. “90% 정확”이라는 한 수를 보는 대신, 어떤 대상을 놓쳤고 어떤 대상을 잘못 포함했는지 나누어 볼 이유가 있습니다.

장치를 어디에 쓰려는지도 남아 있습니다. 별 카드 후보를 좁혀 사람이 다시 살펴보려는 것과, 표시만 보고 최종 상자에 넣으려는 것은 다릅니다. 이번 기록에서 쟁반만 확인하면 표시된 별 카드 9장을 찾을 수 있지만, 표시하지 않은 쪽의 별 카드 1장은 놓치게 됩니다.

이 수들은 이 가상 시험의 결과를 설명합니다. 다음 카드에도 같은 결과가 보장된다는 뜻은 아닙니다. 카드 상태나 촬영 환경이 바뀌면 장치의 작동도 달라질 수 있습니다. 실제 기록의 수가 충분한지, 지금 정리하는 카드와 같은 조건인지도 별도로 살펴볼 일입니다.

05

다른 표시를 만났을 때도

도서 목록에서 “원하는 주제”라고 표시된 책을 고를 때도 비슷한 질문을 놓아 볼 수 있습니다. 목록 전체에 그 주제의 책이 얼마나 있는지, 관련 없는 책에도 표시가 붙는지에 따라 표시된 목록의 구성이 달라집니다. 여기서 카드의 약 8.3%를 책에 그대로 적용할 수는 없습니다.

어떤 비율을 보더라도 “무엇 중에서 센 수인가?”를 먼저 적어 보면 질문이 또렷해집니다. 전체에서 맞힌 비율인지, 찾는 대상 중 찾아낸 비율인지, 표시된 것 중 맞는 비율인지 구분하는 것입니다. 같은 말처럼 보였던 “잘 맞힌다”가 몇 개의 다른 설명으로 나뉩니다.

필요한 기록이 없다면 정확한 수까지 계산하지 못할 수도 있습니다. 그때는 근거 없이 하나의 확률을 정하기보다, 대상의 처음 비율과 잘못된 표시 기록을 더 알고 싶다고 말할 수 있습니다. 모르는 수를 찾는 것도, 지금의 확신을 어디까지 둘지 정하는 데 도움이 됩니다.

지우는 쟁반 옆 메모를 봅니다. “별 카드”라고 써 둔 글자 옆에 연필을 댔다가, 잠깐 멈춥니다. 모인 것은 별 카드가 아니라 장치가 표시한 카드입니다. 지우는 쟁반의 첫 장을 집어 뒷면을 돌립니다. 옆에는 확인표와 아직 정리하지 않은 카드들이 나란히 놓여 있습니다.