숫자가 적을 때는 숫자를 보여 주지 않는다

통계는 화면을 풍성하게 만듭니다. 답을 고른 뒤에 "다른 팬들은 이렇게 답했어요"가 붙으면, 혼자 푼 문제가 갑자기 여럿이 함께 푼 문제가 됩니다. 그래서 숫자를 붙이고 싶은 마음은 늘 있습니다. 문제는 숫자가 붙는 순간부터 그 숫자가 무언가를 주장하기 시작한다는 것입니다.

KBO 팬을 위한 독립 프로젝트 DUGOUT 9에서 숫자 두 개를 붙이려다 멈췄습니다. 하나는 오늘의 퀴즈 정답률이고, 하나는 직관 승률입니다. 둘 다 계산은 정확했습니다. 다만 특정 시점에는, 정확한 숫자가 거짓말을 하고 있었습니다.

참인 문장이 거짓말이 될 때

DUGOUT 9에는 매일 새로 만들어지는 퀴즈가 있고, 답을 확인할 때 다른 팬들의 정답률과 가장 많이 나온 오답을 함께 보여 줍니다. 표본이 충분하면 좋은 장치입니다. 내가 틀린 문제를 남들도 많이 틀렸다는 것을 알면 덜 억울하고, 남들이 다 틀린 문제를 맞히면 조금 뿌듯합니다.

그런데 문제가 막 열린 아침이나, 서비스가 아직 알려지지 않은 시기에는 푼 사람이 한두 명뿐입니다. 그러면 화면에는 "이 문제를 푼 팬 1명 중 100%가 맞혔어요"가 뜹니다. 계산은 맞습니다. 하지만 읽는 사람은 이 문장을 "이 문제는 쉽다"로 받아들입니다. 문장이 참인 범위와 문장이 읽히는 범위가 전혀 다릅니다.

같은 문제가 직관 기록에도 있었습니다. 야구장에서 본 경기를 기록하면 내 직관 승률이 나옵니다. 그런데 기록한 경기가 아직 끝나지 않았거나 승패가 가려진 경기가 하나도 없으면, 계산식은 0%를 돌려줍니다. 0%는 "아직 데이터가 없다"가 아니라 "이 팬이 가면 진다"로 읽힙니다. 팬 본인에 대한 사실처럼 보이는 숫자를, 아무 근거 없이 그 사람에게 붙이는 셈이었습니다.

이런 문제가 잘 잡히지 않는 이유는 흔한 의미의 오류가 하나도 없기 때문입니다. 계산식은 맞고, 테스트는 통과하고, 화면의 숫자는 데이터와 정확히 일치합니다. 어긋난 곳은 데이터와 숫자 사이가 아니라, 숫자와 그것을 본 사람이 내리는 결론 사이입니다. 계산을 검사하는 테스트는 그 틈에 닿지 않습니다.

빈칸을 감수한다

그래서 둘 다 아무것도 보여 주지 않기로 했습니다. 정답 분포는 표본이 10 미만이면 그리지 않습니다. 직관 승률은 승패가 가려진 경기가 없으면 0이 아니라 '—'로 표시합니다.

포기한 것이 있습니다. 초기의 화면은 비어 보입니다. 정답을 확인해도 분포가 나오지 않으니, 붙이려던 사회적 맥락이 가장 필요할 때 가장 없습니다. 기록을 막 시작한 팬의 프로필에도 숫자 대신 줄표가 하나 있을 뿐입니다. 풍성해 보이는 쪽을 택하는 것이 훨씬 쉬웠습니다.

그래도 빈칸이 낫다고 판단한 이유는 두 숫자가 망가뜨리는 것의 크기가 달랐기 때문입니다. 빈칸은 "아직 없다"는 사실을 정확하게 말합니다. 반면 표본 한 명짜리 100%와 경기 없는 0%는 정확한 것처럼 보이는 틀린 인상을 줍니다. 한 번 틀린 인상을 받은 사람은 표본이 충분해진 뒤의 숫자도 의심하게 됩니다. 빈 상태를 채우려고 만든 숫자는 정보가 아니라 착시입니다.

언제부터 참인지를 먼저 정한다

이 일에서 배운 순서는 이렇습니다. 통계를 붙이기 전에, 이 문장이 표본 몇부터 참인지를 먼저 정합니다. 그 아래에서는 숫자를 그리지 않습니다.

비율을 보여 줄 때는 분모가 얼마일 때부터 의미가 있는지 정한다.
분모가 0일 때 계산식이 돌려주는 값을 그대로 쓰지 않는다. 0과 '없음'은 다른 값이다.
그 기준 아래에서 화면이 무엇을 보여 줄지 — 빈칸, 줄표, 아무것도 없음 — 를 같이 설계한다.

10이라는 숫자 자체에 대단한 근거가 있는 것은 아닙니다. 중요한 것은 기준이 있다는 사실입니다. 기준이 없으면 숫자는 계산이 가능한 순간부터 화면에 나오고, 그 순간은 대개 숫자가 가장 의미 없는 순간입니다. 기준을 나중에 정하려면, 그 사이 이미 잘못 읽힌 숫자들에 대한 신뢰를 되돌리는 비용까지 함께 치러야 합니다.

비어 있는 화면도 정직할 수 있다

화면이 비어 보이는 것을 실패로 여기기 쉽습니다. 저도 그랬습니다. 하지만 이번에 생각이 바뀐 것은, 빈칸이 거짓말을 하지 않는다는 점이었습니다. 빈칸은 "아직"이라고 말하고, 그 말은 언제나 참입니다. 팬의 기록에 놓인 줄표는 그 사람에 대해 아무것도 말하지 않지만, 0은 말했고, 틀렸습니다.

숫자는 쌓이면 나옵니다. 그때 나오는 숫자를 사람들이 믿을 수 있으려면, 그 전에 나온 숫자가 그 믿음을 미리 써 버리지 않아야 합니다. 보여 줄 숫자가 없을 때 아무것도 보여 주지 않는 것도 데이터를 다루는 방식 중 하나라고 생각합니다.