두 표본이 반대로 말해서, 아무것도 바꾸지 않았다
운영 데이터는 한 신호가 우연 이하라고 말했고, 고칠 준비는 끝나 있었습니다. 정답 라벨이 있는 골든셋은 정반대를 말했습니다. 어느 쪽도 결론을 내지 못해 아무것도 옮기지 않았습니다.
Clad는 사진 한 장과 질문 세 개로 퍼스널컬러 카드를 만듭니다. 그 아래에서 판정은 모델 하나의 의견이 아닙니다. 세 신호가 정해진 가중으로 융합됩니다 — 사진에서 잰 픽셀 측정값, 문항의 답, 그리고 비전 모델. 신호마다 따로 라벨에 대 볼 수 있고, 아래 이야기는 오직 그것 때문에 가능했습니다.
9월 초에 라벨이 있는 운영 결과 한 묶음을 다시 쟀습니다. 여기서 라벨은 본인이 기억하는 오프라인 진단 결과입니다. 명암 축에서 모델이 우연 이하로 나왔습니다. 가장 큰 가중을 쥔 신호가 가장 자주 틀리고 있었고, 융합 결과가 픽셀 측정 단독보다 나빴습니다. 모델은 돕고 있지 않았습니다. 답을 끌어내리고 있었습니다.
고칠 준비가 판단보다 먼저 끝났다
선례가 있어서 더 그랬습니다. 몇 달 전 웜쿨 축에서 같은 모양을 확인했고, 그때의 답은 그 축의 모델 가중을 0으로 빼는 것이었습니다. 그 결정은 잘 버텼습니다. 명암 축의 가중은 같은 검증을 한 번도 거치지 않았는데, 이제 그 검증에서 떨어지고 있었습니다.
그래서 모든 것이 준비돼 있었습니다. 가중은 0으로 가고, 픽셀 상수는 운영 라벨에 맞춰 재보정하고, 테스트를 고치면 됩니다. 숫자가 있었고, 선례가 있었고, 오후 한나절이면 끝나는 변경이 있었습니다. 없는 것은 의심할 이유였습니다 — 그리고 그것이 바로 제품의 판정이 표본 하나의 힘으로 바뀌는 상태입니다.
머지하기 전에 갖고 있던 다른 묶음에 같은 계산을 돌렸습니다. 본인의 기억이 아니라 전문가가 라벨을 붙인, 수십 명 규모의 골든셋입니다.
두 번째 표본은 반대를 가리켰다
정반대가 나왔습니다. 골든셋에서는 모델이 더 나은 신호였고 픽셀 측정이 더 나쁜 쪽이었으며, 운영 데이터가 요구했던 그 재보정 픽셀 상수는 오히려 더 나빴습니다. 둘 다 작은 표본이고, 서로 정확히 반대 방향을 단호하게 가리키고, 둘 사이의 차이는 유의하다고 부를 만큼 크지 않았습니다.
표본마다 자기 기울기가 있었고, 찾아보니 그 기울기는 분명했습니다. 골든셋은 보도용 인물 사진입니다 — 고른 조명, 중립적 배경, 카메라를 위해 화장한 얼굴. 픽셀 측정에는 불리한 자리입니다. 운영 라벨은 사람들이 오프라인에서 들었다고 기억하는 결과입니다 — 몇 년 전일 수도 있고, 다른 체계를 쓰는 사람이 말했을 수도 있습니다. 그쪽은 그쪽대로 흔들립니다. 어느 쪽도 틀린 것이 아닙니다. 어느 쪽도 상대를 뒤집을 만큼 깨끗하지 않습니다.
남는 정직한 결론은 하나였습니다. 데이터가 이것을 정할 수 없다. 그래서 가중은 그 자리에, 상수도 그 자리에 두었고, 이틀째 준비돼 있던 변경은 머지하지 않고 닫았습니다.
두 표본이 함께 말한 것은 남았다
아무것도 바꾸지 않은 것이 아무것도 배우지 않은 것은 아닙니다. 두 표본이 거의 모든 것에서 어긋날 때, 둘이 동의하는 작은 사실은 덜 귀해지는 것이 아니라 더 귀해집니다. 서로 다른 두 편향을 통과해 살아남았기 때문입니다.
두 묶음이 동의한 것은 이것입니다. 밝음과 깊음의 축에서 제품의 판정은 동전 던지기에 가깝다. 어느 신호가 잘못인지에 대해서는 — 둘은 그것을 두고 갈렸습니다 — 아니라, 그 축 자체가 결과가 흔들리는 자리라는 사실에 대해서. «모델이 고장 났다»보다 좁은 발견이고, 그쪽이 더 쓸모 있는 것으로 드러났습니다. 완전히 다른 수정을 가리켰기 때문입니다 — 그 축의 정확도를 올리는 것이 아니라, 결과가 경계에 서 있을 때 그 사람에게 말해 주는 것. 제품은 이미 그것을 계산하고 있었습니다. 한 번도 말하지 않았을 뿐입니다. 대신 그 변경이 나갔고, 그것은 따로 한 편의 글입니다.
틀릴 수 있는 두 번째 표본
간직하고 싶은 패턴은 이것입니다. 측정이 한 방향을 강하게 가리키고 선례가 그 뒤에 줄을 서면, 판단이 끝나기 전에 수정이 먼저 끝납니다. 그 시점에 필요한 것은 확인이 아닙니다 — 그것은 이미 있습니다. 반대할 수 있게 허락된 두 번째 표본입니다. 같은 데이터를 다시 돌리는 것이 아니라, 다른 방식으로 모은, 자기 기울기를 가진 다른 묶음입니다.
동의하면 오후 한나절을 잃고 방어할 수 있는 변경을 얻습니다. 반대하면 결론은 «어느 쪽도 아니다»이고, 그것은 실패가 아닙니다. 제품의 판정이 표본 하나의 힘으로 다시 쓰이지 않았다는 뜻입니다. «어느 쪽도 아니다»를 우유부단함으로 읽고 싶은 유혹이 있습니다. 반대입니다. 그것은 두 표본이 실제로 함께 지지하는 유일한 결정입니다.
그리고 어긋난 뒤에도 두 표본이 여전히 동의하는 것이 다음 변경이 시작될 자리입니다. Clad의 경우 그것은 제가 준비했던 변경보다 작았고, 내보내기에 더 쌌으며, 결과를 손에 든 사람에게 더 쓸모 있었습니다.