When 97.56% Is Not a Product Decision97.56%가 제품 판단이 되지 못하는 순간

97.56% was a useful result, but it was not an instruction for what to build next. An aggregate recognition score says that a system separated its evaluation examples well. It does not say whether the person doing an exercise received feedback at the right moment, understood the result, or could act differently on the next repetition.

The controlled evaluation made that distinction visible. A repeated, isolated movement is a clean question for a classifier. Exercise is rarely that clean. Motion transitions, changing form, and fatigue introduce conditions that a single summary score compresses into one number. The score is still worth reporting, but it should be read as evidence about a particular evaluation setup rather than a universal description of the experience.

This changed the design question from “How do we improve the score?” to “What does a person need when the score is not enough?” The useful interface is not necessarily the one that makes the model look most certain. It is the one that gives a person enough context to decide whether to continue, repeat, adjust, or simply treat a result as a record of what happened.

For me, the value of the result was therefore not a claim that recognition was finished. It was a way to choose the next test. If a system is meant to support exercise, its evaluation should eventually include transitions, fatigue, feedback timing, and the way people interpret a classification - not only whether a label matched a controlled sample.

97.56%는 유용한 결과였지만, 다음에 무엇을 만들어야 하는지 알려주지는 못했어요. 전체 인식 정확도는 시스템이 평가 예제를 잘 구분했다는 뜻이에요. 하지만 운동하는 사람이 적절한 순간에 피드백을 받았는지, 결과를 이해했는지, 다음 반복에서 행동을 바꿀 수 있었는지는 말해주지 않아요.

통제된 평가는 그 차이를 드러냈어요. 같은 동작을 분리해 반복하는 일은 분류기에는 비교적 명확한 질문이에요. 실제 운동은 그렇지 않아요. 동작 전환, 자세 변화, 피로는 하나의 요약 점수만으로는 충분히 드러나지 않는 조건이에요. 점수는 여전히 보고할 가치가 있지만, 특정 실험 조건의 증거로 읽어야지 경험 전체를 설명하는 값으로 읽으면 안 돼요.

그래서 질문을 “정확도를 어떻게 더 올릴 것인가”에서 “점수만으로 충분하지 않을 때 사람에게 무엇이 필요한가”로 바꾸게 됐어요. 좋은 인터페이스는 모델이 가장 확신하는 결과만 보여주는 화면이 아닐 수 있어요. 사용자가 계속할지, 다시 시도할지, 자세를 조정할지, 혹은 결과를 기록으로 남길지를 판단할 수 있을 만큼의 맥락을 주는 화면이어야 해요.

이 결과의 가치는 인식 문제가 끝났다는 선언이 아니었어요. 다음 실험을 고르는 기준이었어요. 운동을 지원하는 시스템이라면 통제된 표본과 라벨의 일치뿐 아니라 동작 전환, 피로, 피드백의 타이밍, 사람이 결과를 해석하는 방식까지 평가해야 해요.