AI, 경기 하이라이트를 위한 새로운 심판이 되다: 스포츠 중계의 진화와 첨예한 성능 평가

스포츠 중계 영상에서 주요 장면, 즉 하이라이트를 자동 추출하는 인공지능(AI) 모델의 성능 평가가 본격적으로 이슈가 되고 있다. 스포츠 중계는 경기의 흐름과 맥락을 실시간으로 전하는 것에 그치지 않고, 수많은 관중들이 원하는 결정적 순간—득점, 반전, 실책, 변곡점—들을 신속하게 제공하는 종합 엔터테인먼트이다. 하지만 이제 그 선택의 주체가 AI 모델로 옮겨가며, 해당 기술이 경기 분석과 팬들의 경험에 어떤 혁신을 가져올지 날카로운 관심이 집중되고 있다.

지난주 국내외 주요 방송사와 대형 플랫폼들이 K리그, MLB, 유럽축구리그 등에서 실제 중계 영상을 AI로 분할·분석하고, 해당 모델들이 하이라이트라고 분류한 구간과 인간 전문가의 선택을 정밀하게 비교했다. 득점/실점 상황, 경고/퇴장, 교체 타이밍 같은 객관적 이벤트는 물론, 슈팅의 기대값(xG), 공 점유 전환, 속공 발동 및 전술 변화 등 비가시적 분기점까지 평가에 포함됐다. AI가 영상 내 동작 인식, 오디오 파형 변화, 중계 자막 등 멀티모달 데이터를 통합해 ‘하이라이트’로 자동 판단하는 과정은, ‘선수 퍼포먼스’를 완전히 새 시각으로 해석하는 시금석이 됐다. 실제 예로, 야구 경기에서 AI는 관중 함성, 해설진의 톤, 투수 교체와 같은 컨텍스트까지 감지해 클립을 만들어냈고, 이는 수동 편집보다 기대 이상의 속도와 정밀도를 자랑했다.

전문가 평가는 크게 세 가지로 모아졌다. 첫째, AI가 수치화하기 어려운 ‘경기 맥락’—벤치의 미세한 움직임, 선수들 사이의 긴장감, 전술적 기세 변환—을 얼마나 알아차릴 수 있느냐. 특히 축구, 농구처럼 흐름이 연속적이고 변수 많은 종목에서 AI가 정확히 경기를 읽어내는지는 계속된 테스트가 없다면 확언할 수 없다. 실제 FC서울 대 수원 삼성전에서 AI가 잡아낸 하이라이트 10건 중 7건은 득점/실점 장면과 일치했지만, 인간 해설진은 경기 막판 두 번의 압박 전술 전환 구간을 하이라이트로 선정해 ‘맥락 해석’ 면에서 미묘한 간극을 보였다.

둘째, 중계에 사용된 AI 모델들의 기술 격차가 극명했다. 최신형 비디오 트랜스포머 기반 AI는 저용량 영상에도 골 결정, 패스 차단 등 스포츠 특유의 결정적 순간 포착률이 10% 넘게 우수했다. 특히 농구에서 경기 리듬이 갑자기 전환될 때, AI가 ‘코치 모션-타임아웃 콜-공 교환’ 연쇄동작을 자연스럽게 인식해 30초 내 클립 편집에 성공한 사례가 반복됐다. 반면, 기계 학습 기반의 구형 모델은 여전히 의외의 장면(예: 관중 클로즈업, 쓸데없는 논쟁 장면 등)도 하이라이트로 잘못 추출하는 한계를 드러냈다.

셋째, 단순 편집을 넘어 AI가 실질적인 전술 인사이트까지 제공할 수 있을까라는 질문이 제기된다. 예컨대, 야구에서는 홈런 구간뿐 아니라 투구 유형, 수비 위치 선정, 주루 플레이 패턴까지 AI가 실시간 분석하고 그 결과를 중계 하이라이트와 연동시키는 ‘자동 스토리텔링’ 시도가 있었다. 축구의 경우, 패스 차단 직후부터 카운터 어택 성공에 이르기까지의 미세한 선수 움직임 변화를 선별적 시점으로 제시해, 팬들에게 색다른 경기 감상을 제공했다. 이는 단순히 경기 편집을 넘어서, AI가 일정 부분 분석가 역할까지 할 수 있다는 점을 시사한다.

기술적 한계 역시 분명하다. 일례로 최근 해외 메이저리그 베이스볼(MLB) 실험에서는 오디오 데이터가 과도하게 반영돼, 관중 함성이 크지 않은 명장면이 누락되는 ‘오차’가 빈번하게 포착됐다. 농구에서는 AI가 벤치의 급박한 작전 지시 장면을 놓치는 등, 인간만이 감지할 수 있는 미묘한 장면 선택의 실패도 공존한다. AI가 ‘데이터 기반’으로 움직일 수밖에 없는 지점에서 나오는 맹점이다.

여기서 중요한 것은, AI 기반 하이라이트 추출이 선수 퍼포먼스 분석과 경기 흐름 해석의 패러다임을 더욱 기술 중심으로 진화시킨다는 점이다. 이제 해설진과 데이터 애널리스트들은 팀 별 고유 패턴, 선수 시그니처 플레이, 의외성 높은 순간들을 미리 파악해, AI 모델에 더 정확한 입력값과 학습셋을 공급하는 노력이 필요하다. 최종적으로 실시간 스포츠 중계가 팬 맞춤형 하이라이트 서비스와 접목되며, 누구나 자신만의 ‘결정적 장면’을 직접 받을 수 있는 시대가 코앞까지 다가왔다. 이는 스포츠 산업의 콘텐츠 경쟁력 강화와, 경기의 전문적 해석이 담긴 정보 전달의 새로운 장을 열고 있는 셈이다.

실시간 분석, 하이라이트 자동 추출, 그리고 전술 변화까지 반영하는 AI의 등장은 스포츠 중계뿐 아니라 팬 경험과 미디어 편집 전반에 변혁을 예고한다. 새로운 심판, 새로운 분석가로서 AI가 언제 어디까지 팬들의 몰입을 높이는 장면을 캐치해낼지, 기술과 인간의 시선이 맞부딪치는 그 순간이 앞으로의 스포츠 미디어 패러다임을 규정하게 될 것이다.
— 한지우 ([email protected])