놓친 스포츠중계 걱정마세요...팀·선수별 장면 영상 검색 기술 나왔다

[글로벌이코노믹 이재구 기자] 야구와 농구 등 스포츠 중계영상과 문자중계 정보를 바탕으로 주요 이벤트 영상을 자동 생성해 다시 볼 수 있는 방송 플랫폼 기술이 국내연구진에 의해 개발됐다. 향후 실시간 스트리밍 방송이나 디지털 방송에서 스포츠 중계시 시청자의 관심있는 영상을 자동으로 분류, 수십 초 내에 재생해 볼 수 있는 서비스에 활용될 전망이다.


ETRI(한국전자통신연구원)는 25일 이벤트 기반으로 영상 정보를 색인화해 자동으로 편집된 영상을 제공받을 수 있는 방송 플랫폼 기술을 개발했다고 발표했다.

일반적으로 스포츠 중계방송 시청자들은 중요한 경기 순간을 놓칠 때도 있고, 다시 보고 싶은 장면이 있을 수 있지만 시청자가 특정 순간의 영상을 선택적으로 볼 수 없다. 또 경기 종료 후 주요 포털에 업로드 되는 영상은 주요한 경기의 장면만 보여주기 때문에 시청자가 원하는 장면을 찾기 힘든 단점이 있다.


ETRI연구팀은 이같은 시청자의 애로사항에 착안, 농구와 야구 경기 영상으로부터 다시 보고 싶은 슛이나 홈런과 같은 이벤트 유형이나 팀별, 선수별 주요장면을 시청자가 선택하여 볼 수 있도록 하는 기술을 개발했다. 연구진은 이와 같은 장면을 실시간으로 제공할 수 있도록 자동화 했으며, 이를 통해 손수 작업한 편집 결과물과 비슷한 수준의 영상을 수십 초 내에 제공받게 된다. 시청자는 원하는 특정 선수나 팀의 플레이 장면을 분류해 나만의 하이라이트 영상을 제공받게 된다.

연구진이 개발에 성공한 시청자 맞춤형 방송 플랫폼 기술은 문자 중계를 활용한 이벤트 정보 획득 기술, 딥러닝을 통한 영상정보 추출 기술, 이벤트 구간 자동 분석 기술이 포함된다.

예컨대 문자중계를 활용하여 중계영상의 슛, 리바운드, 안타, 홈런 등의 이벤트가 발생한 정보를 획득해 영상중계에서 화면의 구성이나 선수의 동작을 인식하여 해당 이벤트 구간을 찾는 원리다.

이를 위해 투구 동작, 내야, 외야 등의 장면과 경기시간, 투구수 등의 정보를 딥러닝 기술을 통해 컴퓨터가 스스로 분류, 추출하게 된다. 추출된 영상 정보는 중계영상 제작 패턴을 분석하고 머신러닝 알고리즘을 도입해 이벤트 구간을 식별한다. 이후 문자중계를 통해 식별된 이벤트가 중계영상의 어느 구간에 해당하는지 매칭시켜 이벤트 구간 정보를 기록한 후 영상으로 모으게 된다.

IPTV 사업자의 경우 이 기술을 셋톱박스에 적용, 서비스 사용자들에게 맞춤형 다시보기 서비스를 제공할 수 있다. 또한 이 기술은 모바일로도 개발되어 아카이빙 서비스 업체들은 방대한 분량의 영상을 자동으로 색인화하여 사용자에게 제공할 수 있게 된다.

ETRI는 향후 야구와 농구 뿐만 아니라 영상 제작 패턴이 일정한 다양한 스포츠 중계로 분야를 확대하여 IPTV 사업자, 중계영상 아카이빙 서비스 업체, 전술 분석이 필요한 구단과의 업무 제휴나 기술 이전을 할 예정이다.

ETRI는 이 기술을 국제 방송 장비 전시회(NAB)에 출품하였으며 NBA 중계를 하는 폭스 스포츠(FOX Sports)의 관심을 받는 등 큰 호평을 얻었다. 이 기술은 미래창조과학부의 지원을 받은‘방송용 영상 인식 기반 객체 중심 지식 융합 미디어 서비스 플랫폼 개발 사업’을 통해 3년 동안 개발되었으며, 본 성과와 관련 국내 특허 3건이 출원되었다.

연구책임자인 조기성 ETRI 프로젝트 리더(PL)는 “이 기술은 즉시 상용화할 수 있는 수준이며, 향후 이 영상 플랫폼 기술을 활용해 다양한 스포츠 중계영상 컨텐츠를 자동으로 추출해 가치를 부여하고 확대 재생산시킬 수 있을 것”이라고 기대감을 밝혔다.




이재구 기자 jklee@g-enews.com