씨름 영상데이터를 활용한 씨름 영상 분석모델 도출 및 활용방안 제시
- 씨름 영상데이터를 활용한 씨름 영상 분석모델 도출 및 활용방안 제시
- 참가팀이 직접 문제를 만들고 해결해 나가는 과정을 스토리텔링
- 영상 데이터 전처리 및 분석 방법론
- 영상 기반 씨름 경기 분석
- 데이터 분석 모델의 서비스 활용 방안
- 분석 모델의 통계적 결과 도출 방안 제시
- K-씨름 서비스 컨텐츠 창출
- 주최: 과학기술정보통신부, NIA 한국지능정보사회진흥원
- 주관: 스포츠투아이,예술의 전당, Finda, DESILO, KAIT 한국정보통신진흥협회 등
- 후원: KBD 빅데이터포럼
- 참가 대상: 전국 대학(원)생(휴학생 포함) - 전일제 대학(원)생만 해당
- 성과 : 2023 빅콘테스트 비정형데이터 분석 부문 최우수상 수상 (1등)
- 특허 : 현재 진행 중
- 제출마감: 2023년 9월 27일
- 1차 서류 심사 결과: 2023년 11월 3일
- PT 발표 심사 : 2023년 11월 14일
- 2차 PT 발표 심사 결과: 2022년 12월 9일
- 시상식 : 2023년 12월 13일
2023 Bigcontest 비정형 데이터 분석 분야 주제는 씨름 영상데이터를 활용한 씨름 영상 분석모델 도출 및 활용방안 제시로 분석 뿐만 아니라 서비스 방면도 고려해야 한다. 주어진 데이터는 약 2시간 정도의 씨름 유튜브 영상과 경기 기록 데이터, 씨름 기술 소개 영상 3개였다. 해당 데이터를 가지고 분석을 진행하였다.
생소한 씨름이라는 도메인을 공부하며, 한국 씨름의 하락세의 원인으로 위와 같은 3가지 문제점을 선정하였다. 그리고 이를 해결 하기 위해 AI 기술을 활용한 선수 체력 지표 개발 및 콘텐츠화를 주제로 진행하였다.
이를 해결 하기 위해 기존 데이터로 부터 키, 몸무게, 샅바시간, 경기시간, 휴식시간, 라운드를 라벨링 및 데이터를 추출하였다. 그리고 STT기술을 활용하여 해설진의 목소리로부터 선수들의 기술횟수와 Object Tracking을 활용하여 선수들의 움직임 거리를 추출 하였다.
생성된 변수들을 가지고 누적 경기값을 Target값으로 회귀 분석 통해 선수들의 체력 지표를 생성하였다.
이를 통해 중계화면 사이드바에 선수들의 체력 지표 표시, 선수 소개 시 남은 체력 표시, 게임과 같은 효과와 같은 새로운 콘텐츠와 실시간으로 입력 가능한 서비스를 제안하였다.
- 추가 영상 데이터 수집
- 영상 분할
- 해설진 음성 추출
- 선수 데이터 수집
- 기술 사전 생성
- 데이터 변수 라벨
- KeyPoint Detection (YoloV8, RPM Pose)
- Object Tracking (CoTracker, Pips)
- STT (SeamlessM$T, Whisper)
- STT 기술 사전 적용
- Object Tracking Zoom In/Out 탐지
- 변수 설정
- Stats model 생성
- 체력 지표 계산
- EDA
- 경기 중 체력 현황 사이드바
- 경기 시작 전 선수 소개 체력 지표 표시
- 경기 시 선수 머리 위에 체력 게이지 표시
- 실시간 방식 제안
[팀원]
- 학부생 4명
[담당 역할]
- 기획
- 모델링
