VR-Based Real-Time Agent

프로젝트 개요

이 프로젝트는 온디바이스 기반 실시간 AI 자세 교정 및 맞춤형 코칭 시스템을 만드는 것을 목표로 합니다.
외부 카메라와 VR 헤드셋(Meta Quest 3)을 활용해 사용자의 운동 자세를 실시간으로 분석하고, 잘못된 자세를 즉시 교정해주는 VR PT 에이전트를 구현합니다.

기존 홈트레이닝은 화면을 계속 봐야 하거나, 트레이너 없이 자세를 점검하기 어렵고, 클라우드 기반 서비스는 신체 영상 업로드에 따른 보안 이슈가 있습니다.
이 프로젝트는 온디바이스 AI를 사용해 개인정보 외부 전송 없이 실시간 피드백을 제공하는 것이 핵심입니다.

목표

• 실시간으로 운동 자세를 인식하고 교정 피드백 제공
• 운동 종류를 자동 분류하고 자세 유사도를 점수화
• 운동 중에는 빠른 규칙 기반 음성 피드백 제공
• 세트 종료 후에는 LLM 기반 종합 피드백 제공
• VR 환경에서 올바른 자세를 시각적으로 안내
• 개인 운동 기록을 저장하고 이전 기록과 비교 가능하게 구성

핵심 기능

1. 운동 인식

• 스쿼트, 맨몸 운동, 아령 운동 등 주요 동작 분류
• 시계열 기반 모델(LSTM, Transformer, ST-GCN) 비교 후 최적 모델 선정
• 온디바이스 환경에서 동작 가능한 경량 모델 중심으로 구현

2. 자세 분석

• MoveNet, MediaPipe, MMPose 등을 활용해 키포인트 추출
• 관절 좌표 정규화 및 전처리 파이프라인 구축
• DTW(Dynamic Time Warping) 기반으로 기준 동작과 사용자 동작 비교
• 자세 유사도 점수와 오류 관절 추적

3. 실시간 피드백

• 운동 중: 잘못된 관절/각도에 대해 즉시 TTS 음성 안내
• 세트 종료 후: LLM을 이용한 요약 피드백 생성
• 지연 시간을 줄이기 위해 운동 중 피드백은 규칙 기반으로 처리

4. VR 시각화

• 기준 자세와 현재 자세를 VR 상에서 비교
• 관절 궤적 가이드 표시
• 잘못된 관절 하이라이트
• 오버레이 방식과 궤적 방식 비교

5. 운동 기록 관리

• 세트별 유사도, 오류 관절, 피드백 로그 저장
• 동일 운동 반복 시 이전 세션 대비 개선 추이 확인

우리가 할 일

1. 데이터셋 수집

• Fit3D, Workout/Exercises Video, MM-Fit, AthletePose3D 등 활용 가능한 데이터셋 조사 및 확보
• 운동 종류별 기준 자세 데이터 정리
• 필요 시 추가 촬영 데이터 확보

2. 데이터 전처리 및 정규화

• 영상/포즈 데이터에서 키포인트 추출
• 관절 좌표 정규화 기준 설계
• 실시간 처리 가능한 입력 형태로 데이터 가공

3. 운동 분류 모델 개발

• LSTM baseline 구현
• Transformer 기반 분류 모델 구현
• ST-GCN 적용 가능성 검토
• 정확도, 속도, 온디바이스 적합성 기준으로 최종 모델 선정

4. 자세 평가 로직 개발

• 기준 동작과 사용자 동작을 비교하는 DTW 파이프라인 구현
• 유사도 점수 산출 로직 구현
• 주요 관절별 오류 탐지 규칙 설계

5. 피드백 시스템 개발

• 운동 중 즉시 음성 피드백용 규칙 정의
• 운동 종류/오류 부위별 피드백 문장 DB 구성
• 세트 종료 후 LLM 기반 요약 피드백 생성 흐름 구현

6. VR 애플리케이션 개발

• Unity 기반 운동 선택 및 피드백 UI 구성
• 기준 자세 시각화, 오버레이, 하이라이트 기능 구현
• 실시간 포즈 분석 결과와 VR 화면 연동

7. 기록 및 분석 기능 개발

• 세트별 운동 기록 저장
• 마크다운 기반 피드백 로그 저장
• 이전 기록과 현재 기록 비교 시각화

8. 성능 검증 및 최적화

• 운동 분류 정확도, 자세 판단 정확도 측정
• 실시간 처리 속도(FPS, 지연 시간) 확인
• 실제 운동 환경에서 테스트 후 개선

성능 목표

• 운동 분류 정확도 90% 이상
• 자세 판단 정확도 85% 이상
• 온디바이스 추론 속도 60 FPS 이상
• DTW 처리 시간 10ms 이내
• 오류 감지 후 음성 출력까지 3초 이내
• 세트 종료 후 LLM 피드백 생성 5분 이내

역할 분배

이름	역할
김보경	온디바이스 환경 구축, 데이터 수집
김건희	데이터 정규화 로직 설계, Unity 환경 구성
이경호	데이터 가공, 피드백 모델 설계
임규보	운동 분류 모델 설계, 통신 환경 구축

진행 계획

3월

• 기획서 작성
• 프로젝트 요구사항 정리

4월

• 데이터셋 구축
• 데이터 전처리 및 정규화

5월

• 운동 판단 모델 제작
• AI 피드백 모델 제작

6월

• VR 애플리케이션 제작
• 결과 정리 및 보고서 작성

한 줄 정리

VR + 온디바이스 AI + 실시간 자세 교정 + 운동 기록 관리를 결합한 개인 맞춤형 홈트레이닝 코칭 시스템을 만드는 프로젝트입니다.