Human Dance Movement Transfer via First Order Motion Model

1. 프로젝트 개요

• 소프트웨어융합학과 졸업논문으로 단독 수행한 연구
• First Order Motion Model for Image Animation을 기반으로, 한 인물의 춤 동작을 다른 인물 이미지에 전이하는 전신 동작 전이 연구
• 기존 모델을 그대로 사용하는 데서 그치지 않고, 춤 동작 전이에 맞도록 데이터셋과 학습 구조를 수정 및 최적화

주요 개발 내용

• 춤 동작 전이에 적합한 데이터셋 구성 및 전처리
• 키포인트 개수 10개 → 14개로 수정
• Mixed Precision Training 적용을 통한 학습 최적화

2. 나의 역할

• 논문 분석 후 기존 코드베이스를 직접 수정하여 춤 동작 전이에 맞게 적용
• 데이터셋 구성 및 학습 환경 설정
• 키포인트 개수를 조정해 동작 표현력 개선 시도
• Mixed Precision Training을 적용하여 학습 시간 및 메모리 효율 개선
• 학습 결과를 비교하며 전신 춤 동작 전이에 적합한 방향으로 모델 최적화

3. 트러블슈팅

1) 비정상적으로 긴 학습 시간

문제

초기 학습 환경에서 1 epoch에 7시간이 걸리는 문제가 발생

원인 분석

• 코드 자체의 문제인지, 학습 환경의 문제인지 구분이 필요했음
• 개인 PC와 학교 GPU 환경에서 각각 다시 학습을 돌려 비교
• 이후 학교 GPU 환경의 일시적 문제였음을 확인

해결

• 환경을 바꿔가며 원인을 분리해서 확인
• 학습 환경 문제와 코드 문제를 구분해 디버깅

2) 학습 속도 최적화

문제

반복 실험이 필요한 연구 특성상, 긴 학습 시간으로 인해 다양한 시도를 해보기 어려웠음

원인 분석

기존 FP32 학습은 메모리 사용량이 크고 속도도 느렸음

해결

• Mixed Precision Training 적용
• 더 적은 메모리로 더 빠르게 학습할 수 있도록 개선
• 개인 PC 기준 1 epoch 약 1시간 20분 → 40분 수준으로 단축

3) 춤 동작 표현력 개선

문제

기존 설정의 키포인트 수로는 전신 춤 동작의 특징을 충분히 반영하기 어렵다고 판단

원인 분석

춤 동작은 팔, 다리, 몸통의 세부 움직임이 중요해 더 많은 동작 정보가 필요했음

해결

• 키포인트 개수를 10개에서 14개로 수정
• 더 세밀한 움직임 정보를 반영하도록 모델 구조를 조정
• 시각적으로 더 자연스러운 결과를 얻을 수 있도록 개선