9/24 세상에 도전하기 86일차
Kiro에 5번째 컴포넌트를 만들었다.
- kiro-mech: kiro의 하드웨어. 3D 모델 파일들 보관.
- kiro-studio: kiro 상태를 확인하고 제어할 수 있는 인터페이스.
- kiro-device: mech 안에서 존재하는 kiro 기기의 소프트웨어.
- kiro-server: kiro-studio와 kiro-device를 이어주는 역할이자 실제 구체적인 제어
5번째 친구는 kiro-sim이다.
물리적인 공간에서만 존재하던 하드웨어를 가상환경으로 옮기고 있다.
옮기는 이유는 지금 당장은 메커니즘 테스트 속도 향상을 위함이고, 향후에는 데이터 수집 난이도 저하 및 학습 용이성 향상을 위함이다.
하지만 시뮬레이션 쉽지 않다.
pybullet으로 내 서버에서 환경 설정 다 하고 vnc로 내 로컬로 화면 공유해서 실시간으로 시뮬레이션 환경 볼 수 있게 해주고, 책 모델링하고 기존에 모델링해둔 lift arm 옮기는 것까지 3시간 정도 소요됐다.
지금 당장 완벽하게 하긴 어려울 것 같고 시간될 때마다 틈틈히 옮겨서, sim2real gap 없어지도록 최대한 가깝게 시뮬레이션해봐야지.
지금 당장은 pybullet인데 향후엔 NVIDIA의 Isaac Sim으로 옮겨서 해볼 것 같다.
앞으로 TODO
- 내 기기 메커니즘을 완벽하게 가상환경 속에 옮기기
- kiro-server의 제어 코드를 그대로 이 가상환경에서 동작 가능하도록 포팅하기 (헤드, 넥, 카메라 등등 똑같이)
- 넘긴 페이지 펴기 태스크 현재 생각하고 있는 방법 가상환경 속에서 구현하기
- 잘 되는지 kiro-server의 제어와 메커니즘을 함께 테스트하기
- Quest3 끼고 VR 환경에서 시뮬레이션 결과 실시간 확인하기
- VR 환경에서 인터랙션해보기
이걸로 내가 물리적으로 직접 만들기 전에 가상환경에서 테스트를 충분히 해보고 쉽게 조절하면서 메커니즘 개발 속도가 훨씬 빨라지면 좋겠다. 지금은 매번 재출력하고 재조립하는 과정을 거치다 보니 살짝 번거로운 부분이 있다. 1-2주 이내로는 물리적으로만 하는 것이 더 효율적일 것 같긴 한데 미래를 보고...!
