7/29 세상에 도전하기 29일차

  1. 텔레오퍼레이션(내가 직접 보면서 로봇 조종)으로는 잘 넘겨지나 AI 제어가 어려움
  2. 문제 정의 처음부터 다시 하고 명확하게 함
  3. 내가 가야 할 길이 아주 명확해짐 + 센서 추가 구매함

지난 4일 간의 행보 3줄 요약이다.

금요일에 하드웨어를 모두 마무리짓고, 텔레오퍼레이션으로 20페이지 연속으로 넘기고, AI 제어는 뚝딱 할 줄 알았다. 진짜 소프트웨어가 하드웨어보다 더 어려웠다. 사실 로보틱스 연구하는 사람들이 이런 거 하는 사람들 진짜 많은데 너무 만만하게 봤다.

Kiro Building Note 6 (Problem Formulation)
Full Self Page Turning (Non-rigid Object Manipulation) Problem: Automatically turn pages of a physical book from start to end without human intervention. Current Hardware Structure 1. Overhead Camera 1. Objective: Observe the entire page-turning process, detect current page and arm positions. 2. Behavior: Continuously records video (640x480 resolution) at 20fps.

문제 정의는 이렇게 작성했다.

우선 모든 state를 아주 명확하게 정리하고 state diagram을 그렸다. 책 넘기는 데 있어서 이것까지도 AI한테 넘길 이유는 없었다. 아주 명확한 방향이기에.

이렇게 하니 모든 것이 밝아지고 내가 가야 할 길이 보였다.

  1. State Estimation
  2. Control

control은 아주 명확한 알고리즘대로 Software 1.0으로 하면 된다. 자유도가 3밖에 되지도 않고 각 state마다 해야 하는 control은 명확했기 때문이다. 턴암이 종이 넘겼으면 그 다음에 해야 할 일은 무조건 홀드암이지 리프트암이 움직일 리는 없다.

남은 것은 state estimation. 이거 한다고 진짜 온갖 거 다 해봤는데 알고리즘으로도 안되고 ML로도 잘 안 된다. 결국 알고리즘은 아예 접었고 ML은 할라면 할 수 있는데 다른 모델을 쓰는 것이 아니라 나만의 데이터로 나만의 모델을 만들어야 한다. 왜냐면 일반적인 이미지가 아니고 일반적인 로봇이 아니라 세상에 유일한 이미지 분포기 때문이다. 저 이미지를 보고 state를 알아맞추는 건 불가능에 가깝다. 데이터를 모으고 라벨링하고 학습시키는 건 나중으로 미뤘다. 그러니 자연스럽게 다음 솔루션은 VLM을 사용하는 것이었다.

자 위 사진은 대기 상태(idle)이고, 아래 사진은 종이가 들려진 상태이다.

내가 다시 봐도 판단하기가 쉽지 않다. VLM도 못한다고 하더라...

결국 센서 쪽을 더 고민해보았고 카메라 하나와 압력 센서 하나를 추가 구매했다. 카메라는 전면 뷰로 달 예정이고, 압력 센서는 리프트암이 책을 누르는 압력을 측정할 거다. 이렇게 총 센서가 3갠데도 VLM이 state 못 맞추면 음 그 쯤 되면 문제 자체가 잘 못 된거다.

내일 새로 온 센서들과 함께 VLM으로 state estimation 꼭 완벽하게 끝낸다!

v1.0까지의 일정

worst case보다도 더 늦어져버려서 7월 내 매출 만원은 어려워졌다. 고객들에게도 말씀드렸다. 이번주 남은 5일 동안 안정적으로 v1.0을 모두 마치고, 다음주부터 개시 예정이다. 8월 4일 꼭 첫 기기 팔아보자.

그 전에 원하는 책 있으면 북스캔해준다고 했는데 개인 복젠데 외부에 돈 내고 복제 맡기면 저작권법에 걸리는 거라 바로 지웠다. 기기를 팔면 그 개인이 기기를 가지고 개인 복제하는 것이기 때문에 괜찮다.

7/30: state estimation & add more sensors
7/31: ai control overall & v0.3 마무리
8/1: wifi 정보 설정
8/2: over the air & web dashboard
8/3: 마무리
8/4: 첫 기기 판매

이렇게 가보자.

제품 사전 공개

오늘 카페에 제품 실사진과 함께 사전 공개를 했다. 반응이 뜨겁다. 다음주에 즉시 구매하겠다고 한 사람만 15명 정도다.

내가 올바른 길을 가고 있구나라는 생각과 함께 열정이 불타오른다.

이번주 예정대로 잘 마무리가 되면 다음주에는 매일 최소 3대 이상씩은 찍어내야 한다. 진짜 아찔할 거 같다. 이제 실제로 돈이 오가니 정책들이나 안정성 계속 신경쓰고 더 높이자.

문제 생겼을 때 디버깅이 벌써부터 아찔하다. 문라이트할 때 감사했었어야 했다. 하드웨어는 매번 출장을 가는 게 필수적이고 간다고 해결되는 것도 아니고 돌아와서 픽스해서 돌려드려야 할 수도 있다. 문라이트할 땐 그냥 앉아서 에어컨 바람 쐬면서 (물론 머리 겁나 싸매면서 + 스트레스 겁나 받으면서) 에러 찾고 해결해드리면 되긴 했다.

결제

오늘 결제 어떻게 받을지도 다 찾아뒀다. 8월 중순에 네이버 스마트스토어 등록을 할 것 같고 그 전까지는 간이로 간이영수증 발급을 해드릴 것 같다. 문제 없도록 착실하게 진행하자.

운동

수, 목 이틀 다 운동하면 이번달 2/3 운동 달성! 다음달은 강도 더 높여보자.

사회과학

저번주치 맨큐의 경제학 아직 너무 많이 남았다ㅠㅠ 한번 밀리면 쭉 밀릴 거 같은데... 내일 state estimation 진짜 빡집중해서 후딱 다 끝내고 맨큐의 경제학 빡집중해서 다 끝내고 싶다.

전반적인 생각

제품 만드는 건 역시나 참 재밌다. 힘들 땐 고객들과 대화하자. 동기부여에 그만이다. 다들 이 제품을 너무 필요로 한다. 로봇하는 것도 참 재밌다. 정해진대로만 움직이는 기계가 아닌, 센서 기반으로 자신의 감각기관으로 실시간으로 판단하면서 움직이게 하는 그런 로봇을 만들고 있다는 게 참 신기하고 동작한다는 것도 신기하다. 이런 도전을 할 수 있음에 항상 감사하고 몰입하자.

내일은 진짜 딱 14시간 제낀다. 진짜진짜 슈퍼몰입한다.