List
Tracking with IP Camera and Custom IMU sensor
Posted Date: 2020-11-23 11:26     Edited Date: 2020-11-27 1:37     Writer: inactive

Please provide your development details as below;

1. SDK Version: 5.0.2
2. Development Environment: Unity-PC
3. Tracker/Scanner: Tracker
4. License Type(Free / Pro-One Time Fee / Pro-Subscription / Enterprise): Free
5. Target Device(Optional): PC-IPcamera & IMU Sensor


IP Camera의 영상을 받아와 카메라 이미지로 사용하고, 아두이노에 IMU 센서를 부착해 Serial로 Data를 읽어와 AR를 구현하고자 합니다.

카메라 영상의 경우 Unity의 VideoPlayer에 넣어 사용하면 될 것 같은데, IMU 센서 값의 경우는 어떻게 SDK에 전달하면 될지 모르겠습니다.

센서의 Raw Data를 Maxst SDK에 전달할 수 있는 방법이 있을까요?? 가능 하다면, IMU 센서 Data의 경우 어떠한 Format으로 전달하면 될 지 여쭤봅니다. 

또한 Camera영상과 IMU 센서를 이용해 다음과 같은 기능을 구현할 수 있는지 궁금합니다.

예를 들어 Maker/Object가 있고 이 Marker/Object로부터 Device가 떨어진 거리 및 방향의 값을 알 수 있나요?

 

답변 부탁드립니다.

감사합니다.

Posted Date: 2020-11-25 1:48     Edited Date: 2020-11-25 1:48     Writer: inactive

안녕하세요,

 

우선 IMU를 아두이노에 부착한다고 해서 IMU가 도움이 되는 데이터를 주지않습니다.

 1) IMU는 가속도 / 각속도를 측정하는 장치인데, 움직임이 없을 때 IMU는 어떠한 정보를 추가해주지 않습니다. 즉 IMU를 사용하는 것은 움직임이 있는 상황입니다.

 2) 한가지 예를 들자면 똑같은 시소의 서로 반대쪽에 IMU를 달았을 때, 한쪽은 위로 올라가고 있을 것이고 다른 쪽은 내려가고 있을 겁니다.
     이러한 서로 상대적 위치에 대한 정보가 없이 IMU는 도움이 될 수 없습니다.

 

물론 IMU센서와 camera영상으로 marker <-> camera R T 관계를 구할 수 있지만, 그 전제 조건은 카메라의 충분한 움직임이 있다는 가정이며,

움직임 없이 단안 카메라와 IMU로는 절대 구할 수 없습니다.

 

원하시는 기능은 Depth camera쪽에 더 가까운 내용을 설명하고 계신것 같으며,

해당 사항은 저희 SDK의 분야와는 살짝 떨어져있다는 점을 알려드립니다.

Stereo vision 혹은 ToF camera쪽 키워드로 찾아주시기 바랍니다. 

 

첨언하자면, AR은 거리를 몰라도 구현 가능합니다. 거리를 아는 것은 조금 다른 문제가 됩니다.

 

Connor

Maxst Support Team

 

 

 

Posted Date: 2020-11-25 3:00     Edited Date: 2020-11-25 3:00     Writer: inactive

제가 설명을 조금 애매하게했던것 같습니다.

 

제가 사용하고자 하는 환경은 IP Camera와 아두이노 + IMU를 모두 부착시킨 후 RC카 또는 드론에 부착하여 이를 조종하면서 AR을 구현하고자 한 것이었습니다.

카메라만으로는 심한 움직임이 있을 경우 증강한 Object의 원래 위치를 잃어버리거나 하는 문제점이 있어 IMU 센서를 추가적으로 사용해 이를 보정하는 것으로 알고 있습니다.

귀사의 Fusion AR의 경우 센서 값(= 자이로/가속도 ...)을 사용하는 것 같았습니다.

보통 스마트폰의 경우 카메라와 더불어 자이로/가속도 센서가 포함되어있어 프로그램상에서 이를 쉽게 불러와 사용하지만, 저 같은 경우 스마트폰이 아닌 각각의 HW를 붙여 일종의 Custom HW를 사용하고자 하는 것이기에 Maxst 프로그램에 Data를 전달하는 것에 있어 어려움이 있어 문의드린 것 입니다.

Maxst의 Unity Code를 보니 영상 같은 경우는 Texture로 받아오기에 IP Camera에서 영상을 받아와 Texture로 전달하면 될 것 같았지만, 센서 값의 경우(= Fusion AR)는 데이터를 넣는 부분이 안드로이드 부분과 엮여있는 것 같았습니다. 그래서 센서의 Raw Data를 코드에서 따로 넣는 방법이 있는지 문의드렸습니다.

"Maker/Object가 있고 이 Marker/Object로부터 Device가 떨어진 거리 및 방향의 값을 알 수 있나요?"의 질문은 HW가 움직이면서 지나온 거리를 구현하고자 하는데, 비슷하게나마 Fusion SLAM을 만들 수 있을까하여 여쭤보았던 것이었습니다.

 

혹시 해당 질문에 대한 답변을 다시 받을 수 있을까요?

Posted Date: 2020-11-27 1:37     Edited Date: 2020-11-27 1:37     Writer: sjkim

MAXST AR SDK에서는 말씀하신 센서의 Raw Data를 전달하는 코드는 제공하지 않습니다. 

또한 Marker/Object로부터 Device가 떨어진 거리 및 방향의 값은 Depth camera를 통해 구하셔야 될것 같습니다. 

 

Best regards

Francisco

MAXST Support Team