2023-10-17 Meeting #3

Report: https://www.notion.so/04-10-23-94bc90283e214a15882c56fb30bffff9?pvs=4

Github Repo: https://github.com/ros-naoqi/naoqi_driver https://github.com/ros-naoqi/libqi

https://github.com/ros-naoqi/pepper_dcm_robot http://wiki.ros.org/pepper_dcm_bringup

1. Pepper testing

1. Kura versija un repo Gazeboo pepper strādā?

2. Serviss ar kuru kontrolēt pārvietojumu

3. Sameklēt dokumentāciju /pepper_dcm/WheelB_controller

4. Cik vadāmi un kā vadāmi ir riteņi, kā var panākt darbības - brauc 1m uz priekšu pagriezies pa 90* grādiem pa labi 1m uz priekšu

5. Kā pieslēgties peer SSH username & password zemāk

6. Linux Commands Useful http://share.yellowrobot.xyz/quick/2023-10-17-1BFC2160-7BFC-462D-9DB0-06EEC8850CFA.html

Pepper tesing Plāns:

1. Connect to SSH to pepper

2. Check if ROS installed, rostopic list etc.

3. Run ros topic for movement in SSH

4. Connect ROS node from another PC to Pepper

   

5. Local node jāpalaiž telnet 192.176.1.1 11311

6. Ja uz pepper ir plaists roscore, tad ši komanda strādās ^

2. SLR

1. SLR - Object search modeļi

• Input - Target attēls, Attēlu vēsture vai SLAM, Output - Trajektorija

2. SLR - Deep Learning based visual odometry

• Input - 2 attēli , Output: dx, dy, dz, dtheta

3. SLR - kur SLAM ir end-to-end un kā atšķirās ORB SLAM

4. SLAM - note kā strādā

3. ViNT practical testing

7. ViNT (pre-trained)

   1. Inference uz viņu pašu testa kopas

   2. Inference uz Gazeboo simulation

   3. Inference uz reāla robota (RGB attēls)

Hipotēze jaunam modelim

Mana improvizācija ViNT pieejai, atšķirība, ka jāveic rollout, bet domāju, ka varētu būt precīzāks un labāk izskaidrojams rezultāts.

Generative model input attēls + odometry + history(attēls, odometry) -> output predicted attēls, galvenais z space Vēl ievada arī target attēlu un atrod z vector Veic rollout koku ar visām iespējamām darbībām līdz noteiktam dziļumam Atrod labākio iespejamo trajektoriju no attēla, kur z vector cosine distance tuvākā target z distance