ADD CPS - Rosbot Control

Project

연구목적

물리적 Rosbot 의 컨트롤을 연구하여, 해당 연구를 Drone에도 확장하여 최종시연을 위한 로봇 컨트롤 환경을 구축하는 것을 목표로 한다. 요구사항은 특정좌표를 입력하면, body frame 에서 해당 위치로 이동. 이동 알고리즘은 룰기반과 강화학습 기반 두 가지로 제공한다.

연구 내용

2023.10.06.1: Rosbot Gazebo

🗳️ release : v23.10.06.1
👨🏻‍💻 code : see /robots/rosbot/README.md

로스봇 세팅 코드 클린 버전 구현 [Document]

Terminal 패널 정보:

roscore
gazebo map load
Rosbot spawn
keyboard Control

2023.10.06.2: Rosbot Environment Sample Collection

🗳️ release : v23.10.06.2
👨🏻‍💻 code : see /labs/rosbot_collect_samples/run.py

로스복 강화학습 환경 랜덤 액션을 통한 샘플 획득 [Document]

데모 비디오 google drive

2023.10.16.1: Rosbot RPY

🗳️ release : v23.10.16.1
👨🏻‍💻 code : see /labs/rosbot_rpy/rosbot_rpy.py

로봇이 놓이는 환경에서는 두 가지 좌표, world Frame / body Frame 이 존재한다. 로봇 컨트롤 시 사용자가 조종하는 컨트롤은 body frame 에서 동작하나, 실제 목표하는 위치는 world frame에 놓여있다. 따라서, 환경에서 body frame 의 목표를 world frame으로 전환하는 것은 실제 목표 위치에 도달하는 정도를 표시하기 위해 필수적이다. 이 때 계산에 관여하는 값은 yaw 이다. 로봇의 실제 2차원 좌표를 $(G_x, G_y)$라고 하자, 상대적 위치 $(R_x, R_y)$의 절대좌표는 로봇의 2차원 회전 방향값 $\Psi$ (yaw)에 대해서 다음과 같이 구할 수 있다.

\[\begin{gather} G_{tx} = G_{x} + \operatorname{Rotate}(R_{x}, R_{y}, \Psi)_x \\ G_{ty} = G_{y} + \operatorname{Rotate}(R_{x}, R_{y}, \Psi)_y \end{gather}\]

여기서 Rotate 는 $\Psi$ 회전행렬에 대해서 $R_{x}, R_{y}$ 값을 변환한 벡터를 반환하는 함수이다. 로봇의 2D에서 실제 좌표에 대해서 목표로 하는 상대적 타겟 위치 (1,2) 를 다른 로봇의 yaw 값에 대해서 찍어보면 다음과 같이 구할 수 있다.

목표로 하는 환경은 다음곽 같이 로봇의 위치 변화를 요구하는 타겟 위치가 있으며, 이에 대한 강화학습 보상은 절대 좌표계에서 주어진다.

시뮬레이터 Yaw값 확인

시뮬레이터에서 Yaw 값을 확인해보면, 회전속도를 올리면 yaw 값이 선형으로 변하는 것을 확인할 수 있다. 값의 범위는 $-\pi \sim \pi$ 이다.

시뮬레이터에서 Yaw 값에 해당하는 로봇의 실제 좌표는 다음과 같이 주어진다. 빨간색 좌표축을 기준으로 yaw값이 측정됨을 확인할 수 있다.

Rosbot Goal Control

관찰공간 : 로봇 상태 / 목표할당시 로봇 상태 / 상대 위치 / 목표 전달 시간
행동공간 : 전방속도, 좌우회전속도 (continuous)
보상값 : world frame의 목표 위치와 world frame의 로봇 위치 차이
종료 : 1) timestep60control_hz 초과 / 2) 목표 거리 0.1 이하
목표할당 : Reset 시 -5~5 범위의 목표위치 생성

# 관찰 공간의 각 Dimension 에 해당하는 값은 다음과 같다. feature_names = [ #현재 상태 'linear_velocity_1', 'linear_velocity_2', 'linear_velocity_3', 'linear_acceleration_1', 'linear_acceleration_2', 'linear_acceleration_3', 'raw', 'pitch', 'yaw', 'angular_velocity_1', 'angular_velocity_2', 'angular_velocity_3', ] + [ # 목표 할당시 상태 'prev_linear_velocity_1', 'prev_linear_velocity_2', 'prev_linear_velocity_3', 'prev_linear_acceleration_1', 'prev_linear_acceleration_2', 'prev_linear_acceleration_3', 'prev_raw', 'prev_pitch', 'prev_yaw', 'prev_angular_velocity_1', 'prev_angular_velocity_2', 'prev_angular_velocity_3', ] + [ # 목표 상대 위치 정보 'rel_x', 'rel_y', 'duration' ]

SAC Training Results 2023.10.17

🗳️ code release: v23.10.17.1
🔗 300K SAC 학습모델 / 분석 그림들 link

rosbot_goal_control 환경에 SAC으로 300K 시간에 대해서 학습한 모델의 구조는 다음과 같다. Actor 와 Critic은 서로 파라미터를 공유하지 않으며, Critic 의 값은 (관찰값과 행동)에 대해서 $V$ 를 반환한다.

Actor( (mlp): Sequential( (0): Linear(in_features=27, out_features=64, bias=True) (1): Tanh() (2): Linear(in_features=64, out_features=64, bias=True) (3): Tanh() (4): Linear(in_features=64, out_features=64, bias=True) (5): Tanh() ) (fc_mean): Linear(in_features=64, out_features=2, bias=True) (fc_logstd): Linear(in_features=64, out_features=2, bias=True) ) Critic( (mlp): Sequential( (0): Linear(in_features=29, out_features=64, bias=True) (1): GELU(approximate='none') (2): Linear(in_features=64, out_features=64, bias=True) (3): GELU(approximate='none') (4): Linear(in_features=64, out_features=1, bias=True) ) )

학습 과정에서 episode의 return 값은 다음과 같다. 학습결과 100K 수준에서 보상이 수렴한 것을 확인할 수 있다. 성능이 -30 이후로 성능이 개선되지 않았는데, 이에 대해서 Upperbound 여부를 확인해봐야 한다.

로봇의 컨트롤 $action = (\beta, \alpha)$ 에 대해서 $\beta$는 전진하는 속도, $\alpha$는 회전 값으로 범위는 다음과 같다. $\beta \in [0,1]$ 과 $\alpha \in (-1, 1)$ 회전값은 $-1$ 의 경우 왼쪽, $+1$의 경우 오른쪽으로 나타낸다. 학습 완료된 모델에 대해서 목표로 하는 상대위치 $(rx,ry)$ 를 줬을 때 로봇의 행동을 분석해 보면 다음과 같다.

입력값: $[0,0,\cdots,0, rx,ry,0]$
출력 : $(\beta, \alpha)$

회전값 $\alpha$가 y축을 기준으로 왼쪽과 오른쪽에 대해서 극단적인 회전으로 구분되는 것을 확인할 수 있다.
가속도 $\beta$는 전방 좌우에 대해서 1값으로 높은 것을 볼 수 있으며, (-2, 2) 부근에서는 상대적으로 낮은 속도를 내는 것을 확인한다. 이는 학습이 불충분하게 되었기 때문으로 사료된다.

로봇의 실제 방향 $(dx,dy)$의 값을 $(\beta, \alpha)$ 로부터 다음과 같은 식으로 유도될 수 있다.

\[\begin{gather} \theta = (1-\alpha)/2 \pi \\ dx = \beta \cdot \cos{\theta} \\ dy = \beta \cdot \sin{\theta} \end{gather}\]

방향벡터를 목표 위치 $(rx, ry) \in [-3,3] \times [-3,3]$ 의 위치에서 표시해보면 다음과 같은 로봇의 이동 선호도를 볼 수 있다.

2023.10.17 : 문제점 : Real Trajectory 가 완벽하지 않음.

Reward 가 제대로된 것과 별개로 모든 상태에 대해서 제대로 동작하는지 확실하지 않음.
Real Trajectory 가 더욱 제대로 되도록 학습되어야 함.
(필요) 학습 데이터를 더욱 일반화가 되도록 다양화 (입력의 속도/각도 등에 대해서 다양한 상태에서 시작해야 함. )

해당 그림은 CPU에서 학습된 모델로, Return 값이 좀더 낮긴 했음

2023.10.18: Rosbot Data Collect

Collaborator : 청웅
Linear : 1.0 0.5 0.1 (+/-) (1.0 이 대략 1미터)
Angular : 20 / 10 / 1 / 5 (+/-)