강화학습 프레임워크 후보

시스템 요구 사항

1. 강화학습 알고리즘이 있어야하고, 커스터 마이징 가능해야 한다.

   -> 강화학습 적용의 확장성

2. Unity 와 같은 시뮬레이션과 연동 가능해야한다.

   -> 환경 적용의 확장성, 가시화 상승

3. 커뮤니티가 활성화 되어 있어야한다.

   -> 많은 정보량

4. 병렬 환경에서도 구동 가능해야한다.

   -> 학습 가속

5. ROS2 와 연동했을때 문제 없어야한다.

   -> 실제 로봇 적용을 고려

 

강화학습 프레임워크 후보

 

1. Ray RLlib

장점:

다양한 알고리즘 지원: RLlib은 다양한 강화 학습 알고리즘을 지원합니다. 이는 연구자가 다양한 알고리즘을 쉽게 실험해 볼 수 있게 합니다.
분산 학습 지원: RLlib은 분산 학습을 지원하며, 이를 통해 대규모의 학습 작업을 처리할 수 있습니다.
다양한 환경 지원: RLlib은 OpenAI Gym 인터페이스를 따르는 다양한 환경을 지원합니다.

 

단점:

복잡성: RLlib은 매우 강력한 도구이지만, 그만큼 복잡성도 높습니다. 이로 인해 학습 곡선이 가파를 수 있습니다.
문서화: RLlib의 문서화는 개선이 필요한 부분이 있습니다. 특히, 고급 기능에 대한 문서화가 부족할 수 있습니다.

https://docs.ray.io/en/master/rllib/

RLlib: Industry-Grade Reinforcement Learning — Ray 3.0.0.dev0

 

2. Acme

 

https://www.deepmind.com/publications/acme-a-new-framework-for-distributed-reinforcement-learning

Acme: A new framework for distributed reinforcement learning

 

장점:

모듈성: Acme는 간단하고 모듈식 구성 요소를 사용하여 다양한 규모의 실행에서 사용할 수 있는 에이전트를 구축하도록 설계되었습니다. 이는 연구자가 새로운 아이디어를 빠르게 프로토타입화하고 게시된 RL 알고리즘을 재현하는 데 도움이 됩니다.
재현성: Acme는 중요하거나 최신의 알고리즘에 대한 간단한 참조 구현을 제공합니다. 이는 Acme의 설계 결정의 유효성을 입증하는 데 도움이 되며, RL 연구의 재현성에 중요한 기여를 합니다.

 

단점:

알고리즘 지원: Acme는 RLlib에 비해 지원하는 알고리즘의 수가 적습니다. 이는 특정 알고리즘을 사용하려는 연구자에게는 제한적일 수 있습니다.
분산 학습 지원: Acme는 RLlib에 비해 분산 학습 지원이 덜 발달되어 있습니다. 이는 대규모 학습 작업을 처리하는 데 제한적일 수 있습니다.