영감 및 되새길점

Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO

• The PPO implementation(openai/baselines) contains many non-trivial optimizations that are not (or only barely) described in its corresponding paper.
• Find that PPO’s marked improvement over TRPO (and even stochastic gradient descent) can be largely attributed to these optimizations.
• When building algorithms, we should understand precisely how each component impacts agent training—both in terms of overall performance and underlying algorithmic behavior.

코드

implementation-matters/agent.py at master · MadryLab/implementation-matters

Contributions and Key Results

다크 프로그래머 :: 최적화 기법의 직관적 이해

• gradient descent에는 1차 미분을 이용한 방법과 2차 미분까지 이용한 최적화 법이 있음

  • n차 미분을 이용한 gradient descent는, 현재 위치에서 함수를 n차 방정식으로 근사한 다음, 그 근사값의 (local) optimum 위치를 다음 step으로 두는 것임.

    1차 미분 gradient descent의 step 사이즈를 적절히 조절하기 위한 방법이 **PPO-clip**
    
    - 1차 함수에는 optimum이 없으므로
  

  • 2차 미분 gradient descent의 step 사이즈를 적절히 조절하기 위한 방법이 trust region
    • 2차 함수로 근사하는 건 함수의 삼차 미분이 0이고 따라서 이차 미분이 상수라는 가정이 깔려 있다.
    • 그런데 현실적으로 임의의 함수는 이차 미분이 상수가 아니므로,
    • 이차 미분이 거의 상수인 일정 신뢰 영역 (trust reigon)을 설정 및 크기 조정하는 게 아이디어

Trust Region Policy Optimization — Spinning Up documentation (openai.com)

• Normal policy gradient keeps new and old policies close in parameter space.
• But even seemingly small differences in parameter space can have very large differences in performance—so a single bad step can collapse the policy performance. This makes it dangerous to use large step sizes with vanilla policy gradients, thus hurting its sample efficiency.
• TRPO nicely avoids this kind of collapse and tends to quickly and monotonically improve performance.
• On-policy: it explores by sampling actions according to the latest version of its stochastic policy.

Proximal Policy Optimization — Spinning Up documentation (openai.com)

• 액션의 결과로 얻은 Advantage가 양수일 때, 그런 액션이 나올 확률을 높이고 싶겠지만 기존에 해당 액션이 뽑힐 확률보다 (1+e)배 이상 늘리지 못한다.
• 액션의 결과로 얻은 Advantage가 음수일 때, 그런 액션이 나올 확률을 줄이고 싶겠지만 기존에 해당 액션이 뽑힐 확률보다 (1-e)배 이하로 줄이지 못한다.