笔记

1 珠玉在前

论文1

• Richter D J, Calix R A. QPlane: An Open-Source Reinforcement Learning Toolkit for Autonomous Fixed Wing Aircraft Simulation[C]//Proceedings of the 12th ACM Multimedia Systems Conference. 2021: 261-266.

  QPlane | Proceedings of the 12th ACM Multimedia Systems Conference

  [本地](.\QPlane An Open-Source Reinforcement Learning Toolkit for Autonomous Fixed Wing Aircraft Simulation.pdf)

​

• GitHub - JDatPNW/QPlane: Fixed Wing Flight Simulation Environment for Reinforcement Learning

论文2

• Rennie G. Autonomous Control of Simulated Fixed Wing Aircraft using Deep Reinforcement Learning[D]. Master’s thesis. The University of Bath, Bath, United Kingdom, 2018.

• Rennie_Gordon.pdf (bath.ac.uk)

  [本地](D:\NoteBook\gym+jsbsim\GYM环境下的JSMSim\Autonomous Control of Simulated Fixed Wing Aircraft using Deep Reinforcement Learning.pdf)

• 

  

  

• GitHub - Gor-Ren/gym-jsbsim: A reinforcement learning environment for aircraft control using the JSBSim flight dynamics model

2 实践

实践1 论文2 gym-jsbsim

1 新建anaconda环境

1. 选择Python3.8 命名为 gym-jsbsim

   

2. 激活环境

   conda activate gym-jsbsim
   

   

3 使用conda 安装 pytorch：查看之前的文章深度学习第一步 Windows+NVIDA配置 CUDA pytorch 环境 - 英飞 - 博客园 (cnblogs.com)

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

测试pytorch

 import torch
>>> a = torch.ones((3,1))
>>> a = a.cuda(0)
>>> b = torch.ones((3,1)).cuda(0)
>>> a+b

安装 pygame gym ,numpy , matplotlib

pip install pygame
pip install gym
pip install matplotlib 
pip install numpy

2 安装jsbsim

1安装python版本 jsbsim

发布 ·JSBSim-Team/jsbsim ·GitHub

Jsbsim :: Anaconda.org

conda install -c conda-forge jsbsim

尝试运行Jsbsim

demo

GitHub - JSBSim-Team/jsbsim: An open source flight dynamics & control software library

test.py 
import jsbsim

fdm = jsbsim.FGFDMExec(None)  # Use JSBSim default aircraft data.
fdm.load_script('scripts/c1723.xml')
fdm.run_ic()

while fdm.run():
  pass

命令行移动到test.py所在文件夹然后运行

python test.py

2 安装exe版本的jsbsim

下载，https://codeload.github.com/JSBSim-Team/jsbsim/zip/refs/heads/master

解压然后复制到C盘根目录下，并把其加入系统环境变量

在命令行中输入 jsbsim --version 验证

3 FilghtGear 安装

可以先省略

如何：安装飞机 - 飞行装备维基 (flightgear.org)

模拟飞行入门手册_帮助教程 FlightGear飞行模拟器

FlightGear技术分析 – Fishpro的技术博客

• 下载链接

Download Central – FlightGear Flight Simulator

一直点继续进行安装即可

然后将目录下的bin文件夹添加到环境变量中,然后重启电脑

fgfs --version

• 下载完成之后还要下载相关数据

Download FlightGear - Flight Simulator from SourceForge.net

下载完成之后解压，然后复制到FilghtGear/data文件夹

• 下载飞机模型Index of /flightgear/ftp/Aircraft/ (ibiblio.org)

  这里我们先下载

  • F15 fighter jet http://mirrors.ibiblio.org/flightgear/ftp/Aircraft/F-15.zip
  • A320 airliner http://mirrors.ibiblio.org/flightgear/ftp/Aircraft/A320-family.zip

  解压，然后复制到FilghtGear/data/Aircraft文件夹下即可

4 安装gym-jsbsim

pip install git+https://github.com/Gor-Ren/gym-jsbsim

到此为止，我们就完成了对gym-jsbsim的配置，但是 gym-jsbsim只是将jsbsim仿真模型和gym相结合的产物，我们要想使用还得需要强化学习算法的框架。这里我们使用小雅的框架。

5 小雅框架配置

AI4Finance-Foundation/ElegantRL: Scalable and Elastic Deep Reinforcement Learning Using PyTorch. Please star.