【jetson orin】Jetson Containers介绍安装与应用

Machine Learning Containers for Jetson and JetPack

项目地址：项目仓库

介绍：
他的用途大概是帮助开发者快速的构建和运行一些docker镜像，比如ollama、llama-factory等热门项目都支持。在运行和构建的过程中针对jetson有做相当的优化。所以建议使用jetson容器去运行各个开源框架，尽可能的释放性能。

设备：jetson Orin NX 16G

环境：

安装步骤：

cd /opt/
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh

使用示例：

# 交互模式运行ollama
jetson-containers run $(autotag ollama)

命令行打印：

Namespace(packages=['ollama'], prefer=['local', 'registry', 'build'], disable=[''], user='dustynv', output='/tmp/autotag', quiet=False, verbose=False)
-- L4T_VERSION=36.3.0  JETPACK_VERSION=6.0  CUDA_VERSION=12.2
-- Finding compatible container image for ['ollama']
ollama:r36.3.0
V4L2_DEVICES: 
/opt/jetson-containers/run.sh: line 307: /tmp/nv_jetson_model: Is a directory
+ docker run --runtime nvidia -it --rm --network host --shm-size=8g --volume /tmp/argus_socket:/tmp/argus_socket --volume /etc/enctune.conf:/etc/enctune.conf --volume /etc/nv_tegra_release:/etc/nv_tegra_release --volume /tmp/nv_jetson_model:/tmp/nv_jetson_model --volume /var/run/dbus:/var/run/dbus --volume /var/run/avahi-daemon/socket:/var/run/avahi-daemon/socket --volume /var/run/docker.sock:/var/run/docker.sock --volume /opt/jetson-containers/data:/data -v /etc/localtime:/etc/localtime:ro -v /etc/timezone:/etc/timezone:ro --device /dev/snd --device /dev/bus/usb --device /dev/i2c-0 --device /dev/i2c-1 --device /dev/i2c-2 --device /dev/i2c-4 --device /dev/i2c-5 --device /dev/i2c-7 --device /dev/i2c-9 -v /run/jtop.sock:/run/jtop.sock --name jetson_container_20241023_163301 ollama:r36.3.0

注意最后的docker命令，Jetson Containers本身不运行容器，他是构建出一些启动命令发送到docker。实际上运行容器的还是docker，只是运行的镜像是优化过的。如果有需要可以复制出来做成compose文件也可以。

后台运行：

# 跟docker命令一样，最后都会拼接到启动命令中。
# 靠后的命令会覆盖前面的，所以不用担心报错，把想要的命令拼上去就行
jetson-containers run -d --name=ollama $(autotag ollama)