QEMU + Vscode + Arm Arch's Linux调试小记

​ 前几天看到了一篇讲授如何调试ARM Linux内核的文章，这里现在记录一下调试ARM Linux内核的办法

下载QEMU

​ 对于Arch Linux用户而言，没有必要自己编译，直接上AUR源下载就行。我自己有打算研究和调试多个架构，所以我自己下载了：

yay -S qemu-full

关于什么是QEMU：https://wiki.archlinux.org/title/QEMU

AUR源：https://archlinux.org/packages/extra/x86_64/qemu-full/

如果只是想要调试ARM64位linux，需要下载的是aarch版本的。

下载完成之后，可以看看自己是否可以正常启动：

qemu-system-aarch64 --version
QEMU emulator version 9.0.1
Copyright (c) 2003-2024 Fabrice Bellard and the QEMU Project developers

下载aarch64-gcc

yay -S aarch64-linux-gnu-gcc 

aarch64-linux-gnu-gcc  -v 
Using built-in specs.
COLLECT_GCC=aarch64-linux-gnu-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/aarch64-linux-gnu/14.1.0/lto-wrapper
Target: aarch64-linux-gnu
Configured with: /build/aarch64-linux-gnu-gcc/src/gcc-14.1.0/configure --prefix=/usr --program-prefix=aarch64-linux-gnu- --with-local-prefix=/usr/aarch64-linux-gnu --with-sysroot=/usr/aarch64-linux-gnu --with-build-sysroot=/usr/aarch64-linux-gnu --with-native-system-header-dir=/include --libdir=/usr/lib --libexecdir=/usr/lib --target=aarch64-linux-gnu --host=x86_64-pc-linux-gnu --build=x86_64-pc-linux-gnu --disable-nls --enable-default-pie --enable-languages=c,c++,fortran --enable-shared --enable-threads=posix --with-system-zlib --with-isl --enable-__cxa_atexit --disable-libunwind-exceptions --enable-clocale=gnu --disable-libstdcxx-pch --disable-libssp --enable-gnu-unique-object --enable-linker-build-id --enable-lto --enable-plugin --enable-install-libiberty --with-linker-hash-style=gnu --enable-gnu-indirect-function --disable-multilib --disable-werror --enable-checking=release
Thread model: posix
Supported LTO compression algorithms: zlib zstd
gcc version 14.1.0 (GCC) 

下载BusyBox

这个比较遗憾，因为我们是调试ARM架构的，所以文件系统的架构基础必须是ARM，否则文件系统无法识别，为此我们不得不干脏活：手动编译ARM版本的BusyBox

Downloads: https://www.busybox.net/downloads/

busybox-1.36.1.tar.bz2: https://www.busybox.net/downloads/busybox-1.36.1.tar.bz2

下一步就是配置，好玩的是：我们需要更改一下menuconfig的文件：

你可以先尝试make menuconfig，不过马上就会给你抛错：说找不到libncurse5，其实不然，改一下shell脚本就行：

https://aur.archlinux.org/cgit/aur.git/tree/esp8266-rtos-sdk-aur-ncurses-fix.patch?h=esp8266-rtos-sdk

也就是把main改成int main就好

下一步就是：

make menuconfig
Settings --->
 [*] Build static binary (no shared libs) 

指定编译架构和参数

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make && make install

我们所有的文件就会出现在源代码根目录下的_install里，下面比较麻烦——为了制作操作系统的可用文件系统，必须多加点

cd _install
mkdir etc dev lib
➜  ls
bin/  dev/  etc/  lib/  linuxrc@  sbin/  usr/

​ 下面依次创建文件：

在etc目录下：

profile

#!/bin/sh
export HOSTNAME=Charliechen
export USER=root
export HOME=/home
export PS1="[$USER@$HOSTNAME \W]\# "
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH

inittab

::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

fstab

#device  mount-point    type     options   dump   fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0

​ 新建一个init.d文件夹：

里面放入文件

rcS

mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

改一下权限：

chmod 777 rcS

1. busybox 作为linuxrc启动后， 会读取/etc/profile, 这里面设置了一些环境变量和shell的属性
2. 根据/etc/fstab提供的挂载信息， 进行文件系统的挂载
3. busybox 会从 /etc/inittab中读取sysinit并执行， 这里sysinit指向了/etc/init.d/rcS
4. /etc/init.d/rcS 中 ，mdev -s 这条命令很重要， 它会扫描/sys目录，查找字符设备和块设备，并在/dev下mknod

我们继续：在dev目录下创建console文件

cd _install/dev
sudo mknod console c 5 1

拷贝aarch目录下的lib动态文件到lib目录，让动态运行文件可以执行：

cd _install/lib
cp /usr/aarch64-linux-gnu/lib/*.so*  -a .

编译linux 6.9.5的内核

make defconfig ARCH=arm64

修改.config的这些配置：

CONFIG_DEBUG_INFO=y 			# 更多的调试信息
CONFIG_INITRAMFS_SOURCE="./root" # 文件系统在哪？
CONFIG_INITRAMFS_ROOT_UID=0
CONFIG_INITRAMFS_ROOT_GID=0

注意，上面的信息务必是：存在则修改，不存在添加！

在Linux源码目录下添加一个root文件夹，其实这对应的是CONFIG_INITRAMFS_SOURCE的位置：

mkdir root
sudo cp -r path/to/your/busybox_source_code/_install ./root

make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

泡杯茶老铁！

启动！

/usr/local/bin/qemu-system-aarch64 
-m 512M 		# 内存为512M
-smp 4 			# 4核
-cpu cortex-a57 # cpu 为cortex-a57
-machine virt 	
-kernel arch/arm64/boot/Image #  kernel镜像文件
-append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" 
# 传给kernel 的cmdline参数。其中rdinit指定了init进程；nokaslr 禁止内核起始地址随机化，这个很重要， 否则GDB调试可能有问题；console=ttyAMA0指定了串口，没有这一步就看不到linux的输出
-nographic # 禁止图形输出
-s # 监听gdb端口， gdb程序可以通过1234这个端口连上来。

qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt -kernel arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic -s

启动起来！

成功运行!

链接到vscode进行远程调试

我们在Linux源代码根目录下code .

非上位机架构需要使用gdb-multiarch来调试!

yay -S gdb-multiarch

在.vscode文件处添加launch.json文件：

➜  cat .vscode/launch.json 
{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "kernel debug",
            "type": "cppdbg",
            "request": "launch",
            "program": "${workspaceFolder}/vmlinux",
            "cwd": "${workspaceFolder}",
            "MIMode": "gdb",
            "miDebuggerPath":"/usr/bin/gdb-multiarch",
            "miDebuggerServerAddress": "localhost:1234"
        }
    ]
}⏎

下一步可能出错的是——没有对应版本的py，这个自信寻找aur源，我当时缺少的是python311，所以在aur源搜索python+版本号就可以出来，举个例子少python3,7搜python37就OK！

之后我们就可以顺利的启动起来了：

下一步就是——打个断点试试看：我打在了kernel/fork.c的copy_mm函数！相信大家熟悉linux内核开发的都知道这个是什么（喜）

打好断点，输入ls并且回车，就可以看到断点生效！

Reference

https://zhuanlan.zhihu.com/p/510289859