Linux性能工具-bpftrace入门

一、bpftrace简介

bpftrace 是基于ebpf内核vm扩展出来的trace工具。

bpftrace 是 Linux 高级追踪工具和语言。该工具基于 eBPF 和 BBC 实现了通过探针机制采集内核和程序运行的信息，然后用图表等方式将信息展示出来，帮助开发者找到隐藏较深的 Bug、安全问题和性能瓶颈。github主页介绍如下：

bpftrace 是一种基于 Linux 的eBPF高级跟踪语言，可用于最新的 Linux 内核 (4.x)。bpftrace 使用 LLVM 作为后端将脚本编译为 BPF 字节码，并利用BCC与 Linux BPF 系统进行交互，以及现有的 Linux 跟踪功能：内核动态跟踪（kprobes）、用户级动态跟踪（uprobes）、和跟踪点。bpftrace 语言的灵感来自 awk 和 C，以及 DTrace 和 SystemTap 等前身跟踪器。

github项目地址为：GitHub - iovisor/bpftrace: High-level tracing language for Linux eBPF

二、bpftrace安装

bfptrace官方建议linux内核版本为4.9或以上。主要是由于一些工具可能适用于旧内核，但是这些旧内核没有经过测试。

CentOS安装：

curl https://repos.baslab.org/rhel/7/bpftools/bpftools.repo --output /etc/yum.repos.d/bpftools.repo

yum install bpftrace bpftrace-tools bpftrace-doc bcc-static bcc-tools

Ubuntu安装：

1、sudo apt-get install -y bpftrace（适用于ubuntu19.04及更高版本）

2、sudo snap install --devmode bpftrace sudo snap connect bpftrace:system-trace（适用于ubuntu16.04及更高版本）

三、bpftrace使用入门

3.1 探针

图中，如kprobeb/kretprobe为动态跟踪、内核级探针，kprobeb是检测函数执行的开始，kretprobe为检测结束（返回）。uprobe/uretprobe为动态跟踪、用户级探针，uprobeb是检测用户级函数执行的开始，uretprobe为检测结束（返回）。tracepoint为静态跟踪、用户级探针。

3.2 bpftrace基础语法

最基础的例子--以hello world开始：bpftrace -e 'BEGIN { printf("Hello, World!\n"); }'。需要注意的是有些单行命令只有结束，按ctrl+c结束了才会输出内容。

bpftrace -l 可以列出bpftrace所支撑的探针。如bpftrace -l ‘*nanosleep’可以列出bpftrace支持的nanosleep函数相关的所有探针。

3.2.1 单行语句

如系统函数raw_syscalls:sys_enter的调用统计，语法为：bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'。其中count()是统计次数方法，@[]为关联数组，comm为进程名称。

其他单行函数示例如下：

# Files opened by process
bpftrace -e 'tracepoint:syscalls:sys_enter_open { printf("%s %s\n", comm, str(args->filename)); }'

# Syscall count by program
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'

# Read bytes by process:
bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret/ { @[comm] = sum(args->ret); }'

# Read size distribution by process:
bpftrace -e 'tracepoint:syscalls:sys_exit_read { @[comm] = hist(args->ret); }'

# Show per-second syscall rates:
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @ = count(); } interval:s:1 { print(@); clear(@); }'

# Trace disk size by process
bpftrace -e 'tracepoint:block:block_rq_issue { printf("%d %s %d\n", pid, comm, args->bytes); }'

# Count page faults by process
bpftrace -e 'software:faults:1 { @[comm] = count(); }'

# Count LLC cache misses by process name and PID (uses PMCs):
bpftrace -e 'hardware:cache-misses:1000000 { @[comm, pid] = count(); }'

# Profile user-level stacks at 99 Hertz, for PID 189:
bpftrace -e 'profile:hz:99 /pid == 189/ { @[ustack] = count(); }'

# Files opened, for processes in the root cgroup-v2
bpftrace -e 'tracepoint:syscalls:sys_enter_openat /cgroup == cgroupid("/sys/fs/cgroup/unified/mycg")/ { printf("%s\n", str(args->filename)); }'

3.2.2 文件形式

BEGIN  // 初始化时执行，主要用于打印提示信息
{
        printf("Tracing bash commands... Hit Ctrl-C to end.\n");
        printf("%-9s\t%s\t%s\t%s\n", "TIME", "UID", "PID", "COMMAND");
}

uretprobe:/bin/bash:readline  //探针追踪内容
{
        time("%H:%M:%S\t");
        printf("%d\t%d\t%s\n", uid, pid, str(retval));
}

END  //bpftrace结束时执行
{
        printf("end-test");
}

官方提供了很多工具可供直接调用，地址为：https://github.com/iovisor/bpftrace/tree/master/tools

3.2.3 自定义代码

假设有一个C++程序如下：

#include<iostream>
using namespace std;

int add(int a, int b){
    return a+b;
}

int main(){
    int c = add(2,3);
    cout << c << endl;
}

编译后的文件为test，现在需要知道主函数在每次调用add函数时的输入输出以及耗时。如果有源码的时候直接改源码很顺手。那如果不想改代码、重编译的话，或者在某些情况下改代码会导致软件行为出现变化，采样失真。此时用bfptrace也可以检测用户自定义代码，写一个bfptarce脚本如下，命名为mycode.bt：

uprobe:./test:add {
    printf("program begin\n");
    @start = nsecs;
}
uretprobe:./test:add {
    printf("cost: %ld ns\n", nsecs-@start);
}
END
{
    printf("program end\n");
    clear(@start);
}

执行bpftrace mycode.bt，在另一个终端上执行test，结果为：