首页 > 其他分享 >Go每日一库之154:eCapture(无需CA证书抓包https)

Go每日一库之154:eCapture(无需CA证书抓包https)

时间:2023-10-01 09:02:00浏览次数:41  
标签:tls firefox 154 -- 一库 so https bash ecapture

eCapture介绍

eCapture是一款基于eBPF技术实现的用户态数据捕获工具。不需要CA证书,即可捕获https/tls的通讯明文。

项目在2022年3月中旬创建,一经发布,广受大家喜爱,至今不到两周已经1200多个Star。

作用

  1. 不需要CA证书,即可捕获HTTPS/TLS通信数据的明文。
  2. 在bash审计场景,可以捕获bash命令。
  3. 数据库审计场景,可以捕获mysqld/mariadDB的SQL查询。

官网

代码仓库见:https://github.com/ehids/ecapture

产品架构

eCapture系统用户态程序使用Golang语言开发,具有良好的系统兼容性,无依赖快速部署,更适合云原生场景。内核态代码使用C编写,使用clang/llvm编译,生产bpf字节码后,采用go-bindata转化为golang语法文件,之后采用ehids/ebpfmanager类库,调用bpf syscall进行加载、HOOK、map读取。golang编译后,无其他任何依赖即可运行,兼容linux kernel 4.18以上所有版本。

eBPF加载机制

关于eBPF详细加载机制,可到https://ebpf.io/ 查阅相关原理。

实现原理

如工作原理的图所示,在用户态的加密解密函数中下钩子。tcpdump(libpcap)是在数据包接收到,XDP处理后,进行clone packet,进行包的复制,发送给用户态进程。二者工作的所在层不一样。

功能介绍

eCapture有三个模块

  1. tls/ssl明文数据捕获
  2. bash命令审计
  3. mysqld数据库审计

第一个功能适用于基于tls/ssl解密需求的运维监控、故障排查、抽样分析场景。

第二个功能适用于安全领域的bash入侵发现场景,这里只是简单的功能,可以在此基础上增加其他功能。

第三个功能适用于数据库审计场景,尤其是做数据安全、数据防泄漏,甚至入侵检测等。同样,可以在此基础上扩充其他功能。

查看其使用说明,如下:

cfc4n@vm-desktop:~/ehids/ecapture$ ./bin/ecapture
NAME:
 ecapture - capture text SSL content without CA cert by ebpf hook.

USAGE:
 ecapture [flags]

VERSION:
 0.1.5-20220325-47edbed

COMMANDS:
 bash  capture bash command
 help  Help about any command
 mysqld56 capture sql queries from mysqld >5.6 .
 tls  alias name:openssl , use to capture tls/ssl text content without CA cert.

DESCRIPTION:
 ecapture是一款无需安装CA证书,即可抓去HTTPS、TLS等明文数据包的工具。
 也可以捕获bash的命令,适用于安全审计场景。包括mysqld的数据库审计等。
 仓库地址: https://github.com/ehids/ecapture

OPTIONS:
      --debug[=false] enable debug logging
  -h, --help[=false] help for ecapture
      --hex[=false] print byte strings as hex encoded strings
  -p, --pid=0  if target_pid is 0 then we target all pids

其中,有四个全局参数,分别是

  • --debug , 用于启动调试日志
  • --help  , 查看帮助
  • --hex ,按照hex模式打印字符,用于查看不可见字符
  • --pid ,用于针对特定进程进行数据捕获

HOOK机制

eCapture采用eBPF uprobe相关函数进行HOOK,故需要目标用户态函数信息,包含函数符号表(symbol table),函数偏移地址(offset)。在大部分linux发行版中,使用的二进制可执行文件(ELF)都是包含符号表的;少部分发行版,会去掉ELF中的符号表。那么针对这种场景,就需要用户自行定位目标函数所在ELF/SO中的偏移地址,通过工具的参数来指定。

对于ELF文件,可以将目标类库静态编译到自身,也可以通过动态链接库的方式引用。那么对于这两种形式,eCapture根据不同场景进行自动查找。若查找不到,用户可以通过命令行参数指定。

故eCapture支持HOOK ELF,以及HOOK SO两种模式。会自动分析ELF文件,读取.dynamic.dynsym等段信息,查找相关链接库名以及函数名、偏移地址。

查找原理如下图:

tls/ssl

ecapture tls命令用于启动tls/ssl模块,支持了三类tls/ssl加密类库,分别是

  • openssl ,动态链接库名字为libssl.so
  • gnutls ,动态链接库名字为libgnutls.so
  • nss/nspr ,动态链接库名字为libnspr4.so

在不同的linux发行版中,因为各种原因,会选择不同的类库。比如wget程序,在ubuntu跟centos中就会使用不同的类库。有的是openssl,有的是gnutls,甚至两个库都引入了。

具体情况,你可以使用ldd $ELF_PATH | grep -E "tls|ssl|nspr|nss"来查看一个ELF文件使用类库情况。

cfc4n@vm-desktop:~$ ldd `which wget` |grep -E "tls|ssl|nspr|nss"
 libssl.so.1.1 => /lib/x86_64-linux-gnu/libssl.so.1.1 (0x00007f50699f6000)

对于firefox、chrome这种进程,需要在程序启动后才能看到tls类库依赖情况,那么,你可以使用sudo pldd $PID | grep -E "tls|ssl|nspr|nss" 来查看。

cfc4n@vm-desktop:~$ ps -ef|grep firefox
cfc4n       6846    1432 45 17:50 ?        00:00:04 /usr/lib/firefox/firefox -new-window
cfc4n@vm-desktop:~$ sudo pldd 6846 |grep -E "tls|ssl|nspr|nss"
/usr/lib/firefox/libnspr4.so
/usr/lib/firefox/libnssutil3.so
/usr/lib/firefox/libnss3.so
/usr/lib/firefox/libssl3.so
/lib/x86_64-linux-gnu/libnss_files.so.2
/lib/x86_64-linux-gnu/libnss_mdns4_minimal.so.2
/lib/x86_64-linux-gnu/libnss_dns.so.2
/usr/lib/firefox/libnssckbi.so

eCapture的tls模块命令行参数如下,用户可以使用默认配置外,也可以根据自己环境自行指定。

OPTIONS:
      --curl=""  curl or wget file path, use to dectet openssl.so path, default:/usr/bin/curl
      --firefox="" firefox file path, default: /usr/lib/firefox/firefox.
      --gnutls="" libgnutls.so file path, will automatically find it from curl default.
  -h, --help[=false] help for tls
      --libssl="" libssl.so file path, will automatically find it from curl default.
      --nspr=""  libnspr44.so file path, will automatically find it from curl default.
      --wget=""  wget file path, default: /usr/bin/wget.

同时,使用方法也比较简单,./ecapture tls --hex命令即可。

在linux上,firefox程序中,有很多通讯都使用了/usr/lib/firefox/libnspr4.so,但实际上业务请求是可以通过Socket Thread进程来发送的。可以通过这个特点来过滤,对于chrome程序,相信细心的你,也能搞定。

bash

笔者在安全部门工作,接到过bash审计需求,其实现方法无非是修改系统类库、使用内核模块等技术实现,对系统稳定性有一定风险。基于eBPF技术实现,可以避开这些问题。这里的bash命令的监控,是作为eBPF技术在安全审计场景中的一个探索。

eCapture在实现时首先查找ENV的$SHELL值,作为bash的二进制文件路径进行HOOK。对于bash加载了libreadline.so的场景,也会自动分析,进行符号表查找、offset定位,再进行HOOK。

bash模块的参数有三个,用户可以自定义bashreadlineso的路径。

OPTIONS:
      --bash=""  $SHELL file path, eg: /bin/bash , will automatically find it from $ENV default.
  -h, --help[=false] help for bash
      --readlineso="" readline.so file path, will automatically find it from $BASH_PATH default.

mysql/mariadb

与bash模块一样,也是作为数据库审计的一个探索。笔者环境为ubuntu 12.04,mysqld也因为协议关系,使用了衍生的MariadDB,用户也可以根据自己实际场景,使用命令行参数进行指定。

mysqld模块,核心原理是HOOK了dispatch_command函数:

  • 第一个参数为CMD类型,值为COM_QUERY时,为查询场景,即审计需求的查询类型。
  • 第二个参数是THD的结构体,在这里我们用不到。
  • 第三个是查询的SQL语句
  • 第四个参数是SQL语句的长度
// https://github.com/MariaDB/server/blob/b5852ffbeebc3000982988383daeefb0549e058a/sql/sql_parse.h#L112
dispatch_command_return dispatch_command(enum enum_server_command command, THD *thd,
   char* packet, uint packet_length, bool blocking = true);

mysqld审计模块参数如下:

OPTIONS:
  -f, --funcname=""   function name to hook
  -h, --help[=false]   help for mysqld56
  -m, --mysqld="/usr/sbin/mariadbd" mysqld binary file path, use to hook
      --offset=0   0x710410

其中,--mysqld是用来指定mysqld的路径。mysqld二进制程序符号表里虽然有dispatch_command信息,但dispatch_command这个函数名每次编译都是变化的,故不能写死。

eCapture的查找方式是读取mysqld二进制的.dynamic段信息,正则语法\w+dispatch_command\w+去匹配所有符号信息,找到其函数名、偏移地址,再使用。

你也可以通过objdump命令来查找,再通过命令行参数自行指定funcname。

mariadbd version : 10.5.13-MariaDB-0ubuntu0.21.04.1 objdump -T /usr/sbin/mariadbd |grep dispatch_command 0000000000710410 g    DF .text 0000000000002f35  Base        _Z16dispatch_command19enum_server_commandP3THDPcjbb

即offset为0x710410,函数名为_Z16dispatch_command19enum_server_commandP3THDPcjbb

使用

下载二进制包

eCapture发布在https://github.com/ehids/ecapture/releases ,目前最新版为eCapture v0.1.5

可在linux kernel 4.18以上版本运行。

二进制包地址:

https://github.com/ehids/ecapture/releases/download/v0.1.5/ecapture_v0.1.5.zip

国内加速地址:https://github.do/https://github.com/ehids/ecapture/releases/download/v0.1.5/ecapture_v0.1.5.zip

自行编译

代码仓库在https://github.com/ehids/ecapture ,你可以自行修改源码编译。

视频演示

点击查看【bilibili】

标签:tls,firefox,154,--,一库,so,https,bash,ecapture
From: https://www.cnblogs.com/arena/p/17738570.html

相关文章

  • Go每日一库之153:categraf (数据采集 Agent)
    简介Categraf是夜莺监控的默认数据采集Agent,主打开箱即用和all-in-one,同时支持对metrics、log、trace的收集,由夜莺监控核心开发团队开发。Categraf的代码托管在两个地方:中国计算学会确实开源平台:https://www.gitlink.org.cn/flashcat/categrafGithub:https://github.com/......
  • Go每日一库之152:gomacro(终端运行go代码)
    [gomacro](https://github.com/cosmos72/gomacro)是一个近乎完整的Go解释器,用纯Go实现,它同时提供交互式REPL和脚本模式,并且在运行时不需要Go工具链(除了一些非常特殊的场景:在运行时导入第三方包)。它在Go标准库之外有两个依赖项:github.com/peterh/liner和golang.org/x/......
  • Go每日一库之151:aurora(终端输出上色)
    背景介绍今天跟大家推荐一款可以给终端输出上色的工具--aurora。极速上手准备工作初始化项目gomodinitaurora演示项目结构.├──go.mod├──go.sum└──main.go安装aurora包goget-ugithub.com/logrusorgru/aurora代码演示首先引入aurora库import.......
  • Go每日一库之149:PDF处理相关库
    PDF处理场景:pdf渲染pdf校验pdf加水印pdf获取页数pdf合并pdf拆分修复受损pdfpdf转png识别pdf中的字体pdf解密...一、HTML页面渲染PDF根据html页面渲染pdf,我使用过以下两种方案:wkhtmltopdfchromedp1.使用wkhtmltopdf渲染pdfwkhtmltopdf是一个命令行工具,用......
  • Go每日一库之148:base64Captcha(多种形式验证码)
    Base64captcha几行代码就可以定义自己内容的图形验证码库,支持任意unicode字符的内容.1.文档&DemoEnglish中文文档Playground2.快速上手2.1下载base64Captcha包goget-ugithub.com/mojocn/base64Captcha2.2在您的项目中使用base64Captcha2.2.1实现Store......
  • 关于http-https的URL格式-及URL-Encode-基本格式分析
    关于http,https的协议格式,在很多资料上看到,基URL格式的如下:shceme://username:password@host:port/path;params?query#fragparams:key=value&key2=value2query(前面的资源可能会有SQL的where语句,一般就使用这里query):field=value&field=value2frag:锚定一个大的网页的......
  • Go每日一库之147:goldmark(Markdown转html)
    简介使用Markdown书写结构化的文档和评论已经相当流行了,Web服务需要将用户编写的Markdown文本转换为html以便浏览器渲染,还常常需要对Markdown语法进行自定义扩展以实现个性化的功能。本期要介绍的**goldmark**就是Go生态中的一款Markdown解析器和扩展器,与GitHub......
  • Go每日一库之169:dongle(编解码、加解密)
    一个轻量级、语义化、对开发者友好的golang编码解码、加密解密库。安装使用//使用github库goget-ugithub.com/golang-module/dongleimport("github.com/golang-module/dongle")//使用gitee库goget-ugitee.com/golang-module/dongleimport("g......
  • Go每日一库之168:redsync(redis分布式锁)
    今天给大家推荐的是基于redis的Go版本的分布式锁工具:redsync。该工具也是redis官网上推荐的。redsync基于redis的高可用、高性能、防死锁、防误删的分布式锁实现,具有高性能、高可用、防死锁、防误删的特点。一、分布式锁基础知识什么是分布式锁锁,在编程语言中就是一个变量,该变......
  • Go每日一库之167:emoji(emoji表情)
    大家在使用微信或钉钉聊天时,一定使用过表情符号。今天就给大家介绍一个能够在终端上显示emoji表情符号的包:emoji。实现原理:emoji表情符号实际上就是在unicode编码表中有定义的一个编码。通过将符号的文字表示和对应的unicode编码进行一一对应,在使用时对文字符号进行替换成rune字......