首页 > 系统相关 >golang如何使用指针灵活操作内存?unsafe包原理解析

golang如何使用指针灵活操作内存?unsafe包原理解析

时间:2024-06-22 17:54:02浏览次数:26  
标签:string uintptr unsafe golang 内存 byte Pointer 指针

Hi 你好,我是k哥。一个大厂工作6年,还在继续搬砖的后端程序员。

我们都知道,C/C++提供了强大的万能指针void*,任何类型的指针都可以和万能指针相互转换。并且指针还可以进行加减等算数操作。那么在Golang中,是否有类似的功能呢?答案是有的,这就是我们今天要探讨的unsafe包。

本文将深入探讨unsafe包的功能和原理。同时,我们学习某种东西,一方面是为了实践运用,另一方面则是出于功利性面试的目的。所以,本文还会为大家介绍unsafe 包的典型应用以及高频面试题。

功能

为了实现灵活操作内存的目的,unsafe包主要提供了4个功能:

  1. 定义了Pointer类型,任何类型的指针都可和Pointer互相转换,类似于c语言中的void*
var a int = 1
p := unsafe.Pointer(&a) // 其它类型指针转Pointer
b := (*int)(p) // Pointer类型转其它类型指针
fmt.Println(*b) // 输出1
  1. 定义了uintptr类型,Pointer和uintptr可以互相转换, 从而实现指针的加减等算数运算。
type Person struct {
    age int
    name string
}
person := Person{age:18,name:"k哥"}
p := unsafe.Pointer(&person) // 其它类型指针转Pointer
u := uintptr(p) // Pointer类型转为uintptr
u=u+8 // uintptr加减操作
pName := unsafe.Pointer(u) // uintptr转换为Pointer
name := *(*string)(pName)
fmt.Println(name) // 输出k哥

uintptr是用于指针运算的,它只是一个存储一个 指针地址int 类型,GC 不把 uintptr 当指针,因此, uintptr 类型的目标可能会被回收

  1. 获取任意类型内存对齐、偏移量和内存大小。
func Alignof(x ArbitraryType) uintptr // 内存对齐
func Offsetof(x ArbitraryType) uintptr // 内存偏移量
func Sizeof(x ArbitraryType) uintptr // 内存大小
  • Alignof 返回类型x的内存地址对齐值m,这个类型在内存中的地址必须是m的倍数(基于内存读写性能的考虑)。
  • Offsetof 返回结构体成员x在内存中的位置离结构体起始处(结构体的第一个字段的偏移量都是0)的字节数,即偏移量。
  • Sizeof 返回类型 x 所占据的字节数,如果类型x结构有指针,Sizeof不包含 x 指针成员所指向内容的大小。

ArbitraryType是占位符,golang编译器在编译时会替换为具体类型

  1. 高性能类型转换。
func Slice(ptr *ArbitraryType, len IntegerType) []ArbitraryType
func SliceData(slice []ArbitraryType) *ArbitraryType
func String(ptr *byte, len IntegerType) string 
func StringData(str string) *byte
  • Slice 传入任意类型的指针和长度,返回该类型slice变量
  • SliceData 传入任意类型的slice变量,返回该slice底层数组的指针。
  • String 从一个byte指针派生出一个指定长度的字符串。
  • StringData 用来获取一个字符串底层字节序列中的第一个byte的指针。

高性能类型转换原理

为什么说Slice、SliceData、String、StringData是高性能类型转换函数呢?下面我们就来剖析下它们的实现原理。

本文以String和StringData函数为例,Slice和SliceData函数实现原理类似。在介绍函数实现原理之前,先认识下string类型的底层数据结构StringHeader。string类型会被Golang编译器编译成此结构,其中Data是byte数组地址,Len是字符串长度。

type StringHeader struct {
        Data uintptr // byte数组地址
        Len  int // 字符串长度
}

String函数会被Go编译成下面的函数实现逻辑。我们可以发现,ptr指针转换为string类型,是直接将ptr赋值给StringHeader的成员Data,而不需要重新拷贝ptr指向的byte数组。从而通过零拷贝实现高性能类型转换。

import (
    "fmt"
    "reflect"
    "unsafe"
)

func String(ptr *byte, len int) string {
    p := (uintptr)(unsafe.Pointer(ptr))
    hdr := &reflect.StringHeader{
        Data: p,
        Len:  len,
    }
    // 将 StringHeader 转为 string
    str := *(*string)(unsafe.Pointer(hdr))
    return str
}

func main() {
    bytes := []byte{'h', 'e', 'l', 'l', 'o'}
    ptr := &bytes[0]
    len := 5
    str := String(ptr, len)
    fmt.Println(str) // 输出hello
}

StringData函数会被Go编译成下面的函数实现逻辑。同理,我们可以发现,string类型转换为byte,是直接取StringHeader的uintptr类型成员Data,并将其转换为byte。不需要拷贝整个string,重新生成byte数组。从而通过零拷贝实现高性能类型转换。

import (
    "fmt"
    "reflect"
    "unsafe"
)

func StringData(str string) *byte {
    hdr := (*reflect.StringHeader)(unsafe.Pointer(&str))
    data := hdr.Data
    return (*byte)(unsafe.Pointer(data))
}

func main() {
    str := "hello"
    data := StringData(str)
    fmt.Println(string(*data)) // 输出h
}

回到问题,为什么说Slice、SliceData、String、StringData是高性能类型转换函数呢?通过String和StringData函数的实现逻辑,我们可以知道,String和StringData利用unsafe包,通过零拷贝,实现了高性能类型转换。

典型应用

在实践中,常见使用unsafe包的场景有2个:

  1. 与操作系统以及非go编写(cgo)的代码通信。
func SetData(bytes []byte) { 
    cstr := (*C.char)(unsafe.Pointer(&bytes[0])) // 转换成一个C char类型
    C.setData(cstr, (C.int)(len(bytes))) // 调用C语言函数
}
  1. 高性能类型转换。
func Bytes2String(b []byte) string {
    return *(*string)(unsafe.Pointer(&b))
}

func String2Bytes(s string) []byte {
    sh := (*reflect.StringHeader)(unsafe.Pointer(&s))
    bh := reflect.SliceHeader{
        Data: sh.Data,
        Len:  sh.Len,
        Cap:  sh.Len,
    }
    return *(*[]byte)(unsafe.Pointer(&bh))
}

高频面试题

  1. 能说说uintptr和unsafe.Pointer的区别吗?
  2. 字符串转成byte数组,会发生内存拷贝吗?

欢迎大家关注我的公粽号【golang架构师k哥】,每周分享golang和架构师技能。

标签:string,uintptr,unsafe,golang,内存,byte,Pointer,指针
From: https://www.cnblogs.com/killianxu/p/18262567

相关文章

  • Xcode调试内存最新理解
    前提:Xcode16.0beta设置Scheme设置中勾选MallocScribble、MallocStackLogging。这么做是为了在MemoryGraph、Profile中追溯数据在哪句代码生成。此设置会导致App硬盘占用异常增多,调试完毕之后需要把选项关闭。Allocations许多人刚开始用它第一能看懂的是上方图......
  • python3使用pyVmomi获取vCenter中虚拟机cpu/内存信息
    原创文档编写不易,未经许可请勿转载。文档中有疑问的可以邮件联系我。邮箱:[email protected]说明文章分享在Linux操作系统中安装python3环境,并通过pyVmomi获取vCenter中运行的虚拟机信息,最后把获取的虚拟机数据存储到数据库中。前三章为基础环境构建,第四章为脚本代码。环境软......
  • linux结束处于Tl状态的进程,释放内存资源
    原因是运行python结束时,用的ctrl+c不太行,尝试Ctrl+z,发现有时候管用。后面htop一看内存似乎没有释放掉。总结针对处在Tl状态的进程,用kill进程号没用,内存没有释放掉、进程没有关掉。用kill-CONT进程号解决,原理是发现SIGCONT信号,激活进程,然后就可以关掉了,内存也释放掉......
  • golang runtime.Caller 获取调用堆栈信息, Caller(1) 和 Caller(2) 的区别
     funcwhoCalledMe(){//获取调用堆栈信息_,fileName,lineNo,ok:=runtime.Caller(2)if!ok{fmt.Println("Failedtogetcallerinformation")return}fmt.Printf("Calledfrom:%s:%d\n",fileName,lineNo......
  • Python高效内存访问,memoryview这个神器你值得拥有!
    目录1、初识memoryview......
  • 深入理解和实现Windows进程间通信(共享内存)
    常见的进程间通信方法常见的进程间通信方法有:管道(Pipe)消息队列共享内存信号量套接字下面,我们将详细介绍共享内存的原理以及具体实现。什么是共享内存?Windows共享内存(SharedMemoryinWindows)是一种操作系统机制,允许不同的进程(程序)共享一段内存空间。这意味着多个进......
  • java object多大 java对象内存模型 数组有多长(九)多线程2
    背景:多线程与单线程byte模式有误差,而且多线程每次跑出来不一样 发现:set多线程单线程没有误差,意味着除了byte那一块代码,其他的代码是可被信任的单线程5000以下byte没有hash冲突时==单线程set==apache==理论值;基本证明了这套cas在单线程下没问题;hash冲突是导致单线程set和单线......
  • C语言 内存操作函数
    内存管理进程空间程序,是经源码编译后的可执行文件,可执行文件可以多次被执行,比如我们可以多次打开office。而进程,是程序加载到内存后开始执行,至执行结束,这样一段时间概念,多次打开的wps,每打开一次都是一个进程,当我们每关闭一个office,则表示该进程结束。程序是静态概......
  • 【C语言】16.动态内存管理
    文章目录1.为什么要有动态内存分配2.malloc和free2.1malloc2.2free3.calloc和realloc3.1calloc3.2realloc4.常见的动态内存的错误4.1对NULL指针的解引⽤操作4.2对动态开辟空间的越界访问4.3对⾮动态开辟内存使⽤free释放4.4使⽤free释放⼀块动态开辟内存的⼀部......
  • Go 内存模型与分配机制
    ......