首页 > 编程语言 >『Python底层原理』--CPython 虚拟机

『Python底层原理』--CPython 虚拟机

时间:2025-01-23 17:35:56浏览次数:1  
标签:co CPython Python 虚拟机 PyObject 对象 代码

Python 编程的世界里,我们每天都在使用 python 命令运行程序,但你是否曾好奇这背后究竟发生了什么?

本文将初步探究 CPythonPython 中最流行的实现)的一些内部机制,为了更好的来理解 Python 语言的底层运作。

1. CPython 简介

CPython 是用** C 语言**编写的 Python 解释器,在众多 Python 实现(如 PyPyJythonIronPython 等)中,它以其原创性、良好的维护性和高人气脱颖而出。

了解 CPython 的一些内部机制,对我们学习和使用Python语言本身也有很大的帮助:

  1. 有助于深入理解 Python 语言:了解实现细节能让我们更轻松地掌握 Python 的一些特性
  2. 实现细节在实际应用中至关重要:对象存储方式、垃圾回收机制以及多线程协调等方面的知识,对于理解语言的适用性、局限性、性能评估和效率检测都非常关键
  3. CPython 提供的 Python/C API 允许我们用 C 扩展 Python 或在 C 中嵌入 Python,而有效使用该 API 需要对 CPython 的工作原理有深入理解

CPython是开源的,源码在github.com上:https://github.com/python/cpython

每个版本的Python都有相应的CPython实现,我目前使用的Python3.12

所以本文后续如果有参考的代码,参考的是CPython 3.12分支中的代码。

2. Python执行的流程

宏观上来来看,一个Python程序的执行大致分为三个阶段:

第一个阶段是初始化阶段CPython 在此阶段初始化运行 Python 所需的数据结构,包括内置类型、配置和加载内置模块、设置导入系统等。

这个阶段虽然重要,但常常被忽视,因为它主要为程序的运行做一些准备工作。

第二个阶段是编译阶段CPython是解释器,虽不生成机器码,但会将源代码转换为中间表示形式。

它会解析源代码构建抽象语法树(AST),从 AST 生成字节码,并进行一些字节码优化。

这个阶段虽然名称是编译,但是和C/C++这类编译型语言的编译不是一个含义。

Python代码经过编译之后的字节码是可以查看的,比如下面简单写一个加法函数。

def add(x, y):
    return x + y

命令行中使用:python.exe -m dis .\cpython-vm.py查看字节码。

LOAD_FAST 指令将局部变量压入栈中,

BINARY_ADD 指令从栈中弹出两个对象,将它们相加,并将结果压回栈中。

最后,RETURN_VALUE 指令弹出栈顶的任何内容,并将结果返回给调用者。

最后一个阶段是解释阶段CPython 的核心是一个执行字节码的虚拟机。字节码是一系列指令,每条指令由一个操作码和一个参数组成。

CPython 虚拟机是基于栈的,通过栈来存储和检索数据,执行指令。字节码执行在一个巨大的求值循环中进行,直到没有指令可执行或发生错误。

3. 核心概念

通过CPython虚拟机的内部机制来了解Python的底层原理,首先要关注的就是CPython虚拟机中的一些核心概念。包括:代码对象函数对象帧对象

3.1. 代码对象

代码对象CPython 中存储代码块相关信息的结构,像模块、函数体这类作为独立执行单元的代码,其信息都保存在代码对象里。

它包含字节码(程序编译后的中间表示形式),以及代码块内使用的变量名列表等关键信息。

从本质上讲,代码对象是对一段可执行代码的抽象表示,为函数的调用、模块的运行提供了必要的指令和数据描述。

其相关定义在源码文件:cpython/Include/cpython/code.h

#define _PyCode_DEF(SIZE) {                                                    \
    PyObject_VAR_HEAD                                                          \
    // 省略...                                                                 \
  
    /* The hottest fields (in the eval loop) are grouped here at the top. */   \
    PyObject *co_consts;           /* list (constants used) */                 \
    PyObject *co_names;            /* list of strings (names used) */          \
    PyObject *co_exceptiontable;   /* Byte string encoding exception handling  \
                                      table */                                 \
    int co_flags;                  /* CO_..., see below */                     \
                                                                               \
    /* The rest are not so impactful on performance. */                        \
    int co_argcount;              /* #arguments, except *args */               \
    int co_posonlyargcount;       /* #positional only arguments */             \
    int co_kwonlyargcount;        /* #keyword only arguments */                \
    int co_stacksize;             /* #entries needed for evaluation stack */   \
    int co_firstlineno;           /* first source line number */               \
                                                                               \
    /* redundant values (derived from co_localsplusnames and                   \
       co_localspluskinds) */                                                  \
    int co_nlocalsplus;           /* number of spaces for holding local, cell, \
                                     and free variables */                     \
    int co_framesize;             /* Size of frame in words */                 \
    int co_nlocals;               /* number of local variables */              \
    int co_ncellvars;             /* total number of cell variables */         \
    int co_nfreevars;             /* number of free variables */               \
    uint32_t co_version;          /* version number */                         \
                                                                               \
    PyObject *co_localsplusnames; /* tuple mapping offsets to names */         \
    PyObject *co_localspluskinds; /* Bytes mapping to local kinds (one byte    \
                                     per variable) */                          \
    PyObject *co_filename;        /* unicode (where it was loaded from) */     \
    PyObject *co_name;            /* unicode (name, for reference) */          \
    PyObject *co_qualname;        /* unicode (qualname, for reference) */      \
    PyObject *co_linetable;       /* bytes object that holds location info */  \
    PyObject *co_weakreflist;     /* to support weakrefs to code objects */    \
    // 省略...
}

/* Bytecode object */
struct PyCodeObject _PyCode_DEF(1);

定义比较长,这里只列出了一部分。

以上一节中示例中的函数add(x, y)函数为例,CPython 会为add函数体创建一个代码对象。

在这个代码对象中,字节码部分记录了如何加载变量xy、执行加法操作返回结果等指令序列。

同时,还包含co_argcount(参数数量,此处为 2)等属性,这些属性描述了函数的参数使用情况。

此外,代码对象还会记录函数定义所在的文件名(co_filename )、起始行号(co_firstlineno)等信息,方便调试和代码分析。

3.2. 函数对象

函数对象不仅仅包含可执行代码(即代码对象),还存储了与函数相关的其他重要信息,如函数名文档字符串docstring)、默认参数外部作用域变量值等。

函数对象将代码对象与函数运行所需的上下文信息整合在一起,使得函数可以在不同的环境中被正确调用和执行。

多个函数对象可以引用同一个代码对象,通过不同的外部信息实现不同的功能,例如闭包的实现。

其相关定义在源码文件:cpython/Include/cpython/funcobject.h

typedef struct {
    PyObject_HEAD
    _Py_COMMON_FIELDS(func_)
    PyObject *func_doc;         /* The __doc__ attribute, can be anything */
    PyObject *func_dict;        /* The __dict__ attribute, a dict or NULL */
    PyObject *func_weakreflist; /* List of weak references */
    PyObject *func_module;      /* The __module__ attribute, can be anything */
    PyObject *func_annotations; /* Annotations, a dict or NULL */
    PyObject *func_annotate;    /* Callable to fill the annotations dictionary */
    PyObject *func_typeparams;  /* Tuple of active type variables or NULL */
    vectorcallfunc vectorcall;

    uint32_t func_version;

} PyFunctionObject;

3.3. 帧对象

帧对象CPython 中用于跟踪代码执行过程中的各种状态信息。

当虚拟机执行代码对象时,帧对象负责记录变量的值、维护值栈(用于指令执行时的数据存储和操作),还会记录代码执行的位置(如当前行号、上一条执行的指令位置等),以便在函数调用、返回以及异常处理等情况下,能够正确恢复和继续执行代码。

可以说,帧对象代码对象的执行提供了一个动态的上下文环境,它随着代码的执行而创建和销毁,形成一个调用栈,反映了函数调用的层次结构。

其相关定义在源码文件:cpython/Include/internal/pycore_frame.h

struct _frame {
    PyObject_HEAD
    PyFrameObject *f_back;      /* previous frame, or NULL */
    struct _PyInterpreterFrame *f_frame; /* points to the frame data */
    PyObject *f_trace;          /* Trace function */
    int f_lineno;               /* Current line number. Only valid if non-zero */
    char f_trace_lines;         /* Emit per-line trace events? */
    char f_trace_opcodes;       /* Emit per-opcode trace events? */
    PyObject *f_extra_locals;   /* Dict for locals set by users using f_locals, could be NULL */
    /* This is purely for backwards compatibility for PyEval_GetLocals.
       PyEval_GetLocals requires a borrowed reference so the actual reference
       is stored here */
    PyObject *f_locals_cache;
    /* The frame data, if this frame object owns the frame */
    PyObject *_f_frame_data[1];
};

当调用函数时,会创建一个新的帧对象并压入调用栈。

当函数执行结束返回时,该帧对象从调用栈中弹出,虚拟机根据帧对象中记录的f_back(指向前一个帧对象的引用)等信息,恢复到调用函数之前的状态,继续执行后续代码。

4. 总结

本文主要对 CPython 执行 Python 程序的过程做一个初步的宏观介绍,了解了其主要的阶段和核心概念。

后续打算进一步就CPython某个部分的具体实现细节来介绍,逐步对CPython的内部机制进行深入的了解。

标签:co,CPython,Python,虚拟机,PyObject,对象,代码
From: https://www.cnblogs.com/wang_yb/p/18688238

相关文章

  • pycharm导入Python解释器错误解决
     1.Pycharm中显示PleaseselectavalidPythonInterpreterhttps://blog.csdn.net/hou09tian/article/details/120900335 _________________________________________________________________________________________________________________ 1、新建环境出现问题的......
  • python flask中使用or查询和and查询,还有同时使用or、and的情况
    在Flask中处理数据库查询时,通常会结合使用ORM工具,例如SQLAlchemy。以下是or查询、and查询以及两者同时使用的示例。文章目录基础准备1.使用or_查询2.使用and_查询3.同时使用or_和and_4.更加复杂的嵌套查询基础准备假设有一个模型User,定义......
  • 基于Python和uiautomation的Windows桌面自动化操作方案
    基于Python和uiautomation的Windows桌面自动化操作方案在日常开发和测试过程中,我们经常需要对Windows桌面应用程序进行自动化操作。本文将记录如何使用uiautomation库来实现这些操作,同时为了避免对主机的正常使用造成干扰,借助VMwareWorkstation虚拟机环境进行操作,并结合实际案例......
  • Python 融合豆包 AI 优化测试用例生成
    在软件开发过程中,测试用例的编写是确保软件质量的关键环节。传统的测试用例编写往往依赖人工经验,不仅耗时费力,还容易出现遗漏。随着人工智能技术的发展,利用AI来辅助生成测试用例成为了提高效率和质量的有效途径。本文将介绍如何使用Python与豆包AI融合,实现测试用例的......
  • 从零开始的Python之旅—Day2—语法特点和变量
    Day2—语法特点和变量目录Day2—语法特点和变量Python语法特点注释规则代码缩进编码规范变量保留字和标识符保留字标识符变量变量命名规则变量赋值常量Python语法特点注释规则1.单行注释:#之后的都被注释掉直到换行#注释内容以下两种注释都是正确的#输入身高,单位为......
  • Python中防止因外部调用导致程序崩馈
    使用 try 和 catch 只能处理Python中的一部分异常;但如果异常是由于外部程序(如 ffmpeg)调用时产生的,那么这种异常很可能会直接导致程序崩溃,不给你使用 try 和 catch 处理异常的机会。一个解决办法是用multiprocessing另起一个子进程来运行相关的代码。如果程序崩溃,也只......
  • 使用 PyInstaller 打包 Python 应用并解决依赖问题
    使用PyInstaller打包Python应用并解决依赖问题在Python开发中,有时需要将程序打包成独立的可执行文件,以便分发和部署。PyInstaller是一个广泛使用的工具,可以将Python程序及其依赖打包成可执行文件。然而,在打包过程中,我们经常会遇到一些问题,尤其是在处理复杂依赖或特定环......
  • docker-py:在Python中轻松使用Docker引擎API,更加灵活地管理和使用容器性
    Docker是一种流行的容器技术,让开发者能够在各种环境中快速地构建、部署和管理应用程序。而docker-py是一个强大的Python库,可以让你通过Python代码与Docker引擎API进行互动,实现与Docker命令相同的功能。本文将详细介绍docker-py的安装、使用以及一些常见的操作示例,帮助你更好地利用......
  • python-leetcode-随机链表的复制
    138.随机链表的复制-力扣(LeetCode)"""#DefinitionforaNode.classNode:def__init__(self,x:int,next:'Node'=None,random:'Node'=None):self.val=int(x)self.next=nextself.random=......
  • Pyenv:Python 版本管理的终极指南
    Pyenv:Python版本管理的终极指南在Python开发中,管理多个Python版本是一个常见的挑战。Pyenv是一个强大的工具,允许开发者在同一台机器上轻松切换不同的Python版本。无论你是初学者还是专业开发者,Pyenv都能帮助你更高效地管理Python版本。本指南将详细介绍Pyenv......