首页 > 编程语言 >PC端应用程序自动化测试——pywinauto、pywin32、pyautogui

PC端应用程序自动化测试——pywinauto、pywin32、pyautogui

时间:2023-03-19 11:46:03浏览次数:47  
标签:pyautogui 窗口 pywinauto app SW pywin32 win32gui

1 前言

PC 端自动化测试使用到的 python 模块主要有 pywinauto、win32gui、pyautogui,主要功能如下:

  • pywinauto:主要使用到 Application 类,用于应用程序管理(打开与关闭应用等)、窗口管理(最小化、最大化、关闭窗口)
  • pywin32:包含 win32gui、win32api、win32con 3个子模块,用于窗口管理(定位窗口、显示和关闭窗口、获取窗口位置等)
  • pyautogui:屏幕控制(截屏等)、鼠标控制(移动鼠标、单击、双击、右击、拖拽等)、键盘控制(编辑、按键等)

在 pycharm 中运行以下代码,以安装上述包:

install.py

import os

# https://pypi.douban.com/simple  # 豆瓣镜像
# https://pypi.tuna.tsinghua.edu.cn/simple  # 清华镜像

mirror = " -i https://pypi.douban.com/simple"

os.system("python -m pip install --upgrade pip" + mirror)  # 更新 pip

os.system("pip install pywinauto" + mirror)  # 安装 pywinauto
os.system("pip install pypiwin32" + mirror)  # 安装 pypiwin32 和 pywin32
os.system("pip install pyautogui" + mirror)  # 安装 pyautogui

注意:安装 pywin32 模块时,使用的是 pypiwin32,否则在导入包时会报错。

查看窗口标题、窗口类、窗口边界坐标、子窗口标题、子窗口类、鼠标位置等信息,可以使用 inspect.exe 和 UISpy.exe 等工具。

2 pywinauto

pywinauto 模块主要用于应用控制(打开、关闭应用等)窗口控制(最大化、最小化窗口等),也可以等位到控件,并对控件进行操作,如点击、编辑等。

对于 pywinauto 模块,主要使用其中的 Application 类,需要导入包,并定义一个 Application 类的对象。

from pywinauto.application import Application

app = Application(backend="win32")

说明:backend 属性有2个取值:win32 和 uia,win32 为默认值,backend 取值不同,接口调用差异较大。

2.1 应用控制

# 打开应用
app.start(app_path)
app.start(r"C:\Program Files (x86)\Tencent\QQ\Bin\QQ.exe")

# 连接应用
app.connect(path=app_path)
app.connect(path=r"C:\Program Files (x86)\Tencent\QQ\Bin\QQ.exe")

# 关闭应用
app.kill()

说明:待连接的应用必须是已经打开的应用,连接应用是为了将 app 对象与目标应用绑定,以实现对目标应用的控制。

2.2 窗口控制

(1)定位窗口

# 定位到窗口(class_name:窗口类名,title:窗口标题)
dlg = app.window(class_name, title)
dig = app.class_name
dlg = app[title]

# 判断窗口是否存在
dlg.exists()

(2)获取窗口信息

app.Notepad.print_control_identifiers()

输出如下:

Notepad - '无标题 - 记事本'    (L629, T124, R1359, B749)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L638, T187, R1350, B711)
   | ['无标题 - 记事本Edit', 'Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L638, T711, R1350, B740)
   | ['StatusBar UTF-8', '无标题 - 记事本StatusBar', 'StatusBar  第 1 行,第 1 列', 'StatusBar 100%', 'StatusBar Windows (CRLF)', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")

(3)最小化、最大化、恢复、关闭窗口

# 最小化窗口
dlg.minimize()

# 最大化窗口
dlg.maximize()

# 恢复窗口
dlg.restore()

# 关闭窗口
dlg.close()

2.3 控件控制

由于 windows 上一些控件的 class_name、title 等信息通常缺失,较难定位到具体控件,但记事本的各窗口和控件信息较全,本节以记事本为例,介绍控件的简单操作。

from pywinauto.application import Application
from time import sleep

app = Application(backend="win32")
app = app.start(r"C:\WINDOWS\system32\notepad.exe")  # 启动记事本
# app = app.start(r"notepad.exe")  # backend 取值为 win32 时,可以这样写
sleep(1)
app.Notepad["Edit"].TypeKeys(u"您好,记事本,我是 pywinauto")  # 定位到输入框,并输入文本
sleep(1)
app.Notepad.MenuSelect(u'文件->另存为(&A)...')  # 另存为
sleep(1)
app[u'另存为']['Edit'].TypeKeys(u"xxx.txt")  # 输入文件名
sleep(1)
app[u'另存为'][u'保存'].Click()  # 保存
sleep(1)
if app[u'另存为'].exists():
    app[u'确认另存为'][u"是"].Click()  # 替换原文件

3 pywin32

pywin32 包含 win32gui、win32api、win32con 3个子模块,主要用于窗口管理(定位窗口、显示和关闭窗口、窗口前置、窗口聚焦、获取窗口位置等),通常用的较多的是 win32gui,因此本文仅对此子模块进行介绍。在应用时,需要导入如下包:

import win32gui
import win32con

3.1 定位窗口

hwnd = win32gui.FindWindow(lpClassName=None, lpWindowName=None)  # 查找窗口,不找子窗口,返回值为0表示未找到窗口
hwnd = win32gui.FindWindowEx(hwndParent=0, hwndChildAfter=0, lpszClass=None, lpszWindow=None)  # 查找子窗口,返回值为0表示未找到子窗口

hwnd = win32gui.FindWindow("Notepad", u"无标题 - 记事本")

拓展:可以通过判断 hwnd 是否为0,确定窗口是否存在。

3.2 显示窗口

(1)显示方式

win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)

# SW_HIDE:隐藏窗口并激活其他窗口。nCmdShow=0。
# SW_SHOWNORMAL:激活并显示一个窗口。如果窗口被最小化或最大化,系统将其恢复到原来的尺寸和大小。应用程序在第一次显示窗口的时候应该指定此标志。nCmdShow=1。
# SW_SHOWMINIMIZED:激活窗口并将其最小化。nCmdShow=2。
# SW_SHOWMAXIMIZED:激活窗口并将其最大化。nCmdShow=3。
# SW_SHOWNOACTIVATE:以窗口最近一次的大小和状态显示窗口。激活窗口仍然维持激活状态。nCmdShow=4。
# SW_SHOW:在窗口原来的位置以原来的尺寸激活和显示窗口。nCmdShow=5。
# SW_MINIMIZE:最小化指定的窗口并且激活在Z序中的下一个顶层窗口。nCmdShow=6。
# SW_SHOWMINNOACTIVE:窗口最小化,激活窗口仍然维持激活状态。nCmdShow=7。
# SW_SHOWNA:以窗口原来的状态显示窗口。激活窗口仍然维持激活状态。nCmdShow=8。
# SW_RESTORE:激活并显示窗口。如果窗口最小化或最大化,则系统将窗口恢复到原来的尺寸和位置。在恢复最小化窗口时,应用程序应该指定这个标志。nCmdShow=9。
# SW_SHOWDEFAULT:依据在STARTUPINFO结构中指定的SW_FLAG标志设定显示状态,STARTUPINFO 结构是由启动应用程序的程序传递给CreateProcess函数的。nCmdShow=10。

(2)判断窗口是否最小化

# 若最小化,则将其显示
if win32gui.IsIconic(hwnd):
      win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)

(3)关闭窗口

win32gui.PostMessage(hwnd, win32con.WM_CLOSE, 0, 0)

(4) 窗口置前并获得焦点

win32gui.SetForegroundWindow(hwnd)  # 设置前置窗口
win32gui.SetFocus(hwnd)  # 设置聚焦窗口

3.3 屏幕信息

(1)获取窗边界

left, top, right, bottom = win32gui.GetWindowRect(hwnd)  # 获取窗口边界

(2)屏幕缩放比

import win32api, win32con, win32print, win32gui

def get_screen_scale_rate():
    x = win32api.GetSystemMetrics(0) # 屏幕缩放后的宽度分辨率
    hDC = win32gui.GetDC(0)
    w = win32print.GetDeviceCaps(hDC, win32con.DESKTOPHORZRES)  # 屏幕真实的宽度分辨率
    return w/x

注意:在获取屏幕缩放比时,不要和 pyautogui 包同时使用,否则 x=w。

4 pyautogui

pyautogui 模块主要用于屏幕控制(获取屏幕尺寸、截屏等)、鼠标控制(移动鼠标、单击、双击、右击、拖拽、滚动等)、键盘控制(编辑、按键等)。在使用此模块时,需要导入如下包:

import pyautogui

4.1 屏幕控制

(1)获取屏幕分辨率

screenWidth, screenHeight = pyautogui.size()

(2)截屏

pyautogui.screenshot("my_screenshot.png", region=(100,100,500,500))  # region 为截屏区域,忽略表示截全屏

img = pyautogui.screenshot()
img.save('my_screenshot.png')

(3) 查找图片

coords = pyautogui.locateOnScreen('target_capture.png') # 在当前屏幕中查找指定图片(图片是当前屏幕某个区域的截图)
x, y = pyautogui.center(coords) # 获取定位到的图中间点坐标

x, y = locateCenterOnScreen('target_capture.png')  # 返回查找到的截图中心坐标

说明:此方法通常用于定位到控件。

4.2 鼠标控制

(1)获取鼠标位置与移动鼠标

# 获取鼠标位置
x, ypyautogui.position()

# 移动鼠标(x, y 为绝对位置,xOffset, yOffset 为相对偏移量,tween:渐变函数)
pyautogui.moveTo(x=100, y=100, duration=2, tween=pyautogui.linear)
pyautogui.moveRel(xOffset=None, yOffset=10, duration=0.0, tween=pyautogui.linear) # 相对原来的位置移动

(2)点击

# 单击鼠标(x, y 为点击位置,clicks:点击次数,interval:点击间隔,botton:取值有'left', 'middle', 'right',对应鼠标的左、中、右,duration:点击持续时间,tween:渐变函数)
pyautogui.click(x=None, y=None, clicks=1, interval=0.0, button='left', duration=0.0, tween=pyautogui.linear)
pyautogui.click(x, y)  # 单击
pyautogui.rightClick(x, y)  # 右击
pyautogui.middleClick(x, y)  # 中击
pyautogui.doubleClick(x, y)  # 双击

(3) 拖拽

# 鼠标拖拽
pyautogui.dragTo(x=427, y=535, duration=3, button='left')

# 鼠标相对拖拽
pyautogui.dragRel(xOffset=100, yOffset=100, duration=3, button='left', mouseDownUp=False)

(4)滚动

pyautogui.scroll(-500)  # 向下滚 500 格

4.3 键盘控制

# 输入文本
pyautogui.typewrite(message='Hello world!', interval=0.25)

# 按键
pyautogui.press('esc')
pyautogui.press(['left', 'left', 'left'])  # 依次按多个按键

# 组合热键(从左到右依次按下按键,再从右到左依次松开按键)
pyautogui.hotkey('ctrl', 'c')

常用按键说明如下:

ctrl、shift、alt、esc、backspace、win:同键盘
capslock、numlock、scrolllock、insert、delete、home、end、pageup、pagedown、pause、printscreen:同键盘
f1、f2、f3、...、f12:同键盘
enter、return、\n:Enter键
tab、\t:Tab键
up、down、left、right:箭头键

​ 声明:本文转自PC端应用程序自动化测试——pywinauto、pywin32、pyautogui

标签:pyautogui,窗口,pywinauto,app,SW,pywin32,win32gui
From: https://www.cnblogs.com/zhyan8/p/17232685.html

相关文章

  • 绝了!自动点赞,我用 PyAutoGUI!
    在之前文章​​中,我跟大家讲解了一下 ​​pyautogui​​ 的一些基础知识和操作,大家反馈很好,给了我好多赞,在此先跟大家说声三克油!在得到大家正反馈的同时,我受到了很大鼓舞,......
  • pyautogui.locateOnScreen在屏幕上查找图片并点击
    1.在Win10中任意窗口按下"Win+Shift+S"组合键进入截屏模式,截图并保存为n.png2.代码:#encoding=utf-8importpyautoguifromPILimportImageimporttimetime.slee......
  • 【pywin32】使用win32com操作Excel,报错com_error -2147417851
    帮写一个界址点成果表输出程序,基于ArcPy取数据,采用win32com操作Excel。在客户机报错如下: 系统MSOffice为购机预装阉割版,卸载,otp重装,仍然报错。怀疑是WPS Office篡改......
  • python自动化办公--pyautogui控制鼠标和键盘操作
    ✅作者简介:热爱科研的算法开发者,Python、Matlab项目可交流、沟通、学习。 ......
  • [转]python库 Pywin32使用
    本文转自:https://www.cnblogs.com/chenjy1225/p/12174889.htmlpython库Pywin32使用 https://github.com/wuxc/pywin32docPywin32提供了很多访问windows的API。较重......
  • PyAutoGui:用代码操作鼠标键盘
    PyAutoGui参考:https://zhuanlan.zhihu.com/p/466800088参考:https://blog.csdn.net/weixin_38640052/article/details/112387653安装:pip3installpyautogui引入:impo......
  • 自动化工具PyAutoGUI :键盘操作
    pyautogui.typewrite('Helloworld!')#输入Helloworld!字符串pyautogui.typewrite('Helloworld!',interval=0.25)#每次输入间隔0.25秒,输入Helloworld!pyautogui.......
  • 简单利用pyautogui自动查找信息,复制保存到文本文档中。
    前言工作使用的核酸检测系统搜索人名只能一个号一个号的搜,让人头大。之前从师兄那里知道了pyautogui这个神器,便拿来偷懒用。目的将所需搜索的条码号保存在文本中,在平台......
  • pyautogui + opencv 笔记
    安装pipinstallpyautoguipipinstallopencv-python==3.4.8.291,控制鼠标的移动获取屏幕分辨率>>>importpyautogui>>>宽,高=pyautogui.size()>>>宽,高......
  • [常用工具] PyAutoGUI使用教程
    date:2021-12-2119:40:22+0800tags:-常用工具-PythonPyAutoGUI使用教程目录PyAutoGUI使用教程1基础知识2一般函数3故障保险4鼠标函数4.1鼠标移动4.2......