首页 > 编程语言 >python-游戏自动化(三)(实战-豆腐女孩)

python-游戏自动化(三)(实战-豆腐女孩)

时间:2024-09-13 23:22:17浏览次数:14  
标签:实战 豆腐 截图 return python window time cv 模拟器

前提准备

特别注意:
        本节教程所演示的模拟器分辨率设置为 720x1080(手机版),电脑分辨率设置大720x1080并且没有设置放大。

        今天的课程开始之前我们来回顾一下昨天所学的知识内容,因为今天要学的内容和昨天内容有着紧密的联系。昨天的课程主要讲解了计算机的图像相关基础知识,图像坐标系,图像灰度化,图像二值化,使用OpenCV进行图像匹配、图像切割,还尝试了对图像进行轮廓处理。

        在前面的学习中,我们已经掌握了使用OpenCV进行图片处理的相关知识,之所以做了那么多的铺垫,目的就是为这节课服务的。
        写出这个游戏的自动化脚本中,图像的处理占了超过一半的工作量,这也是模拟类自动化脚本的常见情况。
        图像处理的目的是什么? 是把图像识别成简单的数据类型或数据结构,以便于使用算法来解决问题。
        大家来想一想,在这个 豆腐女孩 的游戏中,规则很简单,开始后,只要不断识别游戏画面,看到有豆腐过来,就判断豆腐离女孩的距离,如果距离在某个数值范围内,点击鼠标起跳就可以了。

        通过观察游戏界面,豆腐出现的区域是不变的,所以我们只需要关注中间那一块区域就了,通过坐标把这一块区域裁剪出来,一方面可以减少图像处理的计算量,另一方面可以减少不必要的干扰,简化处理的逻辑。

        接下来对这块目标区域的图像进行处理,先装成灰度图,再找出一个合适的阈值,变成二值化图像:

        对于这样背景和前景分明的图像,就可以非常轻松的找出轮廓了,但不是所有的轮廓都是符合条件的,我们只需要找到面积最大的轮廓的边框,就可以确认豆腐的位置。

        上图中的绿色线条方框就是找出来的豆腐的位置,而小女孩是居中显示的,所以得到豆腐的边,再计算两个物体的距离,然后根据豆腐的移动速度,就可以算出起跳前的等待时间。

        通过OpenCV这个强大的图像处理库,就可以真正从目标识别的角度去编写逻辑,跟那些基于找图找色的按键精灵、易语言写的那些脚本不一样,这是基于图像识别的方法,使用分层思想来设计模型,帮助大家真正提高从底层逻辑去建立起解决问题的思维,这在大家以后不光是学编程,写python,做脚本时非常有用,对于生活中、学习中、工作中的复杂问题的解决,同样可以有很大的帮助。
        人跟人的本质区别,在于思维的层次差别。

        有了上面整理出来的思路,接下来老师就带领同学们来一步步来实现我们的思路。 

        抽离出一个模拟器的模块,负责对窗口的基本操作,比如激活、点击、截图等功能,到时作为模块导入,可以很方便的调用这里面的功能,从而简化逻辑,并且达到高内聚,低耦合的设计目标。

模拟器模块

import time
import win32api
import win32con
import win32gui
import win32ui
import numpy as np
import cv2 as cv

def activate_window():
    hwnd = win32gui.FindWindow(None, '雷电模拟器')  # 注意引号使用英文
    if hwnd == 0:
        print('未找到游戏窗口')
        return 0
    tup = win32gui.GetWindowPlacement(hwnd)  # 获取窗口布局
    if tup[1] != win32con.SW_SHOWNORMAL:  # 非正常尺寸(已最小化或最大化)
        win32gui.SendMessage(hwnd, win32con.WM_SYSCOMMAND, win32con.SC_RESTORE, 0)
        # 恢复窗口大小
        time.sleep(0.1)
    if win32gui.GetForegroundWindow() != hwnd:
        win32gui.SetForegroundWindow(hwnd)  # 窗口前置
        time.sleep(0.3)
    return hwnd

def click(window_coords):
    #:param window_coords: 元组(x, y) x为横坐标,y为纵坐标
    #:return: 返回点击执行结果

    window_handle = activate_window() #得到窗口句柄
    if window_handle == 0:
        print('模拟器窗口不存在,点击失败')
        return False
    desktop_coords = win32gui.ClientToScreen(window_handle, window_coords)  # 窗口坐标换算成桌面坐标
    win32api.SetCursorPos(desktop_coords)  # 设置鼠标位置
    win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 0, 0, 0, 0)  # 鼠标按下
    win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 0, 0, 0, 0)  # 鼠标弹起
    return True

def _capture_window(hwnd):
    desktop = win32gui.GetDesktopWindow()
    dc = win32gui.GetWindowDC(desktop)
    mfc_dc = win32ui.CreateDCFromHandle(dc)
    save_dc = mfc_dc.CreateCompatibleDC()
    save_bit_map = win32ui.CreateBitmap()
    left, top, right, bottom = win32gui.GetWindowRect(hwnd)
    w, h = right - left, bottom - top
    save_bit_map.CreateCompatibleBitmap(mfc_dc, w, h)
    save_dc.SelectObject(save_bit_map)
    save_dc.BitBlt((0, 0), (w, h), mfc_dc, (left, top), win32con.SRCCOPY)
    signed_ints_array = save_bit_map.GetBitmapBits(True)
    im_opencv = np.frombuffer(signed_ints_array, dtype='uint8')
    im_opencv.shape = (h, w, 4)
    save_dc.DeleteDC()
    win32gui.DeleteObject(save_bit_map.GetHandle())
    win32gui.ReleaseDC(hwnd, dc)  # 修正此行
    return im_opencv

def screenshot():
    window_handle = activate_window()
    if window_handle == 0:
        print('模拟器窗口不存在,截图失败')
        return None
    return _capture_window(window_handle)

if __name__ == '__main__':
    activate_window()
    time.sleep(0.5)
    start = time.time()
    img = screenshot()
    end = time.time()
    print('花费', end - start, '秒')
    if img is not None:
        cv.imwrite(r'E:\home.bmp', img)
        h, w = img.shape[:2]
        detection_result = '检测通过!' if w == 762 and h == 1316 else '检测未通过!请修改模拟器分辨率'
        print(f'期望截图的分辨率为:762*1316 实际分辨率为{h}*{w}')
        click((300, 650))
        time.sleep(1.2)
        tofu = screenshot()
        if tofu is not None:
            cv.imwrite(r'E:\tofu.bmp', tofu)

游戏控制模块

在这个游戏控制模块中,主要完成图像的处理和目标的检测,并通过简单的算法计算出操作间隔,然后调用 模拟器模块 中的相应函数来实现操作。
来看看源码:

import time
import cv2 as cv
import numpy as np
import 模拟器

开始按钮图片 = cv.imread(r"E:\bbbb.bmp", 0)  # 开始按钮


def 是彩色图片(图片):
    if 图片 is None:
        print('是彩色图片() 参数错误:', '图片为空')
        return False
    return len(图片.shape) > 2


def 查找图片(大图, 小图, 相似度=0.8):
    if 是彩色图片(大图):
        大图 = cv.cvtColor(大图, cv.COLOR_BGR2GRAY)
    if 是彩色图片(小图):
        小图 = cv.cvtColor(小图, cv.COLOR_BGR2GRAY)

    res = cv.matchTemplate(大图, 小图, cv.TM_CCOEFF_NORMED)  # 模板匹配
    loc = np.where(res >= 相似度)  # 过滤结果

    for pt in zip(*loc[::-1]):
        left = int(pt[0])
        top = int(pt[1])
        right = int(pt[0] + 小图.shape[1])
        bottom = int(pt[1] + 小图.shape[0])
        area = ((left, top), (right, bottom))
        return area  # 实际操作区域


def find_cube(灰色截图):
    sw = 720
    关键区域 = 灰色截图[600:720, 1:sw]  # 裁剪出感兴趣的区域
    _, 黑白图像 = cv.threshold(关键区域, 248, 255, cv.THRESH_BINARY)  # 图像二值化
    contours, hierarchy = cv.findContours(黑白图像, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)  # 查找轮廓

    max_area, max_cnt = 0, None  # 设置最大面积和最大轮廓的默认值
    for cnt in contours:
        area = cv.contourArea(cnt)
        if area > 5000 and area > max_area:  # 筛选出轮廓
            max_area = area
            max_cnt = cnt

    if max_cnt is None:
        # print('没有发现豆腐')
        return 0

    x, y, w, h = cv.boundingRect(max_cnt)  # 计算出边框
    center_x = sw / 2  # 中线位置
    cube_x = x + w if x + w < center_x else x  # 取离中线最近的豆腐边线x(豆腐不确定从哪边来)
    dist = abs(center_x - cube_x)  # 豆腐边缘到中线的距离
    return dist

def 跳跃检测():
    for i in range(100):  # 每次跳跃前循环检测画面
        截图 = 模拟器.screenshot()
        截图_灰色 = cv.cvtColor(截图, cv.COLOR_BGR2GRAY)  # 转成灰度图片
        if 查找图片(截图_灰色, 开始按钮图片):
            print('游戏已结束')
            return True

        dist = find_cube(截图_灰色)  # 算出豆腐离中线距离
        if 150< dist < 200:
            print(f'---跳---')
            jump()  # 点击鼠标(跳跃)
            time.sleep(0.1)
            break
    return False

def jump():
    坐标 = (300, 800)
    模拟器.click(坐标)


if __name__ == '__main__':
    截图 = 模拟器.screenshot()



    if 查找图片(截图, 开始按钮图片):
        print('找到开始按钮')
        jump()  # 点击开始
        time.sleep(0.5)
    else:
        print('游戏不在开始画面')
        exit(0)

   # time.sleep(0.6)
    #截图 = 模拟器.screenshot()
   # 截图_灰色 = cv.cvtColor(截图,cv.COLOR_BGR2GRAY)
    #find_cube(截图_灰色)
    #cv.waitKey()
    for i in range(100):  # 最大预计跳跃次数
        if 跳跃检测():
            break

课程总结

虽然这个游戏的玩法比较简单,但是要拿到特别高的分数还是不容易的。在本教程中,霸夫老师也只是以启发大家为目标,教大家去分析如何写出一个自动化游戏教程,程序功能虽然比较简单,但其中涉及的思路分析,图像处理,数据计算、算法优化、设计模式等是很值得大家去细细学习体会的。

课后习题

1.(编程题)在教程的示例代码中继续改进,示例中jump()函数中点击的是固定坐标,将坐标的取值改为查找到的start.bmp图片的中心点。

标签:实战,豆腐,截图,return,python,window,time,cv,模拟器
From: https://blog.csdn.net/qiqi776532/article/details/142141125

相关文章

  • 利用python处理线性规划问题
    利用python处理线性规划问题linprog函数基本例题例题1例题2典型例题例一:生产决策问题例一:生产决策问题(例题和部分解答思路来自清风老师)linprog函数导入模块fromscipy.optimizeimportlinprog函数功能Linearprogramming:minimizealinearobjectivefun......
  • Clean code: Python Builder模式
    在Python中,Builder模式(构建者模式)是一种创建型设计模式,通常用于构建复杂对象。它将对象的构建过程与表示分离,使得同样的构建过程可以创建不同的对象。虽然Python语言由于其动态特性,不像Java、C#等语言那样强制使用Builder模式,但它在某些情况下仍然非常有用,尤其是当你需要......
  • 8、【实战中提升自己】华为 华三中小型企业网络架构搭建 【无线架构之三层漫游】
     1 拓扑与说明         某公司的网络架构,这样的架构在目前的网络中是在常见的,假设您接收一个这样的网络,应该如何部署,该实战系列,就是一步一步讲解,如何规划、设计、部署这样一个环境,这里会针对不同的情况给出不同的讲解,比如拓扑中有2个ISP,假设客户需求是,想实现主备的......
  • python logging 限制文件大小
    环境window10,pycharm23.0.2logging的配置使用logging模块时,你可以通过logging.handlers.RotatingFileHandler类来限制日志文件的大小。当日志文件达到指定大小时,RotatingFileHandler会自动创建一个新的日志文件,并将后续的日志记录到新的文件中。代码importloggingfro......
  • Python XML 解析
    什么是XML?Python对XML的解析1.SAX(simpleAPIforXML)2.DOM(DocumentObjectModel)3.ElementTree(元素树)python使用SAX解析xmlContentHandler类方法介绍make_parser方法parser方法parseString方法Python解析XML实例使用xml.dom解析xml什么是XML?XML......
  • Python 多线程
    开始学习Python线程线程模块使用Threading模块创建线程线程同步线程优先级队列(Queue)多线程类似于同时执行多个不同程序,多线程运行有如下优点:使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事......
  • Python SMTP发送邮件
    使用Python发送HTML格式的邮件Python发送带附件的邮件在HTML文本中添加图片使用第三方SMTP服务发送SMTP(SimpleMailTransferProtocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。python的smtplib提供了一种很方......
  • Hash Table 哈希表工作原理介绍及C/C++/Python实现
    HashTable哈希表工作原理介绍及C/C++/Python实现哈希表(HashTable),也称为散列表,是一种通过哈希函数将键(Key)映射到表中一个位置以便快速访问记录的数据结构。它提供了非常高效的数据检索、插入和删除操作。哈希表的基本原理是使用一个哈希函数将输入(通常是字符串)转换为一个......
  • YoloV8实战:使用Ultralytics实现Sam2的推理
    SegmentAnythingModel2(SAM2)作为Meta公司发布的SegmentAnythingModel(SAM)的升级版本,在图像和视频分割领域展现出了显著的优点和特性。论文连接:https://arxiv.org/pdf/2408.00714Demo:https://sam2.metademolab.comCode:https://github.com/facebookresearch/segme......
  • 自然语言处理系列六十八》搜索引擎项目实战》搜索引擎系统架构设计
    注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十八搜索引擎项目实战》搜索引擎系统架构设计搜索引擎项目代码实战总结自然语言处理系......