首页 > 其他分享 >SciTech-Automation-UI交互自动化: Microsoft 的 接口自动化测试 : 微信的: LLM(AI/Transformer)的自动应答系统

SciTech-Automation-UI交互自动化: Microsoft 的 接口自动化测试 : 微信的: LLM(AI/Transformer)的自动应答系统

时间:2024-09-30 12:49:36浏览次数:7  
标签:Transformer last LLM UI 测试 自动化 msg wx

用LLM +Python 实现微信消息的自动应答


!/usr/bin/python3
# coding: utf-8

import pandas as pd
import numpy as np
from uiautomation import windowControl,Menucontrol
from functools import partial, wraps

# read reply data
df = pd.read_csv(
   "应答数据.csv",
   encoding="gb18030"
)
def matcher(last_msg, x):
    ret = None
    if x["关键词"] in last_msg:
        ret = x["应答内容"]
    return ret

# bind the "title" of WeChat's main window
wx = windowControl(
   Name="微信",
   # searchDepth=1
)
print("MainWindow: %r" % (wx,))

# bind it's session ctrl.
wx.SwitchToThiswindow()
hw = wx.ListControl(Name="会话")
print("SessionControl: %r" % (hw,))

# bind it's "Messages" ctrl.
mc=wx.ListControl(Name="消息")

while True:
    # first 4 items as the "searchDepths"
    we = hw.TextControl(searchDepths=4)
    print("Seek unread msg.", we)

    # check if there's unread msg.
    while not we.Exists(0):
        pass
    # if existing unread msg.
    if not bool(we.Name):
        continue

    # click and retrive the unread msg.
    we.Click(simulateMove=False)
    msgs=mc.GetChildren()
    last_msg = msgs[-1]
    print("Last One Msg.:%s" % last_msg)

    #也可用"AI/Transformer"模型应答
    # choose reply msg by keywords
    filter=partial(matcher, last_msg)
    replies = df.apply(filter, axis=1)
    replies.dropna(
        axis=0,how="any",inplace=1
    )
    ar = np.array(replies).tolist()

    if len(ar) == 0: # keywords no replies
        wx.SendKeys("没理解", waitTime=0)
        wx.SendKeys('{Enter}', waitTime=0)
        wx.TextControl(SubName=last_msg[:-5]).RightClick()
        continue

    rms=ar[0].replace('{br}','{Shift}{Enter}')
    wx.SendKeys(rms, waitTime=0)
    wX.SendKeys('{Enter}', waitTime=0);



UI自动化 - 微软UI Automation

--- Original: Niuery Diary

自动化测试平台的 稳定性 非常重要。

无论是接口自动化测试,还是UI自动化测试,
目的之一是为提高产品的稳定性,保证用户体验。

接口自动化测试, 常见的有 Postman, SoapUI, JMeter 等, 这一类网上的资料太多。
本篇内容主题是UI自动化测试,我搜集的常用的UI自动化测试平台:
*「Selenium」: Web应用程序自动化测试框架,开源免费,使用非常广泛;
既支持多种语言的脚本驱动测试,也支持记录与回放的方式测试。

  • 「Appium」: APP(移动应用程序)自动化测试框架,开源免费,使用非常广泛;
    支持多种语言的脚本驱动测试。
  • 「Katalon Studio」: UI自动化测试工具,适用于Web, APP和API测试, 免费。
    基于Selenium和Appium,并提供GUI(图形化界面)和集成的测试功能。
  • 「TestComplete」: 商业UI自动化测试工具,适用于PC, Web, APP和API, 付费。
    功能强大, 提供多种脚本语言和图形化界面,以及灵活的对象识别和回放功能。
  • 「Ranorex」: 商业UI自动化测试工具,适用于PC, Web, APP和API, 付费。
    提供易于使用的录制和回放功能,支持多种编程语言。

总之,对PC应用的UI自动化测试,上述要么免费但仅支持Web应用, 要么就是商业化的。
所以有必要提到主题 --- UIAutomation。


UIAutomation


来看一看微软官方对此的介绍 UIAutomation:
Microsoft UI Automation是适用于Microsoft Windows的Accessibility Framework。
它满足了技术产品和自动化测试框架的需求,通过提供对用户界面(UI)信息的编程访问来实现。
此外,UI Automation还使控件和应用程序开发人员能够使其产品有Assistive Technology。

其它的,Google 或 Microsoft Bing就可以搜索到答案。

标签:Transformer,last,LLM,UI,测试,自动化,msg,wx
From: https://www.cnblogs.com/abaelhe/p/18441626

相关文章

  • 自动化运维工具 Ansible
    Ansible基础Ansible介绍Ansible是一个自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible的名称来自科幻小说《安德的游戏》中跨越时空的即时通信工具,它可以......
  • 上周面的一个985女生,问了Transformer模型的内存优化
    Transformer模型现在很火,内存优化又很重要。上周面试了一个985大学的女生,跟她谈到了Transformer模型的内存优化问题。那么这个女生到底给出了哪些关于Transformer模型内存优化的独特思路呢?一起来看看。01什么是Transformer模型中的KV缓存?Transformer中文本是逐......
  • C++发邮件:如何轻松实现邮件自动化发送?
    C++发邮件的详细步骤与教程指南?如何在C++中发邮件?无论是定期发送报告、通知客户还是管理内部沟通,自动化邮件系统都能显著提升工作效率。AokSend将详细介绍如何使用C++发邮件,实现邮件自动化发送,帮助您轻松管理邮件通信。C++发邮件:配置环境在选择了合适的C++发邮件库之后,接下......
  • 影刀rpa———boos直聘自动化
    附上影刀下载和教学链接影刀学院(yingdao.com)后面有视频详细介绍该功能和代码写作思路使用影刀RPA工具来实现BOSS直聘自动化发信息,可以极大地提高求职效率,尤其是在筛选和申请职位时。以下是一些具体的技巧和步骤,帮助刚毕业的学生或正在找工作的求职者利用影刀RPA自动化工......
  • CANoe学习笔记-第十四章节-CANoe自动化测试
    前言:利用CANoe的TestStep功能实现自动化测试,是学习CAPL语言的一个重要目的及目标新建一个Test工程第二步骤3.鼠标右击Test1,选择Configuration,打开CAPLTESTModuleConfiguration对话框,给TestScript添加NetworkTester.can文件,文件程序如下:程序来源《CANoe入门到精通教......
  • 【2024精华版】从零开始的大模型LLM学习全攻略:一文掌握从入门到精通
    ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。......
  • 独家发布:全面大模型LLM学习路线图揭晓!非常详细收藏我这一篇就好了!
    ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。......
  • Matlab 基于Transformer-LSTM-SVM多变量时序预测 (多输入单输出)
    基于Transformer-LSTM-SVM多变量时序预测(多输入单输出)你先用你就是创新!!!1.程序已经调试好,无需更改代码替换数据集即可运行!!!数据格式为excel!2.评价指标包含:RMSE、R2、MSE、MAE、MBE、MAPE、RPD。3.Transformer作为一种创新的神经网络结构,深受欢迎。采用Transformer编码器......
  • 2024-25互联网大厂资深自动化测试&测试开发精选面试题
    自动化测试与测试开发成为了大厂招聘的热门岗位之一。作为测试开发的核心岗位之一,掌握相关技术并通过高难度的面试成为每一个技术人的必经之路。本文探讨如何利用精选的面试题、巧妙的备考策略,成功迈入梦想中的大厂。主要针对了各类常见框架,如TestNG、Python编程、Linux、数据......
  • RKLLM部署
    RKLLM写在前面:建议去阅读官方提供的RKLLMdoc,本文基于官方的RKLLMdoc制作而成(没有将flask相关内容添加进来),仅仅添加了完整流程的执行过程截图和在做这以流程过程中遇到的问题RKLLM可以帮助用户快速将人工智能模型部署到Rockchip芯片上。仓库:https://github.com/airock......