UI自动化进阶
一、Input Actions: 点击,键盘输入,快捷键,右键,鼠标悬停等
1) **Default(默认)**:使用鼠标和键盘驱动程序来模拟人的操作,缺点是要求应用程序窗口保存活动的状态
2) Simulate Type/Click(模拟): 三种方法中最快的,后台工作,不支持快捷键, 可自动清空字段
3) **Window Messages(窗口消息)**:后台工作,在写入字段之前不能清空字段,并且速度不快。它将特定消息直接发送到目标应用程序以执行指定的操作
Tips:UIPath中配置Default,Simulate, Window Message, 如下图
例1:Input Action,打开记事本,输入一串字符,接着最小化窗口,然后点击最小化窗口,接着输入第二行,录制完毕后,在第一行和第二行之前加入Enter方法,此为Default录制结果。
运行结果如下:
例2:修改例1的用例,改为Window Messages模式,请自动验证运行结果。
例3: 修改例1的用例,改为Simulate模式
运行结果如下:Simulate模式可自动清空字段,会导致结果的不正确性
二、Output Action:获得文本,找到页面元素和图片,剪贴板操作等
Full Text: 它快速而准确,可在后台运行,它无法提取文本的屏幕坐标
Native: 默认方法,能够提取单词数据,如每个单词或字符的屏幕坐标
OCR: 此技术并非100%准确,但在其他任何直接方法都没有给我们想要的结果,OCR作为最后的选择。
Tips:OCR分两种:
3.1) Microsoft OCR: 适用于较大的图像,如扫描文件,收据等,支持多国语言
3.2) Google OCR:适用于较小的低分辨率图像,可识别彩色图像,只支持英文
官网比较图如下:
Tips:UIPath中可在Screen Scraping中找到Full Text,Native,OCR。如下图:
例4:识别MyCRM的Company下的Address信息,默认使用Native方法,准确率100%
1)点击Screen Scraping,打开MyCRM,Company选项
2)选中Address区域
3)抓取的结果如下:默认为Address中的内容,不包含标题
4)点击Finish按钮,生成的场景如下
例5:同例4,选择Full Text方法
抓取结果为Company的标题和内容
运行结果如下:
例6:用Microsoft OCR识别Company下的Address信息
由此可见,准确率并不是100%
例7:用Google OCR识别Company下的Address信息
准确率比Microsoft OCR更低。
例8:综合例子,将Output几个方法输出的结果进行比较
以上四种方法的结果如下
三、Output Methods – 页面元素的抓取
页面元素具有结构化的特征:
例如下图,每个蓝框表示一个网站信,里面有同样的网站名称,网站地址,网站描述, UIPath可以将这些元素导出成Excel表格形式
例9:在亚马逊网站上搜索RPA,将搜索到的书名,作者,价格输出Excel中
打开亚马逊网站,搜索RPA,列出多个商品
打开UIPath-点击DataScraping-选择Next
- 选择第一本书的标题
4)点击Next,选择第二本书的标题
- 勾选上Extract URL,并自定义书名和URL,点击Next
6)点击Extract Correlated Data提取作者信息和电子书的价格
7)空白处有些书是没有电子书价格的
8)点击Finish按钮,然后点击Yes,此用例需要显示出网页搜索的所有结果
- 将结果集放入CSV文件中
10)运行结果如下
例10:获取网页表格,以HTML字符集为例
打开网页http://www.w3school.com.cn/tags/html\_ref\_charactersets.asp
打开UIPath-点击DataScraping-选择Next-选择页面任意一个元素,弹出Extract table框,选择Yes
3)选择前7行,然后点击Finish按钮
4)加入输出CSV控件
5)运行结果如下