(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210376523.0 (22)申请日 2022.04.12 (65)同一申请的已公布的文献号 申请公布号 CN 114461122 A (43)申请公布日 2022.05.10 (73)专利权人 杭州实在智能科技有限公司 地址 310000 浙江省杭州市余杭区余杭街 道文一西路1818-2号6幢6层 (72)发明人 欧阳小刚 　孙林君　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. G06F 3/04845(2022.01) G06F 3/0481(2022.01) G06F 3/0354(2013.01) G06F 9/451(2018.01) G06F 3/04842(2022.01)(56)对比文件 CN 113391871 A,2021.09.14 CN 113282215 A,2021.08.20 CN 112182468 A,2021.01.0 5 CN 112101357 A,2020.12.18 CN 112930537 A,2021.0 6.08 US 2022012024 A1,202 2.01.13 CN 111880897 A,2020.1 1.03 US 2021019157 A1,2021.01.21 龚堰珏 等.面向对象的交 互显示和拾取模 型研究. 《系统仿真学报》 .20 03,第15卷(第1期), 29-31. Xufeng L ing et al. .Intelligent document proces sing based o n RPA and machine learn ing. 《2020 C hinese Automati on Congress (CAC)》 .2021,1349-13 53. 审查员 杨慧婷 (54)发明名称 RPA元素拾取同屏切换方法及系统 (57)摘要 本发明属于RPA元素识别技术领域， 具体涉 及RPA元素拾取同屏切换方法及系统。 方法包括 S1， 选择元素拾取方式； S2， 将鼠标移至 特定的软 件界面； S3， 获取界面相关信息和界面截图， 并进 行传送和解析； S4， 对界面截图进行转发， 并判断 是否超过指定的时间T； S5， 对界面截图算法解析 处理,获得算法解析结果； S6， 将算法解析结果封 装， 在软件界面上展示； S7， 判断用户的操作模 式； S8， 用户选中对应元素后， 再次高亮展 示所拾 取的元素， 用户确认无误后完成拾取。 本发明结 合服务分片机制、 操作模式区分和浮窗展示的前 后端处理策略， 具有拾取效果更出色、 适用范围 更广泛的特点。 权利要求书2页 说明书8页 附图4页 CN 114461122 B 2022.07.19 CN 114461122 B 1.RPA元素拾取同屏切换 方法， 其特 征在于， 包括如下步骤； S1， 用户根据提 示选择元素拾取方式； S2， 用户将鼠标移至特定的软件界面； S3， 通过窗口句柄的方式获取界面相关信息和界面截图， 并将界面相关信息和界面截 图进行传送和解析； S4， 对界面截图进行转发， 并判断是否超过指定的时间T； 若不超时则继续等待算法结 果返回； 若超时则返回步骤S2并给用户对应提 示进行重新选择； S5， 界面截图由经过优化的深度学习目标检测模型进行算法解析处理,获得算法解析 结果； S6， 将获得的算法解析结果经过封装后， 以蒙层的方式在软件 界面上展示， 供用户选择 要拾取的元 素； S7， 判断用户的操作模式， 若是热键+鼠标点击， 则表示用户要选中对应元素， 并进行下 一步骤； 若否， 则表示用户仅正常操作页面并返回步骤S2； S8， 用户选中对应元 素后， 再次高亮展示所拾取的元 素， 用户确认无误后完成拾取； 步骤S4包括如下步骤： S41， 获取并转发界面截图， 并判断转发时间是否超过指定的时间T； 若超时， 则丢弃当 前界面截图并重新计时； 若不超过， 则对界面截图进行算法解析计算； 步骤S5包括如下步骤： S51， 判断对界面截图进行算法解析计算的时间是否超过指定的时间T； 若超时， 则丢弃 当前算法解析计算结果并重新计时； 若不超过， 则返回算法解析计算结果； 步骤S5中， 所述深度学习目标检测模型采用二阶段或一阶段目标检测网络； 所述深度 学习目标检测模型的优化具体为： 将大计算量的深度神经网络架构进行重新调整或使用轻量级的网络进行结果拟合， 并 对网络中的浮 点型操作转 化为整数型操作。 2.根据权利 要求1所述的RPA元素拾取同屏切换方法， 其特征在于， 步骤S1中， 所述元素 拾取方式包括普通 拾取和智能拾取； 所述普通 拾取为基于操作系统指令和源码解析的拾取 方式； 所述智能拾取为基于深度学习的CV拾取 方式。 3.根据权利要求1所述的RPA元素拾取同屏切换方法， 其特征在于， 步骤S3包括如下步 骤： S31， 根据鼠标移动的位置， 获取当前用户所要进一步操作的软件界面， 并通过当前软 件界面的窗口句柄， 映射到具体窗体对象， 获得窗体的详细信息； 其中， 所述窗体的详细信息包括窗体位置、 图标和菜单； S32， 对当前软件界面进行截图， 并获取界面截图图像， 传递界面截图图像并返回算法 解析结果。 4.RPA元素拾取同屏切换系 统， 用于实现权利要求1 ‑3任一项所述的RPA元素拾取同屏 切换方法， 其特 征在于， 所述RPA元 素拾取同屏切换系统包括； 前端展示模块， 用于作为切换元素拾取方法的展示载体； 用于对当前软件界面进行截 图； 用于对算法解析后的结果在当前 软件界面进行展示；权　利　要　求　书 1/2 页 2 CN 114461122 B 2后端处理模块， 用于通过窗口句柄的方式获取界面相关信息和界面截图； 用于将整个 持续的元素拾取过程， 分片为长度为T的小段； 用于将获得的算法解析结果经过封装后， 以 蒙层的方式在软件界面上展示； 用于判断用户是正常操作页面还是拾取元素； 用于完成算 法服务初始化和模型鉴权功能； 算法推理模块， 用于对深度学习目标检测模型进行优化； 用于对软件界面截图实现转 发， 并对软件界面截图进 行解析， 将获得算法解析结果 发送给后端处理模块； 用于完成校验 功能。 5.根据权利要求4所述的RPA元素拾取同屏切换系统， 其特征在于， 所述前端展示模块 包括： 浮窗选择器， 用于作为切换 元素拾取方法的展示载体； 窗口界面截图模块， 用于对当前 软件界面进行截图； 解析结果蒙层绘制模块， 用于对算法解析后的结果在当前 软件界面进行展示。 6.根据权利要求4所述的RPA元素拾取同屏切换系统， 其特征在于， 所述后端处理模块 包括： 窗口句柄获取模块， 用于通过窗口句柄的方式获取界面相关信息和界面截图； 服务分配器模块， 用于将整个持续的元 素拾取过程， 分片为长度为T的小段； 解析结果封装模块， 用于将获得的算法解析结果经过封装后， 以蒙层的方式在软件界 面上展示 操作模式适配 器模块， 用于判断用户是正常操作页面还是拾取 元素； 算法调起和服 务鉴权模块， 用于 完成算法服 务初始化和模型鉴权功能。 7.根据权利要求4所述的RPA元素拾取同屏切换系统， 其特征在于， 所述算法推理模块 包括： 裁剪后的元素拾取模型模块， 用于对深度学习目标检测模型进行优化以及对CPU和GPU 在计算架构上的差异进行优化； 算法对外接口模块， 用于对软件 界面截图实现转发， 并对软件界面截图进行解析， 将 获 得算法解析 结果发送给后端处 理模块 模型鉴权服务模块， 用于完成本地算法模型和RPA软件版本的一致性和用户权限的校 验功能。权　利　要　求　书 2/2 页 3 CN 114461122 B 3