(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210987982.2 (22)申请日 2022.08.17 (71)申请人 北京清微智能科技有限公司 地址 100192 北京市海淀区宝盛南路1号院 26号楼2层201 (72)发明人 陈明明　付冲　欧阳鹏　 (74)专利代理 机构 北京索睿邦知识产权代理有 限公司 1 1679 专利代理师 李根 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种基于Tensorflow平台的门控循环网络 的算子计算方法及装置 (57)摘要 本发明涉及深度学习技术领域， 具体为一种 基于Tensorflow平台的门控循环网络的算子计 算方法及装置， 方法包括： 计算更新门状态数据； 计算重置门状态数据； 计算候选隐藏层状态数 据； 计算最终隐藏状态数据。 本方案在算子计算 时将张量的计算过程转换成权重与数据的乘加 运算方式， 从而将concat算子和 split算子结构 进行拆分， 进而 把concat算子和split算子消除、 转变， 提高量 化精度。 权利要求书3页 说明书8页 附图2页 CN 115470928 A 2022.12.13 CN 115470928 A 1.一种基于Tensorflow平台的门控循环网络的算子计算方法， 其特征在于， 所述方法 包括： 根据当前时刻的输入数据、 上一时刻隐藏层的状态数据、 与输入数据相关的更新门全 连接的权 重以及与状态数据相关的更新门全连接的权 重， 得到更新门状态数据； 根据当前时刻的输入数据、 上一时刻隐藏层的状态数据、 与输入数据相关的重置门全 连接的权 重以及与状态数据相关的重 置门全连接的权 重， 得到重置门状态数据； 根据当前时刻的输入数据、 上一 时刻隐藏层的状态数据、 重置门状态数据、 与输入数据 相关的隐藏层全连接的权重以及与重置门相关的 隐藏层全连接的权重， 得到候选隐藏层状 态数据； 根据更新门状态数据、 上一时刻隐藏层的状态数据以及候选隐藏层状态数据， 得到最 终隐藏状态数据。 2.如权利要求1所述的基于Tensorflow平台的门控循环网络的算子计算方法， 其特征 在于， 利用以下表达式计算更新门状态数据Zt zt＝σ(Wzxt+Uzht‑1) 其中， Xt表示当前时刻t的输入数据、 ht‑1表示上一时刻隐藏层的状态数据、 Wz表示与输 入数据相关的更新门全连接的权 重、 Uz表示与状态数据相关的更新门全连接的权 重； 利用以下表达式计算重 置门状态数据rt rt＝σ(Wtxt+Utht‑1) 其中， Wt表示与输入数据相关的重置门全连接的权重、 Ut表示与状态数据相关的重置门 全连接的权 重； 利用以下表达式计算 候选隐藏层状态数据 其中， W表示与输入数据相关的隐藏层全连接的权重， U表示与重置门相关的隐藏层全 连接的权 重； 利用以下表达式计算 最终隐藏状态数据ht 3.如权利要求1所述的基于Tensorflow平台的门控循环网络的算子计算方法， 其特征 在于， 所述方法还 包括： 插入pyfunc算子， 在所插入的pyfunc算子中构建func函数， 通过func函数获取各算子 在每一时间步的最终隐藏状态数据， 并对所获取的数据进行量 化。 4.如权利要求3所述的基于Tensorflow平台的门控循环网络的算子计算方法， 其特征 在于， 对所获取的数据进行量 化的过程包括： 获取第一额定位宽的量化权重， 并将所获取的最终隐藏状态数据转换为所述第 一额定 位宽的数据得到量 化输入； 对所得到的量化权重和量化输入进行乘加运算得到第 二额定位宽的卷积核数据， 第 二 额定位宽大于第一 额定位宽；权　利　要　求　书 1/3 页 2 CN 115470928 A 2对所述卷积核数据进行向右移位变换得到第 三额定位宽的第 一中间卷积核数据， 第 三 额定位宽大于第一 额定位宽且小于第二 额定位宽； 利用scale函数对第一中间卷积核数据进行标准化处理， 并对标准化处理结果加偏置 得到第四额定位宽的第二中间卷积核 数据， 第四额定位宽大于第三额定位宽且小于第二额 定位宽； 将第二中间卷积核数据截断到第一 额定位宽的数据得到量 化结果。 5.一种基于Tensorflow平台的门控循环网络的算子计算装置， 其特征在于， 所述装置 包括： 更新门状态计算模块， 用于根据当前时刻的输入数据、 上一时刻隐藏层的状态数据、 与 输入数据相关的更新门全连接的权重以及与状态数据相关的更新门全连接的权重， 得到更 新门状态数据； 重置门状态计算模块， 用于根据当前时刻的输入数据、 上一时刻隐藏层的状态数据、 与 输入数据相关的重置门全连接的权重以及与状态数据相关的重置门全连接的权重， 得到重 置门状态数据； 候选隐藏层状态计算模块， 用于根据当前时刻的输入数据、 上一时刻隐藏层的状态数 据、 重置门状态数据、 与输入数据相关的隐藏层全连接的权重以及与重置门相关的隐藏层 全连接的权 重， 得到候选隐藏层状态数据； 最终隐藏状态计算模块， 用于根据更新门状态数据、 上一时刻隐藏层的状态数据以及 候选隐藏层状态数据， 得到最终隐藏状态数据。 6.如权利要求5所述的基于Tensorflow平台的门控循环网络的算子计算装置， 其特征 在于， 更新门状态计算模块， 具体用于利用以下表达式计算 新门状态数据Zt zt＝σ(Wzxt+Uzht‑1) 其中， Xt表示当前时刻t的输入数据、 ht‑1表示上一时刻隐藏层的状态数据、 Wz表示与输 入数据相关的更新门全连接的权 重、 Uz表示与状态数据相关的更新门全连接的权 重； 重置门状态计算模块， 具体用于利用以下表达式计算重 置门状态数据rt rt＝σ(Wtxt+Utht‑1) 其中， Wt表示与输入数据相关的重置门全连接的权重、 Ut表示与状态数据相关的重置门 全连接的权 重； 候选隐藏层状态计算模块， 具体用于利用以下表达式计算 候选隐藏层状态数据 其中， W表示与输入数据相关的隐藏层全连接的权重， U表示与重置门相关的隐藏层全 连接的权 重； 最终隐藏状态计算模块， 具体用于利用以下表达式计算 最终隐藏状态数据ht 7.如权利要求5所述的基于Tensorflow平台的门控循环网络的算子计算装置， 其特征 在于， 所述装置还 包括：权　利　要　求　书 2/3 页 3 CN 115470928 A 3