(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221086713 5.2 (22)申请日 2022.07.22 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 杨振宇　崔来平　李晓阳　李怡雯　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/9536(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于门控多头自我关注的新闻推荐方 法及系统 (57)摘要 本发明提出了一种基于门控多头自我关注 的新闻推荐方法及系统， 属于新闻的个性化推荐 领域,获取历史点击新闻和候选新闻， 使用预训 练模型BERT分别进行新闻编码， 得到历史点击新 闻特征和候选新闻特征； 基于多头自我注意力， 捕捉历史点击新闻特征之间的关联性， 并用候选 新闻特征进行特征过滤， 获得用户特征； 联合历 史点击新闻特征、 候选新闻特征和用户特征， 预 测用户浏览每个候选新闻的概率， 基于预测概率 向用户推荐候选新闻； 本发明用门控多头自我关 注机制来调节用户的兴趣， 以便更好地将候选新 闻与特定的用户兴趣准确匹配； 而且将丰富语言 知识的预训练模型BERT应用于新闻推荐来增强 新闻文本表示， 提高新闻推荐的准确性。 权利要求书2页 说明书8页 附图2页 CN 115098786 A 2022.09.23 CN 115098786 A 1.一种基于门控多头自我关注的新闻推荐方法， 其特 征在于， 包括： 获取历史点击新闻和候选新闻， 使用预训练模型BERT分别进行新闻编码， 得到历史点 击新闻特 征和候选新闻特 征； 基于多头自我注意力， 捕捉历史点击新闻特征之间的关联性， 并用候选新闻特征进行 特征过滤， 获得用户特 征； 联合历史点击新闻特征、 候选新闻特征和用户特征， 预测用户浏览每个候选新闻的概 率， 基于预测概 率向用户推荐候选新闻。 2.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 新闻编码的具体步骤为： 用预训练模型BERT提取新闻的文本表征； 用Bi‑LSTM捕捉文本表征的双向语义依赖； 基于双向语义依赖， 用注意力网络对Bi ‑LSTM的输出进行 聚合， 得到含丰富上下文语义 信息的新闻特 征。 3.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 捕捉历史点击新闻特 征之间的关联性， 具体步骤为： 计算历史点击新闻特 征中每个特征的查询信息、 键信息和值信息； 对查询信息、 键信息和值信息进行多轮缩放 点积注意力计算， 保存每 轮的计算结果； 将全部计算结果进行拼接， 并进行一次线性变化， 得到加强后的历史点击新闻特 征。 4.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 用候选新闻特 征进行特征过滤的具体步骤为： 基于加强后的历史点击新闻特征、 查询信息和候选新闻特征， 计算新闻内部信息和通 道调节门信息； 对新闻内部信息和通道调节门信息进行点积运 算， 得到重构后的新闻特 征； 对实现重构后的新闻特 征进行注意力加权聚合， 生成用户特 征。 5.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 预测用户浏览每 个候选新闻的概 率， 基于预测概 率向用户推荐候选新闻， 具体步骤为： 构建由正样本和负 样本组成的训练库， 对概 率预测模型进行训练； 将待预测的候选新闻特 征输入到训练好的模型中， 得到候选新闻的点击概 率； 对一组候选新闻的点击概 率进行排序， 取 前几个候选新闻推荐给用户。 6.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 概率预测模型， 输入的是候选新闻特 征和用户特 征， 输出的是候选新闻的点击概 率。 7.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法， 其特征在于， 所述 点击概率， 为用户特 征和新闻特 征的内积。 8.一种基于门控多头自我关注的新闻推荐系统， 其特征在于： 包括新闻编码模块、 用户 编码模块和概 率预测模块： 新闻编码模块， 被配置为： 获取历史点击新 闻和候选新闻， 使用预训练模型BERT分别进 行新闻编码， 得到历史点击新闻特 征和候选新闻特 征； 用户编码模块， 被配置为： 基于多头自我注意力， 捕捉历史点击新闻特征之间的关联 性， 并用候选新闻特 征进行特征过滤， 获得用户特 征；权　利　要　求　书 1/2 页 2 CN 115098786 A 2概率预测模块， 被配置为： 联合历史点击新闻特征、 候选新闻特征和用户特征， 预测用 户浏览每 个候选新闻的概 率， 基于预测概 率向用户推荐候选新闻。 9.计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实现如 权利要求1 ‑7任一项所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。 10.电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程序， 其 特征在于， 所述处理器执行所述程序时实现如权利要求1 ‑7任一项所述的一种基于门控多 头自我关注的新闻推荐方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115098786 A 3