(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210888163.2 (22)申请日 2022.07.27 (71)申请人 阿里巴巴达摩院 （杭州） 科技有限公 司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 陈谦　张庆林　王雯　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 柴海平　许怀远 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/33(2019.01) G06N 3/08(2006.01) (54)发明名称 文本处理方法、 装置和电子设备 (57)摘要 本申请提供一种文本处理方法、 装置和电子 设备， 该文本处理方法包括： 获取目标文本， 目标 文本包括多个目标文字； 将目标文本输入预先训 练的语义表征模 型进行编码处理， 得到每个目标 文字对应的隐层特征向量； 以及， 将目标文本输 入预先训练的权重确定模型进行分析处理， 得到 每个目标文字的权重， 目标文字的权重表示目标 文字在目标文本中的重要性； 根据隐层特征向量 和权重， 确定目标文本的目标表征向量， 目标表 征向量用于下游任务。 在本申请实施例中， 通过 目标文字的权重和目标文字的隐层特征向量确 定目标文本的目标表征向量， 使得目标表征向量 能够捕捉到文本的潜在语义， 并且不需要对语义 表征模型进行进一步的训练， 简化目标表征向量 的确定过程。 权利要求书2页 说明书8页 附图5页 CN 114970551 A 2022.08.30 CN 114970551 A 1.一种文本处 理方法， 其特 征在于， 包括： 获取目标文本， 所述目标文本包括多个目标文字； 将所述目标文本输入预先训练 的语义表征模型进行编码处理， 得到每个所述目标文字 对应的隐层特征向量； 以及， 将所述目标文本输入 预先训练的权重确定模型进 行分析处理， 得到每个所述目标文字的权重， 所述目标文字的权重表示所述目标文字在所述目标文本中 的重要性； 根据所述 隐层特征向量和所述权重， 确定所述目标文本的目标表征向量， 所述目标表 征向量用于下游任务。 2.根据权利要求1所述的文本处理方法， 其特征在于， 所述将所述目标文本输入预先训 练的权重确定模型进行分析处 理， 得到每 个所述目标文字的权 重， 包括： 将所述目标文本输入所述权重确定模型， 以使得所述权重确定模型采用词频 ‑逆文本 频率指数技术， 针对所述 目标文本中的每个目标文字， 确定每个目标文字在所述 目标文本 中对应的词频； 以及， 确定每个目标文字在预设语料库中对应的目标逆文本频率指数； 并根 据所述词频和所述目标逆文本频率指数， 确定每 个目标文字的权 重。 3.根据权利要求2所述的文本处理方法， 其特征在于， 所述预设语料库包括： 多个文本 样本， 所述将所述 目标文本输入预先训练的权重确定模型进行分析处理， 得到每个所述 目 标文字的权 重之前， 还 包括： 根据所述多个文本样本， 确定每 个文字基于所述多个文本样本的逆文本频率指数； 根据所述逆文本频率指数， 确定所述权 重确定模型。 4.根据权利要求3所述的文本处理方法， 其特征在于， 所述将所述目标文本输入预先训 练的语义表征模型进行编码处 理， 得到每 个所述目标文字对应的隐层特 征向量之前包括： 采用所述多个文本样本训练语义表征模型， 得到训练完成的语义表征模型。 5.根据权利要求3或4所述的文本处理方法， 其特征在于， 所述确定每个目标文字在预 设语料库中对应的目标逆文本频率指数之前， 还 包括： 对百科类数据或者历史问答类数据进行 数据挖掘， 得到所述多个文本样本 。 6.根据权利要求1所述的文本处理方法， 其特征在于， 所述将所述目标文本输入预先训 练的权重确定模型进行分析处 理， 得到每 个所述目标文字的权 重， 包括： 将所述目标文本输入所述权重确定模型， 在所述权重确定模型中， 采用关键词提取算 法， 确定每 个所述目标文字对应的权 重。 7.根据权利要求1至4任一项所述的文本处理方法， 其特征在于， 所述下游任务包括： 文 本检索任务、 问答任务、 对话任务中的至少一种。 8.一种文本处 理装置， 其特 征在于， 包括： 获取模块， 用于获取目标文本， 所述目标文本包括多个目标文字； 处理模块， 用于将所述目标文本输入预先训练的语义表征模型进行编码处理， 得到每 个所述目标文字对应的隐层特征向量； 以及， 用于将所述 目标文本输入预先训练的权重确 定模型进行分析处理， 得到每个所述 目标文字的权重， 所述 目标文字的权重表示所述 目标 文字在所述目标文本中的重要性； 确定模块， 用于根据所述 隐层特征向量和所述权重， 确定所述目标文本的目标表征向 量， 所述目标表征向量用于下游任务。权　利　要　求　书 1/2 页 2 CN 114970551 A 29.一种电子设备， 其特征在于， 包括处理器、 存储器及存储在存储器上并可在处理器上 运行的计算机程序， 处理器执行计算机程序时实现权利要求 1至7中任一项所述的文本处理 方法。 10.一种计算机可读存储介质， 计算机可读存储介质中存储有计算机执行指令， 其特征 在于， 计算机执行指 令被处理器执行时用于实现权利要求 1至7中任一项 所述的文本处理方 法。权　利　要　求　书 2/2 页 3 CN 114970551 A 3