(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197754.1 (22)申请日 2022.09.29 (71)申请人 语联网 （武汉） 信息技 术有限公司 地址 430000 湖北省武汉市武汉东湖新 技 术开发区高新大道999号未来科技城 B2栋 (72)发明人 邓乔波　 (74)专利代理 机构 北京中北知识产权代理有限 公司 11253 专利代理师 李新昂 (51)Int.Cl. G06F 40/191(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种换行符识别方法 (57)摘要 本发明公开了一种换行符识别方法， 包括采 用规则和语义模型相结合的方式进行换行符识 别， 利用基于规则的方法对换行符进行识别， 对 于利用规则可以判断的情况则直接返回结果； 利 用规则无法进行判断时， 利用语义模 型判断输出 结果。 本发明的有 益效果是： 提高了pdf转word的 准确率， 并节省了在处理错误换行符时的人工工 时， 并且提高文档质量， 保障了后期文档解析和 文档翻译的质量。 权利要求书2页 说明书5页 附图1页 CN 115455931 A 2022.12.09 CN 115455931 A 1.一种换行符识别方法， 其特征在于， 所述换行符识别方法采用规则和语义模型相结 合的方式进行 换行符识别， 其具体包括以下步骤： 步骤一、 利用规则对换行符识别， 对于利用规则能够判断的情况， 则直接返回结果， 其 中， 所述规则是指根据人们撰写word 的习惯来制定相关规则， 进而判断上下文 是否连续， 且 所述规则的换 行符识别所采用的规则设置有 若干个； 步骤二、 利用规则无法对换行符识别判断时， 则利用语义模型判断输出结果， 其中， 所 述语义模 型是指利用自然语言处理技术， 构建一个二分类模型， 对于每个换行符而言， 模型 的输入是该换行符之前的一段话和该换行符之后的一段话， 模型的输出则是要判断这两句 话是否连续， 如果连续则 删掉换行符， 如果 不连续则保留换 行符。 2.根据权利要求1所述的一种换行符识别方法， 其特征在于： 对换行符识别设定的所述 规则包括： ①上下文字体颜色不 一致判断为 不连续； ②上下文字体大小不 一致判断为 不连续； ③上下文字体 类型不一致判断为 不连续； ④上文末尾为顿号或冒号判断为连续； ⑤上文末尾为句号、 问号、 感叹号或省略号判断为 不连续； ⑥下文开头为无序列表符号时判断为 不连续； ⑦下文开头为有序列表符号时判断为 不连续； ⑧上文或者下文句子为居中格式判断为 不连续； ⑨上文句子太短， 判断为 不连续。 3.根据权利要求1所述的一种换行符识别方法， 其特征在于： 构建所述语义模型的方法 包括： ①训练数据集的构建， 首先搜集中文单语语料， 然后进行数据预处理， 最后训练集构 建； ②语义模型 搭建， 所述语义模型 搭建采用Bi lstm模型； ③语义模型训练， 所述语义模型训练将训练数据集分片处 理； ④语义模型预测， 手动整理多条训练数据集， 并分别进行预测， 以对模型线上的准确率 进行预测。 4.根据权利要求3所述的一种换行符识别方法， 其特征在于： 所述训练数据集构建中的 搜集中文单语 语料具体包括： 清华新闻分类语料： 数据 量： 74万篇新 闻； 文档类别 包括： 体育、 经、 房产、 家居、 教育、 科 技、 时尚、 时政、 游戏以及娱乐； 新闻数据： 包 含250万篇新闻， 新闻来源涵盖 6.3万个媒体； 微信公众号摘要数据： 从网络抓取的微信公众号的文章。 5.根据权利要求3所述的一种换行符识别方法， 其特征在于： 所述训练数据集构建的数 据预处理具体包括： 1)对文本进行分句处 理， 并保留句子的语序信息； 2)对于句子 长度过短， 过长以及包 含过多特殊字符的句子进行 过滤。 6.根据权利要求3所述的一种换行符识别方法， 其特征在于： 所述训练数据集构建的训权　利　要　求　书 1/2 页 2 CN 115455931 A 2练集构建具体包括： 正样本： 随机 选择两个相邻的句子构成正样本； 负样本： 随机选择一个句子， 中间任意位置插入换行符， 并且将其中一半的样本， 前后 分别加干扰句或者随机 裁剪进行数据增强。 7.根据权利要求3所述的一种换行符识别方法， 其特征在于： 所述语义模型搭建所采用 的Bilstm模型输出 结果时， 以中间时刻的输出作为模型最后输出 结果。权　利　要　求　书 2/2 页 3 CN 115455931 A 3