iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210890104.9 (22)申请日 2022.07.27 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 魏嵬 李晓婉 张贝贝 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王奇 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 40/117(2020.01) G06F 40/211(2020.01) G06F 40/247(2020.01) G06F 40/30(2020.01) (54)发明名称 基于句法分析和同义词替换技术的数据平 衡化处理方法 (57)摘要 本发明公开一种基于句法分析和同义词替 换技术的数据平衡化处理方法, 包括以下步骤: 步骤1, 对语句样本进行数据解析, 清洗, 标记; 步 骤2, 在标记好的样本中确定少数类, 从少数类中 挑选代表样本; 步骤3, 对代表样本进行句法分 析, 抽取句法结构特征; 步骤4, 确定代表样本实 体, 构建候选集; 步骤5, 对于候选集中的每个代 表样本实体进行同义词挖掘, 并构建代表样本实 体与其同义词列表之间的映射关系; 步骤6, 根据 句法结构特征, 选择对应同义词列表中的词与代 表样本实体替换以生成新样本。 本发 明解决了机 器学习和深度学习中数据不平衡的问题。 权利要求书1页 说明书5页 附图1页 CN 115146034 A 2022.10.04 CN 115146034 A 1.基于句法分析和同义词替换技术的数据平衡化处理方法, 其特征在于, 包括以下步 骤: 步骤1, 对语句样本进行 数据解析, 清洗, 标记; 步骤2, 在标记好的样本中确定少数类, 从少数类中挑选代 表样本; 步骤3, 对代 表样本进行句法分析, 抽取句法结构特 征; 步骤4, 确定代 表样本实体, 构建候选集; 步骤5, 对于候选集中的每个代表样本实体进行同义词挖掘, 并构建代表样本实体与其 同义词列表之间的映射关系; 步骤6, 根据句法结构特征, 选择对应同义词列表中的词与代表样本实体替换以生成新 样本。 2.如权利要求1所述的基于句法分析和同义词替换技术的数据平衡化处理方法, 其特 征在于, 所述步骤2具体为: 在标记好的样本中统计各个类别的数量, 若两类在数量上 的比 例达到小于等于 6: 4时, 前者即为多数类, 后者即为少数类。 3.如权利要求1所述的基于句法分析和同义词替换技术的数据平衡化处理方法, 其特 征在于, 所述 步骤3中选用N LTK或者D DParser工具进行样本句法分析。 4.如权利要求1所述的基于句法分析和同义词替换技术的数据平衡化处理方法, 其特 征在于, 所述步骤5中采用同义词发现算法或WordNet同义词库工具进行同义词挖掘或查 询。 5.如权利要求1所述的基于句法分析和同义词替换技术的数据平衡化处理方法, 所述 步骤6的具体为: 确定代表样本实体在当前代表样本中的句法结构的成分与作用, 查询当前 代表样本实体映射的同义词列表, 选择与代表样本实体具有相同性质的同义词一一进 行替 换, 合成新的样本 。权 利 要 求 书 1/1 页 2 CN 115146034 A 2基于句法分析和同义词替换技术的数据平衡化处理 方法 技术领域 [0001]本发明属于自然语言处理技术领域, 涉及 一种基于句法分析和同义词替换技术的 数据平衡化处 理方法。 背景技术 [0002]不管自然语言处理还是图像处理等其他人工智能领域, 数据的重要性不言而喻 的。 数据的质量关乎整个模 型的训练 时间, 效率和精度。 质量较高的数据在简单模型上就能 取得较好的效果, 而质量较差的数据 投入再好的模型中也不能达到预期效果, 这就体现了 数据质量的重要性了。 而数据一开始很可能不是高质量数据, 那么如何将低质量数据变成 高质量数据, 这 就是数据预处 理的过程了 。 [0003]在数据预处理的时候有一类棘手的问题就是, 数据类别之间倾斜造成数据不平 衡。 传统的处理方法如过采样, 重采样, 下采样等采样方法, 修改模型的Loss函数, 让模 型将 更多的注意力放在少数类上, 使用数据增强等方法。 本发明将提供一种从数据角度出发, 结 合自然语言特性, 使用句法分析和同义词替换技术进行数据平衡化处理, 从而实现不同类 别的数据在数量上保持基本的平衡。 发明内容 [0004]本发明的目的是提供一种基于句 法分析和同义词替换技术的数据平衡化处理方 法, 解决了现有技 术中存在的句法分析和同义词替换技 术中样本数据不均衡的问题。 [0005]本发明所采用的技 术方案是: [0006]基于句法分析和同义词替换技 术的数据平衡化处 理方法, 包括以下步骤: [0007]步骤1, 对语句样本进行 数据解析, 清洗, 标记; [0008]步骤2, 在标记好的样本中确定少数类, 从少数类中挑选代 表样本; [0009]步骤3, 对代 表样本进行句法分析, 抽取句法结构特 征; [0010]步骤4, 确定代 表样本实体, 构建候选集; [0011]步骤5, 对于候选集中的每个代表样本 实体进行同义词挖掘, 并构建代表样本实体 与其同义词列表之间的映射关系; [0012]步骤6, 根据句法结构特征, 选择对应同义词列表中的词与代表样本 实体替换以生 成新样本 。 [0013]本发明的特点还在于: [0014]步骤2具体为: 在标记好的样本中统计各个类别的数量, 若两类在数量上的比例达 到小于等于 6: 4时, 前者即为多数类, 后者即为少数类。 [0015]步骤3中选用NLTK(Natural Language Toolkit)或者DDParser(Baidu Dependency Parser)工具进行样本句法分析。 [0016]步骤5中采用同义词发现算法或W ordNet同义词库工具进行同义词挖掘或查询。 [0017]步骤6的具体实施方式为: 确定代表样本实体在句法结构的成分, 选择对应同义词说 明 书 1/5 页 3 CN 115146034 A 3
专利 基于句法分析和同义词替换技术的数据平衡化处理方法
文档预览
中文文档
8 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共8页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 SC 于
2024-03-03 12:14:27
上传分享
举报
下载
原文档
(311.0 KB)
分享
友情链接
GB-T 9126.1-2023 管法兰用非金属平垫片 第1部分:PN系列.pdf
GB-T 36964-2018 软件工程 软件开发成本度量规范.pdf
GB-T 42884-2023 信息安全技术 移动互联网应用程序 App 生命周期安全管理指南.pdf
GB-T 30285-2013 信息安全技术 灾难恢复中心建设与运维管理规范.pdf
T-CSAE 171—2020 汽车用聚合物基复合材料胶接性能测试方法 复合材料-金属材料.pdf
JR-T0223-2021 金融数据安全 数据生命周期安全规范.pdf
T-SOFIDPA 0004—2023 有机肥 好氧发酵 低碳技术规范.pdf
GW0102-2014 国家电子政务外网 信息安全标准化规范性要求.pdf
电子认证服务密码管理办法.pdf
杭州市公共数据授权运营实施方案2.21.pdf
DB42-T 1833-2022 河道管理范围钻孔封孔技术规程 湖北省.pdf
DB31-T 1244-2020 冷却塔节能降噪改造技术指南 上海市.pdf
GB-T 20909-2017 钢门窗.pdf
GB-T 16903.2-2023 标志用图形符号表示规则 第2部分:公共信息图形符号的通用符号要素.pdf
GB-T 33905.3-2017智能传感器第3部分术语.pdf
T-CIECCPA 009—2023 电动汽车退役动力蓄电池回收利用拆解 技术规范.pdf
GB-T 43445-2023 信息安全技术 移动智能终端预置应用软件基本安全要求.pdf
思度安全-DSMM-010 数据处理环境安全管理规范V1.0.pdf
GB-T 6297-2002 陶瓷原料差热分析方法.pdf
XF-T 999-2012 防排烟系统性能现场验证方法热烟试验法.pdf
1
/
8
评价文档
赞助3元 点击下载(311.0 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。