(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210088857.8 (22)申请日 2022.01.25 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼4层 A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 邢召龙　刘近光　王文生　张克丰　 包勇军　刘倩欣　张林　贺旭　 熊俊　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉　阚梓瑄 (51)Int.Cl. G06F 16/22(2019.01)G06F 16/23(2019.01) G06F 16/2455(2019.01) (54)发明名称 数据处理方法及装置、 计算机存储介质、 电 子设备 (57)摘要 本公开涉及计算机技术领域， 提供了一种数 据处理方法、 数据处理装置、 计算机存储介质、 电 子设备， 应用于数据分片终端， 所述数据分片终 端与多个参数服务器通信连接， 所述参数服务器 用于维护待存储数据， 其中， 数据处理方法包括： 按照预设分片数目将待存储数据划分为带有分 片序号的多个 分片； 根据所述预设分片数目和所 述参数服务器的数目， 确定分配至各所述参数服 务器的分片序号， 以使各所述参数服务器加载所 述分片序号对应的分片， 并为所述分片创建索 引。 本公开能够在参数服务器数目变更时， 避免 数据重分片操作， 提高数据的加载效率， 从而提 升模型训练和模型 上线的效率。 权利要求书2页 说明书11页 附图6页 CN 114443658 A 2022.05.06 CN 114443658 A 1.一种数据处理方法， 其特征在于， 应用于数据分片终端， 所述数据分片终端与多个参 数服务器通信连接， 所述 参数服务器用于维护待存 储数据， 所述方法包括： 按照预设 分片数目将待存 储数据划分为带有分片序号的多个分片； 根据所述预设分片数目和所述参数服务器的数目， 确定分配至各所述参数服务器的分 片序号， 以使各 所述参数服务器加载 所述分片序号对应的分片， 并为所述分片创建索引。 2.根据权利要求1所述的方法， 其特征在于， 所述待存储数据包括用于训练机器学习 模 型的多个模型参数； 所述按照预设 分片数目将待存 储数据划分为带有分片序号的多个分片， 包括： 利用预设的哈希算法确定各 所述模型参数对应的哈希值； 对各所述哈希值与 所述预设分片数目进行取余运算， 得到各所述模型参数所属的分片 序号； 将所述所属的分片序号相同的模型参数划分为一个分片， 以获得所述带有分片序号的 多个分片。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述预设分片数目和所述参数服 务器的数目， 确定分配至各 所述参数服务器的分片序号， 包括： 获取所述预设 分片数目除以所述 参数服务器的数目所 得的商值； 对所述商值进行向下 取整， 得到向各 所述参数服务器分配的分片个数； 根据所述分片个数， 确定分配至各 所述参数服务器的分片序号。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述分片个数， 确定分配至各所 述参数服务器的分片序号， 包括： 对于前n‑1个参数服务器， 根据所述分片序号由小到大的顺序， 依次向每个参数服务器 分配与所述分片个数相对应的分片； 将未分配的分片序号确定为分配至各第n个参数服 务器的分片序号； n表示所述 参数服务器的数目， n 为大于1的整数。 5.根据权利要求1所述的方法， 其特征在于， 当所述参数服务器的数目发生变更时， 所 述方法还 包括： 获取变更后的所述 参数服务器的目标 数目； 根据所述预设分片数目和所述目标数目， 确定分配至各所述参数服务器的目标分片序 号， 以使各 所述参数服务器加载 所述目标分片序号对应的分片， 并为所述分片创建索引。 6.一种数据处 理方法， 其特 征在于， 应用于参数服 务器， 所述方法包括： 获取分配至所述 参数服务器的分片序号， 以及， 分配至所述 参数服务器的分片个数； 获取所述参数服务器的标识与所述分片个数之间的乘积； 根据各所述分片序号和所述乘积的差值， 确定各 所述分片对应的索引。 7.一种数据处 理装置， 其特 征在于， 包括： 数据分片模块， 用于按照预设分片数目将待存储数据划分为带有分片序号的多个分 片； 分片加载模块， 用于根据所述预设分片数目和所述参数服务器的数目， 确定分配至各 所述参数服务器的分片序号， 以使各所述参数服务器加载所述分片序号对应的分片， 并为 所述分片创建索引。权　利　要　求　书 1/2 页 2 CN 114443658 A 28.一种数据处 理装置， 其特 征在于， 包括： 序号获取模块， 用于获取分配至所述参数服务器的分片个数， 以及， 分配至所述参数服 务器的分片序号； 乘积获取模块， 用于获取 所述参数服务器的标识与所述分片个数之间的乘积； 索引创建模块， 用于根据各所述分片序号和所述乘积的差值， 确定各所述分片对应的 索引。 9.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时实现权利要求1～6中任意 一项所述的数据处 理方法。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～6 中任意一项所 述的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 114443658 A 3