版权说明 操作指南
首页 > 成果 > 详情

一种计算机大数据存储控制系统及方法

认领
导出
反馈
分享
QQ微信 微博
成果类型:
专利
发明/设计人:
付媛媛
申请/专利权人:
湖南城市学院
专利类型:
发明专利
语种:
中文
申请时间:
2020-01-16
申请/专利号:
CN202010046920.2
公开时间:
2020-06-16
公开号:
CN111291046A
主申请人地址:
413099 湖南省益阳市迎宾东路518号
申请地区:
湖南
机构署名:
本校为第一完成单位
主权项:
1.一种计算机大数据存储控制系统,其特征在于,所述计算机大数据存储控制系统包括: 数据获取模块,与中央主控模块连接,通过计算机网络终端,获取用户上传的数据,并将数据传输到数据编码模块;将获取的数据建立相应的样本,并且对样本内的数据进行预处理;预处理完成,对相应的数据进行压缩传输;在对数据预处理过程中,对缺失数据的处理过程为:利用相应的删除函数,删除缺失样本;删除完成后,通过给缺失值赋值,替换缺失值;随机模拟完成的数据集,存入imp中,再对imp进行线性回归; 数据编码模块,与中央主控模块连接,获取的数据信息按照配置中心的参数,计算出编码的阵列,并按照阵列进行编码存储;选择合适的神经网络模型,对输入的数据信息提取相应的数据特征;根据提取数据特征信息,建立相应的多层神经网络;并且每一层神经网络,运用相应的训练法训练整个深度神经网络;计算第一层的神经网络的参数,将第一层的神经网络的隐藏层的输出作为下一层的输入;不断重复上述的过程,依次对各层的网络参数进行训练,实现对数据的编码; 密钥参数生成模块,与中央主控模块连接,根据输入的安全参数,通过Keyall算法生成加密密钥,对存储文件生成标签信息;用户输入安全参数,生成密钥对和加密密钥,生成的公钥是公开的,用于对存储结果的文件生成标签信息,私钥由用户自己进行保存;通过Keyall算法生成加密密钥时,首先通过生成两个强素数p和q,再对其进行计算:M=pq,F(M)=(p-1)(q-1),然后,生成奇数a:a属于正整数,使得G(a,F(M))=1,再将p和q当做私钥,a和M当做公钥; 数据存储模块,与中央主控模块连接,根据数据文件的读取频率或文件大小,选取对应的存储方式;数据存储模块采用先冗余,后编码的存储策略对数据文件进行存储,对于小文件和经常使用的大文件,采取冗余备份方式存储,而对于长时间未被使用的大文件,采取RS编码方式存储; 完整性验证模块,与中央主控模块连接,对服务器发出检测请求,服务器通过标签信息和请求信息进行计算,得到检测信息;服务器通过检测信息和标签信息,对存储结果进行检测;用户将密钥信息发送给服务器,以提出检测请求;服务器再根据用户的检测请求对存储数据进行计算;用户收到服务器返回的信息之后,进行解密;用户对返回的信息进行验证,验证其是否完整,如果完整,则表明验证成功,说明大数据存储结果是正确的;反之,则说明大数据存储结果出现了错误,则需要对存储结果进行一一验证,找出错误的大数据存储结果; 数据恢复模块,与中央主控模块连接,根据完整性验证模块的反馈信息、失效节点信息、数据恢复相关参数和解析失效节点在阵列中对应的位置信息,进行数据恢复;对主节点和从节点之间发送数据信息的时间进行监测,如果在设置时间内,没有收到节点的返回信息,则判断该节点失效;读取配置中心中有关数据恢复的参数,根据节点失效信息或分块失效信息,以及数据恢复有关参数,解析出丢失节点或分块在编码阵列中对应的位置,将其发送给解码单元;读取配置中心中有关负载均衡有关参数,根据参数和各节点负载状态,选取新生节点列表;根据丢失节点或分块在编码阵列中对应的位置,选取解码方案,读取服务器中所需的剩余分块数据;根据剩余的分块数据,进行解码计算,得到丢失分块的数据,按照选取的新生节点列表,将恢复出来的分块存储在服务器中的新生节点中; 配置模块,与中央主控模块连接,用于对系统中的各种参数进行预设配置,并根据控制指令提取相应的配置信息; 数据管理模块,与中央主控模块连接,对储存的数据内容进行增删、修改和备份; 数据分类模块,与中央主控模块连接,通过利用数据分类方法,对储存的内容进行分类; 查询模块,与中央主控模块连接,通过语音输入或者键盘输入,搜索相应的内容; 中央主控模块,分别与数据获取模块、数据编码模块、密钥参数生成模块、数据存储模块、完整性验证模块、数据恢复模块、配置模块、数据管理模块、数据分类模块、查询模块、无线信号收发模块和云服务器连接,用以协调各个模块的正常运行; 无线信号收发模块,与中央主控模块连接,通过无线信号收发器与云服务器连接,实现数据的传输; 云服务器,与中央主控模块连接,主机服务配置与业务规模可根据用户的需要进行配置,并且用以实现数据的共享。 2.如权利要求1所述的计算机大数据存储控制系统,其特征在于,所述数据管理模块包括: 增删模块,根据用户需求,输入相应的删除或者增加指令,数据管理系统对相应的内容进行删除或者增加; 修改模块,根据用户需求,输入相应的修改命令,数据管理系统对相应的内容进行修改; 备份模块,对用户上传的数据和所需跟踪的重要目标文件的更新进行监控与跟踪,并将更新日志实时通过网络传送到备份系统,备份系统则根据日志对磁盘进行更新。 3.一种如权利要求1-2所述的计算机大数据存储控制系统的计算机大数据存储控制方法,其特征在于,所述计算机大数据存储控制方法,包括: 步骤一,数据获取模块通过计算机网络终端,获取用户上传的数据;通过数据分类模块利用数据分类方法,对储存的内容进行分类; 步骤二,数据分类完成后,数据传输到数据编码模块;数据编码模块获取的数据信息按照配置中心的参数,计算出编码的阵列,并按照阵列进行编码;编码完成后,数据存储模块根据数据文件的读取频率或文件大小,选取对应的存储方式,进行储存; 步骤三,完整性验证模块对服务器发出检测请求,服务器通过标签信息和请求信息进行计算,得到检测信息;服务器通过检测信息和标签信息,对存储结果进行检测;数据恢复模块根据完整性验证模块的反馈信息、失效节点信息、数据恢复相关参数和解析失效节点在阵列中对应的位置信息,进行数据恢复; 步骤四,数据恢复完成后,密钥参数生成模块根据输入的安全参数,通过Keyall算法生成加密密钥,对存储文件生成标签信息; 步骤五,在储存过程中,配置模块对系统中的各种参数进行预设配置,并根据控制指令提取相应的配置信息;数据管理模块对储存的数据内容进行增删、修改和备份;同时通过查询模块,利用语音输入或者键盘输入,搜索相应的内容; 步骤六,无线信号收发模块通过无线信号收发器与云服务器连接,实现数据的传输;云服务器中主机服务配置与业务规模可根据用户的需要进行配置,并且用以实现数据的共享。 4.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤一中,数据获取模块对获取数据处理的过程,如下: 将获取的数据建立相应的样本,并且对样本内的数据进行预处理;预处理完成,对相应的数据进行压缩传输; 在对数据预处理过程中,对缺失数据的处理过程为: 利用相应的删除函数,删除缺失样本;删除完成后,通过给缺失值赋值,替换缺失值;随机模拟完成的数据集,存入imp中,再对imp进行线性回归。 5.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤二中,数据编码模块对数据进行编码的过程为: 选择合适的神经网络模型,对输入的数据信息提取相应的数据特征; 根据提取数据特征信息,建立相应的多层神经网络;并且每一层神经网络,运用相应的训练法训练整个深度神经网络; 计算第一层的神经网络的参数,将第一层的神经网络的隐藏层的输出作为下一层的输入; 不断重复上述的过程,依次对各层的网络参数进行训练,实现对数据的编码。 6.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤二中,数据存储模块采用先冗余,后编码的存储策略对数据文件进行存储,对于小文件和经常使用的大文件,采取冗余备份方式存储,而对于长时间未被使用的大文件,采取RS编码方式存储。 7.如权利要求6所述的计算机大数据存储控制方法,其特征在于,所述先冗余,后编码的存储策略具体包括: 当某文件被上传到服务器中,按照冗余备份方式存储,并在文件元信息中新增“最近读取时间”并设置为当前时间戳; 服务器检查每个文件元信息中的“文件大小”和“最近读取时间”,跳过已经RS编码存储的文件以及大小不足100MB的文件,而对于文件大小超过100MB的文件,如果上次读取该文件的时间在距此时刻3天以内,则认为该文件是热数据,跳过;否则,判定为很久没有被使用,对其进行RS编码存储,并删除之前File的冗余备份; 当读取的文件是按冗余备份方式存储的,则更新“最近读取时间”; 当读取的文件是按RS编码方式存储的,若该文件完好无损,则无操作;若该文件损坏,将对该文件剩余数据块进行RS解码得到源数据,并且对还原后的源数据重新按照冗余备份方式存储。 8.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤三中,完整性验证模块采用的具体检测步骤包括: 第一,用户将密钥信息发送给服务器,以提出检测请求; 第二,服务器再根据用户的检测请求对存储数据进行计算; 第三,用户收到服务器返回的信息之后,进行解密; 第四,用户对返回的信息进行验证,验证其是否完整,如果完整,则表明验证成功,说明大数据存储结果是正确的;反之,则说明大数据存储结果出现了错误,则需要对存储结果进行一一验证,找出错误的大数据存储结果; 其算法如下:输入要进行检测的数据文件H,再选取其中的文件块mi(1<i<n),对其进行检测,生成随机的数r;之后,计算ar=arnodM,对检测数据进行计算1:其次,对文件块mi(1<i<n)对应的标签信息Ti进行选取,并计算最后,对检测数据进行计算2:R’=SrnodM,并验证R和R’是否相等;当两者相等则返回“T”,反之,则返回“F”。 9.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤三中,数据恢复模块采用的数据恢复过程具体包括: 对主节点和从节点之间发送数据信息的时间进行监测,如果在设置时间内,没有收到节点的返回信息,则判断该节点失效; 读取配置中心中有关数据恢复的参数,根据节点失效信息或分块失效信息,以及数据恢复有关参数,解析出丢失节点或分块在编码阵列中对应的位置,将其发送给解码单元; 读取配置中心中有关负载均衡有关参数,根据参数和各节点负载状态,选取新生节点列表; 根据丢失节点或分块在编码阵列中对应的位置,选取解码方案,读取服务器中所需的剩余分块数据; 根据剩余的分块数据,进行解码计算,得到丢失分块的数据,按照选取的新生节点列表,将恢复出来的分块存储在服务器中的新生节点中。 10.如权利要求3所述的计算机大数据存储控制方法,其特征在于,所述步骤四中,密钥参数生成模块具体包括: 用户输入安全参数,生成密钥对和加密密钥,生成的公钥是公开的,用于对存储结果的文件生成标签信息,私钥由用户自己进行保存; 通过Keyall算法生成加密密钥时,首先通过生成两个强素数p和q,再对其进行计算:M=pq,F(M)=(p-1)(q-1),然后,生成奇数a:a属于正整数,使得G(a,F(M))=1,再将p和q当做私钥,a和M当做公钥。
摘要:
本发明属于计算机应用技术领域,公开了一种计算机大数据存储控制系统及方法,采用密钥参数生成模块根据输入的安全参数,通过Keyall算法生成加密密钥,对存储文件生成标签信息;采用数据存储模块根据数据文件的读取频率或文件大小选取对应的存储方式;采用完整性验证模块对服务器发出检测请求,服务器通过标签信息和请求信息进行计算,得到检测信息,服务器通过检测信息和标签信息对存储结果进行检测。本发明中的数据存储模块基于先冗余,后编码的存储策略,提高了对数据的处理能力,能够保证满足现阶段井喷式的数据产生数量。通过完整性验证模块可以检验存储的数据是否完整,避免存储的数据被...

反馈

验证码:
看不清楚,换一个
确定
取消

成果认领

标题:
用户 作者 通讯作者
请选择
请选择
确定
取消

提示

该栏目需要登录且有访问权限才可以访问

如果您有访问权限,请直接 登录访问

如果您没有访问权限,请联系管理员申请开通

管理员联系邮箱:yun@hnwdkj.com