看看新闻APP

扫描二维码下载APP

下载APP
登录

⁺

历史

⁺

收藏

⁺

订阅

个人中心
退出登录
时讯
点赞
收藏
分享
用手机看

工程师如何针对海量原始数据进行比对、清洗?

2020-04-27 17:33:24 看看新闻Knews实习记者  浦帆  

上海大数据中心的技术人员在获取海量原始数据之后,首先会将所有原始数据投入“数据湖”之中,再针对湖内的数据设定特定的规则,通过规则进行匹配,最后得出想要的结果数据。

数据湖,可以理解成一个存储各种各样原始数据的大型仓库,又称为原始数据保存区,技术人员就相当于仓库管理员,负责存取、处理、分析及传输数据。数据湖的包容性非常强,能存储各种结构及规模的数据。做到轻松地收集和摄入数据的同时,它还可以支持不同类型的大数据工具对其中的数据进行处理,极大地方便技术人员进行后期分析和利用。所以在处理“随申码”的数据之前,大数据中心的工程师第一步就要将从各渠道所得的原始数据统一存储入数据湖内,再针对湖内的数据进行比对、清洗工作。

大数据中心数据资源部部长储昭武介绍称:“我们现在的数据来源比较多,各个字段的准确度是不一样的。那为了获取准确的人的数据,那我们要对人口库内的数据,以及随申办用户注册时(填写)的数据,包括姓名字段、身份证字段、联系电话字段进行计算,找出可信的数据。然后合成一条准确的人的基本信息,这就是通过比对能得到我想要的人的基本信息。

而在清洗这一块,举个最简单的例子,“健康登记”这一块数据,由于在道口比较匆忙,登记的数据都是五花八门的。有身份证号不对的,有联系方式不准确的,甚至是找不到联系地址的。那我们要把这些“脏数据”挑出来,我们的工程师是要通过一定的规则进行编程,让系统对逐条数据进行计算,把这些有问题的数据给剔除,得到干净的数据,这就是清洗的过程。”

从随申码的大数据逻辑来看,健康码的基础,首先是“网络实名制”,即理论上我们每一个人在网站和手机软件上注册的所有账号,都是实名即对应一个真实的人员。

其次,是市民行为的数据化。比如说你的手机导航、通讯使用、进出各省市道口的航空、高铁信息等。这些行为也是构成每个人行动轨迹的重要参考来源。



版权声明:本文系看看新闻Knews独家稿件,未经授权,不得转载
关键词: 2随申码

全部评论

请先登录后发表评论

暂无评论,快来发表你的评论吧

推荐视频

“探店”网红白冰偷税超900万元被查 税务部门公布案件细节
时讯2026/04/28
00:30
南京一派出所副所长“做局”诱使6名未成年人吸毒
时讯2026/04/25
00:32
印尼获赠航母 将成亚洲第五个拥有航母的国家
时讯2天前
中国国民党前主席洪秀柱访问上海:两岸必须完成和平统一的终极目标
浦江同舟2026/04/27
00:06
周乐伟主动投案 曾任格力集团董事长
时讯3天前
00:31
藏车子后备箱!男子从内地偷运51公斤盒饭回澳门
时讯2026/04/27
00:13
因说“斩首”赖清德被起诉 “馆长”二次开庭拒认罪
时讯3天前
00:06
谈判僵持之际!伊朗称将发动前所未有的军事行动
时讯3天前
01:31
特朗普告诉普京:帮我们之前,先结束自己的战争
环球交叉点2天前
01:41
公安部严禁“不合理考评指标” 编造假案为何屡禁不止
东方快评2026/04/26
01:52
上海医保新政落地!5月起配药这部分费用提高了
时讯1天前
00:37
美国富豪巨资非洲打猎 被5头大象当场踩死
时讯2026/04/25
01:07
2万海员被困霍尔木兹 中国船员:刷国旗保命!
一眼看天下1天前
00:15
郑丽文:对主张“台独”的 大陆绝不会手下留情
时讯2026/04/28
00:40
终结支付信贷捆绑!花呗 白条等面临重大调整
时讯2026/04/25
01:00
5.6折!3.37亿元!浙江老板正“捡漏”五星级酒店
时讯1天前
01:05
特朗普下达“击沉令” 战争又将一触即发?
子午观潮2026/04/25
00:33
化州耀明糖厂:不要再送带叶带根掺铁的甘蔗来了
时讯5小时前
00:07
亲自坐镇!整个外滩出行安全被"白衬衣"狠狠拿捏
时讯16小时前
00:06
王毅会见贝尔伯克:不能任由谁拳头硬谁说了算
时讯3天前
看看新闻
  • 关于我们
  • 广告服务
  • 联系我们
  • 投诉建议
  • 友情链接
  • 产品服务
  • 法律条款
网上有害信息举报专区
  • 互联网违法和不良信息举报
  • 上海互联网举报中心
儿童色情信息举报专区

举报电话:021-62870000

举报邮箱:service@kankanews.com

网络社会征信网
上海工商电子标识
广播电视节目制作经营许可证:(沪)字第510号 互联网新闻信息服务许可证:31120240001 网络文化经营许可证:沪网文[2018]4466-313号 互联网ICP备:沪ICP备10207042号-1 沪ICP备10207042号-4 网视备(沪)02020000020-1号 违法与不良信息举报邮箱:service@kankanews.com

剑网行动举报电话:12318(市文化执法总队)、021-64334547(市版权局)

Copyright © 2016 Kankanews.com Inc. All Rights Reserved. 看东方(上海)传媒有限公司 版权所有

看看新闻APP
沪公网安备 31010602001114号