WML_PY

中国电子科技集团公司第三十二研究所      2018年7月 - 至今 大数据开发工程师 上海●目标轨迹分析（主要负责数据ETL部分编码）/Hadoop、HBase、Hive、Spark、Scala 基于Spark框架对存储于HBase上的目标历史数据进行抽取与清洗，统计出目标的热点活动区域、发现消失规律、共性关联关系等数据。  ●自研大数据管理平台的后期代码维护 /Java    一个国产化的大数据运维管理平台（类似于CDH），主要工作：根据用户需求为该平台增加了运维告警模块，在大数据平台存储空间、内存、节点异常时，将异常信息推送至对应的运维监控平台进行告警。  ●参与多次国家重大任务的大数据平台现场保障工作/Linux、Hadoop、HBase、Zookeeper、Hive、Spark  ●历史资料抢救项目（负责元数据管理模块、数据迁移模块编码）/Python    元数据管理模块：一个支持用户自定义创建数据字段（文本、数字、表）及数据规则，并可一键检查数据质量的系统。    数据迁移模块：一个从MySQL、Oracle、SQLite等数据库向国产化平台达梦数据库的迁移工具。  ●目标风险评估项目（后端代码编写）/Python、Django 一个基于Django框架的可供用户自定义影响指标、影响矩阵、判断矩阵、关注矩阵的综合打分与展示系统。