个人介绍
熟悉python、shell编程；熟悉etl、运维脚本开发；熟悉数据采集、处理，接入流程，熟悉数仓原理。熟悉大数据组件和原理和使用如：hdfs、 hive、kafka、flume、yarn、impala、sqoop、zookeeper ；熟悉spark、flink开发；熟悉 mysql、postgres 等关系型数据库使用。
核心技能
Python
Shell
MySQL
自动化运维
监控
精选作品集
工作经历
广东嘉盛达科技有限公司 · 大数据开发工程师
2022-02-01 - 1
负责大数据平台技术管理，技术优化，维护大数据平台数据采集供应稳定，采用离线和实时的数据同步技术，涉及python和shell编程，涉及spark和flink使用，hive和datax技术使用
广州向日葵信息科技有限公司 · 数据开发工程师
2020-12-23 - 1
大数据仓库数据模型开发，作业调度，维护优化；
数据平台架构升级、优化;
数据质量监控预警功能优化；
其他数据开发需求等等；
昆山华信软件技术有限公司 · 数据工程师
2019-05-23 - 1
大数据平台集群部署、维护和升级;
巡检流程优化和巡检工具开发；
完成定制化的集群使用开发需求；
大数据平台组件安装、升级和漏洞解决；
技术文档沉淀和输出；
其他第三方厂商的需求
广州安正软件股份有限公司 · 数据工程师
2018-07-07 - 1
负责大数据平台的搭建、维护和开发；
传统数据模型的 spark 大数据处理方式改造；
数据仓库迁移工具开发（二次开发）；
日常网页数据爬取；
教育背景
韩山师范学院 · 数学与应用数学(数据挖掘与商业信息处理)
2013-09-07