lin_12
13050/月
后端
Python
广东
广州
更新时间:2025-12-20 05:56:32
简介
熟悉python、shell编程；熟悉etl、运维脚本开发；熟悉数据采集、处理，接入流程，熟悉数仓原理。熟悉大数据组件和原理和使用如：hdfs、 hive、kafka、flume、yarn、impala、sqoop、zookeeper ；熟悉spark、flink开发；熟悉 mysql、postgres 等关系型数据库使用。
技能
工作经验
广东嘉盛达科技有限公司 - 大数据开发工程师2022-02-01 - 2023-06-01
负责大数据平台技术管理，技术优化，维护大数据平台数据采集供应稳定，采用离线和实时的数据同步技术，涉及python和shell编程，涉及spark和flink使用，hive和datax技术使用
广州向日葵信息科技有限公司 - 数据开发工程师2020-12-23 - 2021-12-01
大数据仓库数据模型开发，作业调度，维护优化；
数据平台架构升级、优化;
数据质量监控预警功能优化；
其他数据开发需求等等；
昆山华信软件技术有限公司 - 数据工程师2019-05-23 - 2021-12-02
大数据平台集群部署、维护和升级;
巡检流程优化和巡检工具开发；
完成定制化的集群使用开发需求；
大数据平台组件安装、升级和漏洞解决；
技术文档沉淀和输出；
其他第三方厂商的需求
广州安正软件股份有限公司 - 数据工程师2018-07-07 - 2019-05-12
负责大数据平台的搭建、维护和开发；
传统数据模型的 spark 大数据处理方式改造；
数据仓库迁移工具开发（二次开发）；
日常网页数据爬取；
教育经历
韩山师范学院 - 数学与应用数学(数据挖掘与商业信息处理)2013-09-07 - 2018-06-27
本人毕业于韩山师范学院数学与统计学院，专业是数据挖掘与商业信息处理
作品信息
暂无数据