doit9527
17400/月
后端
Java
福建
厦门
更新时间:2025-12-18 02:54:52
简介
10年IT行业经历，包括3年以上的IT管理经验，熟悉Java、Scala编程思想，有丰富的多线程与并发编程、分布式开发经验。有丰富的大数据开发经验。熟悉Java虚拟机运行原理，具有独立完成本职工作、团队协调、项目沟通的能力。主要技能：1、熟练使用 springboot、springmvc、zookeeper 等框架；2、熟练使用 mysql、oracle、sql server 等关系型数据；3、熟练使用 redis、mongodb；4、熟练使用hbase、hadoop、spark、elasticsearch、hive等大数据组件；5、熟练使用 idea、eclipse、svn、git、maven等开发组件；
技能
工作经验
厦门立马耀网络科技有限公司 - 高级大数据开发2019-10-14 - 2020-12-10
1. 蝉妈妈流数据处理
从0->1，对接爬虫组将数据通过sparkStreaming入库HBase，ES。完成博主库、商品库、视频库、直播库、音乐库，供用户搜索。
2. 蝉妈妈离线任务处理
使用Spark-core，sparkSql写离线任务进行数据分析，完成蝉妈妈博主各类榜单、商品各类榜单、视频各类榜单、直播各类榜单，以及博主画像、视频画像等离线任务
3. 后期蝉妈妈大数据任务重构
将视频评论功能从ES迁移到HBase，为项目组节约ES服务器开销，并提升ES性能。
针对一些离线任务过慢的调优
厦门畅享信息技术有限公司 - 大数据开发2017-08-01 - 2019-09-01
1. 搭建公司的大数据环境。
使用ambari离线源方式搭建大数据环境，组件用到了Hadoop核心组件，Kafka，Spark，Hive，HBase，Oozie，Hue。形成文档，指导并培训测试和实施人员能够自主搭建大数据环境。
2. 协同平台日志大数据框架构建
公司协同平台3.0内部日志剧增，导致关系型数据库查询慢，入库慢的一系列问题。将日志迁移到大数据系统。主导开发从数据源接入到Kafka，kafka到HDFS，HBase，再到Spark数据分析，入库到关系型数据库Mysql，并提供Api查询。
厦门卫星定位应用股份有限公司 - 大数据开发2015-04-01 - 2017-07-01
1. 搭建公司数据中心环境
负责整体大数据环境的搭建以及初期的维护工作，初期用的是开源项目一个一个搭建，如hadoop，hbase，hive，spark，后面使用搭建工具Ambari离线搭建整套大数据环境。
2. 厦门市交警大数据运用
负责接入卡口数据。
负责统计卡口数据，初期使用的MapReduce，后期使用Spark
负责写入车辆的轨迹数据，定制合理的Key存入HBase数据库，用户反映良好。
3. 公司大数据知识的相关培训
负责公司内部大数据知识基础的相关培训，培训的课程有：
HBase原理与基
教育经历
福建工程学院 - 网络工程2007-09-01 - 2011-06-01
学生林积凯，性别男，1988年8月4号生，于2007年9月至2011年6月在福建工程学院网络工程
专业四年制本科学习，成绩优异！
作品信息
暂无数据