个人介绍
有scrapy爬虫项目经验，能使用正则表达式，bs4,xpath来解析数据，能正确设计mysql表结构,以及运用redis,熟悉pandas,numpy,matplotlib等数据分析模块，有大数据组件hadoop,spark经验，了解mapreduce源码以及工作流程，熟悉spark中的算子工作流程
核心技能
Python
精选作品集
工作经历
无锋网络 · python开发工程师
2020-11-01 - 至今
爬取csdn与1688网站等数据,利用scrapy实现持续爬取,redis存储url以及指纹等热点数据,使用fastapi+unvicorn提供数据接口,使用es做关键词查询等
教育背景
江西制造职业技术学院 · 计算机应用技术
2018-06-01