个人介绍
为人诚恳,乐观开朗,具有拼搏精神,工作积极认真,有责任心及团队精神,沟通能力良好,学习能力较强,遇到困难不退缩,敢于面对,能够在较短时间内解决问题,有一定规划能力,始终怀有一颗学习的心。平时喜欢逛CSDN,掘金,知乎,博客园,Githup,也会把工作中遇到的技术点,知识点和踩过的坑写在博客里,每当遇到难题时喜欢钻研,更乐意与大家一起讨论解决问题。
核心技能
Python
精选作品集
工作经历
南京软件谷发展有限公司 · python开发工程师
2019-07-01 - 至今
项目名称:51job网站,抖音,快手,小红书等商业平台数据获取
责任描述:
1.编写爬虫程序,设计反反爬策略,数据清洗,分表存储,维护代理IP
项目描述:
使用Scrapy框架获取网站信息,确定抓取信息,创建MySQL数据库字段,连接Redis数据库,
实现Redis数据库作为MySQL数据库的缓存,减小MySQL数据库的储存压力,运行代码进行数据获取和储存。
项目技术:
1.使用Scrapy爬虫框架获取数据
2.分析请求头,模拟登录和发送请求
3.利用fildder抓包工具获取数据传输的API接口
4.
教育背景
黄河交通学院 · 电子信息
2016-09-01