个人介绍

本人有多年的python开发经验,熟悉常见的反爬处理,逆向过某程滑动,文字点选验证码,对常用的解析技术比较熟练,正则,CSS、XPATH选择以及Ajax异步请求
设计过cookie池,vps拨号动态代理ip池
各大航司官网数据采集量达到过千万级/日
熟悉各种主流数据库的操作
开发***的机票预定程序

核心技能
Python
精选作品集
工作经历
深圳博览天下有限公司 · Python工程师 2018-09-17 - 至今
• 主导公司数据采集小组抓取程序的设计、开发与任务分配 • 构建自由vps拨号ip代理池,个别航司cookies 池,编写各种反爬程序,逆向Js加密值。 • 负责爬取吉祥航空,九元航空,四川航空,厦门航空航班信息。并负责数据的清洗、解析、爬取的去重然后投递到消息队列,爬取数据量从18年底到19年中由先前的单日40万条提升到300万条以上 • 负责开发了吉祥航空,九元航空,四川航空,厦门航空,天津航空自动预订下单与自动支付和自动退票程序,机票的出票量也由以前的单日千张以内提升到单日票量过万;2021年
教育背景
重庆交通大学 · 电子科学与技术 2010-09-01