个人介绍

熟练使用Python,有两年的Python使用历史。熟悉Numpy和Pandas,能用Numpy和Pandas进行数据清洗,数据处理和数据分析等工作。熟悉Python爬虫,能使用Bs4或Scrapy框架爬取一些常规网站的数据。熟悉Linux操作系统,有两年的Linux操作系统使用历史。熟悉YOLO算法和Pytorch深度学习框架,并且使用Pytorch实现行人检测模型。熟悉MySQL数据库,使用Pymysql和Sqlalchemy进行数据库存储工作。有使用Flask和Django搭建网站的经验。熟练编写Shell脚本。

核心技能
Java 深度学习 Shell HTML5 CSS MySQL Python
精选作品集
工作经历
法通科技 · 爬虫工程师 2020-11-01 - 至今
主要从事爬虫工作,公司给定三四十个网站,尽可能多的爬取到所需要的数据,并存储到远程数据库,用到的框架有Scrapy框架,主要的功能有数据清洗,请求失败报警以及数据记录。数据入库的核心思想是去重。
教育背景
武汉工程大学 · 计算机科学与技术 2016-09-01