熟悉requests，selenium，BeautifulSoup等模块处理网页数据，熟练使用正则表达式，xpath，css选择器提取网页元素，熟悉使用selenium模拟登陆，pyv8进行js解析了解scrapy，scrapy-redis框架，能用scrapy-redis搭建分布式爬虫，linux下cron定时启动爬虫熟悉使用mysql，了解Mysql索引，事务，约束，多表连接查询，子查询，备份等；了解redis数据库熟练linux命令，会用rsync进行数据同步，能用grep、sed、awk等命令或编写python、shell脚本处理数据，会使用kettle进行数据抽取等操作会python django，java springmvc开发web项目；会开发android app