hugoas

本人擅长Java，Python，Scala语言。3年大数据开发经历，熟悉Hadoop，Hive，Spark开发。熟悉Hive及Spark性能调优，有上T数据量的处理经验。熟悉Python爬虫及相应的模块的应用，bs4，request，selenium，pyppeteer，熟悉scrapy框架及分布式爬虫。爬取过携程，驴妈妈，点评，汽车之家等网站。熟悉常见的反爬虫策略及其因对策略。CDA大数据分析师认证LEVEL II 持证者。