技术栈
爬虫层：Scrapy · Selenium · Playwright · 分布式代理IP · 浏览器指纹伪装 · 验证码识别
数据管道：Kafka · RabbitMQ · Airflow · Celery · Docker · K8s
数据库层：MySQL（主从/分库分表）· MongoDB（副本集/分片）· Redis（集群/持久化）· ClickHouse（物化视图/实时写入）
监控层：Prometheus · Grafana · ELK
爬虫方面，我熟悉常见的反爬手段，比如滑块验证码、请求频率限制、参数加密等，
能够分析并找到有效的绕过方案，数据采集成功率稳定在90%以上。
我比较擅长把采集到的数据高效地存入数据库，并能根据业务需求做查询优化。