职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
1.根据迭代需求,协同爬虫业务分析,完成各爬虫需求的开发和自测工作。
2.研究并分析目标网站的反爬机制,设计策略规避限制,如IP代理池、模拟用户行为等;定期更新爬虫策略,保持对复杂反爬机制的适应性。
3.持续完善和调优各种爬虫任务的监控告警,包括技术指标监控和业务指标监控。
4.及时响应处理各种爬虫任务监控告警,按要求解决恢复
经验要求:
1、计算机相关专业本科及以上学历,有2年以上爬虫开发经验。
2、精通Python语言,至少熟练掌握主流爬虫框架中的一种;
3、熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、js逆向、headers认证和cookie等;
4、有处理大规模数据的经验,对分布式爬虫有实际操作经验者优先。
5、良好的问题解决能力,善于沟通和团队合作,喜欢研究新技术,能够在压力下工作。
工作地点
地址:上海长宁区上海-长宁区生命元山B栋3楼


职位发布者
张悦HR
上海芯果科技有限公司

-
批发·零售
-
1000人以上
-
股份制企业
-
上海市闵行区七宝传媒谷B座7层-9层