数据开发工程师

1、遵循Robots协议，采集互联网公开的信息，满足各类业务数据需求；

2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程；

3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。

1、本科及以上学历，2年以上爬虫抓取采集相关工作经验；

2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等；

3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力；

4、熟悉常见反爬封禁策略，并具备相关的实战经验；

5、加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。