关键词：高级数据采集工程师岗位职责和要求hthcom华体会

1、负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作；

2、研究数据采集策略和防屏蔽规则，解决JS逆向、封账号、封IP、验证码、滑块等难点，持续优化采集的效率和质量；

3、关注数据质量，建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善；

4、负责数据采集系统的架构设计和开发，对平台进行持续改进和提升；

1、统招大专（含）以上学历，五年（含）以上大规模数据采集经验；

2、熟练掌握Python和JavaScript语言，有APP数据采集经验者优先；

3、精通数据采集技术，熟悉XPath/CSS/正则表达式等网页信息抽取技术，熟悉HTTP底层协议；

4、良好的编码能力，工作认真细致踏实，逻辑思维缜密，善于分析，以解决技术难题为乐趣，具备良好的沟通交流能力；

5、具备较高难度的知名数据源的数据采集项目经验；

6、具备业界常见反爬&风控破解经验（包括不限于各种瑞数，极验）。hth官网登录入口

1、负责爬虫系统架构设计及开发

2、负责网络爬虫的研究、开发工作

3、研究目标网站、网页、链接的特点，发现其规律和特点

4、负责爬虫工具设计、开发

5、熟练掌握UNIX/LINUX操作系统，能编写shell/Python脚本

6、熟悉Scrapy/easy_install/pip等

1、精通Python开发，有网络爬虫相关项目经验、必须有对咨询类信息爬取，清洗经验

2、熟悉SQL脚本的编写，能够编写复杂SQL语句，能够对SQL语句进行优化

3、掌握基本的数据结构与算法，了解Hadoop相关技术更佳

4、能承受工作压力，并能独立完成项目