岗位职责：

1、参与hue、airflow等大数据相关组件的二次开发，参与基于k8s和docker的服务自动化部署的开发

2、负责设计和开发分布式爬虫系统，进行多平台多终端信息的抓取和分析；

3、实现大规模文本、图像的抓取及数据清洗工作；

4、大数据相关组件告警功能的设计与开发

任职要求：

1、全日制统招本科及以上学历， 计算机相关专业在校生；

2、熟练掌握python的开发

3、能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题；

4、熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；

5、熟悉Mysql、Redis、Nosql等数据库；  

6、熟悉常见的数据结构知和基本的算法复杂度概念。

加分项（满足其一即可）：

1、有验证码破解，反爬，分布式爬虫架构，数据挖掘，搭建数据仓库经验；

2、熟悉Selenium、PhantomJS 、WebDriver等技术或hue、airflow等大数据组件；

吸引力：

  除了爬虫之外，可以参加到大数据相关组件的开发，广阔的成长空间，还有机会参与到算法组的开发

简历发送到 liut23@ziroom.com