1. 参与已有爬虫系统中作业的检验，设计和优化爬虫策略，充分利用已有服务器和宽带资源进行优化；

2. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克，提升网页抓取的效率和质量

3. 负责爬虫系统的架构设计与开发，编写大规模分布式网络爬虫（多线程、分布式调度、协议处理）；

4. 负责指定网站进行网页内容抓取、深度网页内容抓取的关键技术以及数据清理提取；

5. 负责数据的抓取、解析、清洗、入库、优化；构建和开发在海量数据下多维分析的数据分析平台。

1. 本科以上专业，精通网络爬虫、互联网搜索、大数据新闻、网络多媒体、网络视频、即时通讯等技术，有着丰富的网络数据工程项目经验，具有网络爬虫、网页信息抽取等相关经验，做过电商平台商品采集项目者优先；

2. Python基础扎实，熟练运用各种爬虫库，精通Scrapy框架，了解Django框架(做网站的)，

3. 熟悉Mysql、Redis、MongoDB一种或者多钟数据库开发技术，熟悉linux操作

4. 熟练使用pandas，numpy，openpyxl处理数据

5. 精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；

6. 精通爬虫和反爬技术，精通http底层协议，了解TCPHTTP协议、HtmlJsCss、Ajax等技术；精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等；

7. 熟悉分布式系统、多线程；

8. 具有网络爬虫、网页信息抽取、web挖掘等搜索引擎等相关经验优先，做过电商平台商品信息采集项目者优先。

9. 能够快速学习和掌握新技术，优秀的分析、解决问题能力，具备团队合作精神

我们的福利：

1、社会保障：购买五险一金（养老、生育、工伤、失业、医疗保险、住房公积金）

2、餐饮便利：公司设有微波炉和电冰箱，公司附近有品类丰富的餐馆，不必为饮食担忧。

3、住宿便利：公司附近有公寓、出租房，房租价格实惠。

4、购物、娱乐便利：公司附近就有万达广场、万科广场、中海寰宇城等大型商场，公园，健身房，生活配套设施齐备，逛街、下午茶很方便，工作、生活两不误。

5、假期福利：带薪年假，带薪病假、婚假、产假、生育津贴、丧假等。服务满一年更享有5天带薪年假，随着服务年限递增，最长可享有10天带薪年假。

6、日常福利：公司每月举办生日会，水果下午茶福利，生日礼物，节日礼物等（如三八女王节，端午节，中秋节，圣诞节，春节）。

7、年度调薪：每年至少有1次调薪机会。

8、旅游团建：定期组织户外活动或者出游活动，优秀团队和个人会奖励出国旅游机会。

9、试用期：1-3个月，我们给予新人莫大的认可与鼓励，以能力和结果为导向，帮助你提前达成目标，提前转正。

10、奖励机制：以“能”定薪，提供极具竞争力的薪酬福利待遇及年终奖金。

11、晋升机制：公平公正的内部双向晋升制度，有管理层通道和精英层通道。

12、培训体系：新同事入职后公司会提供入职培训及专业培训，资深员工带你一起共同成长，实行1对1专人指导，对于不同级别及不同岗位均有相应专业及管理培训。公司不仅会出资让同事学习最前沿的电商营销技巧，也会大力投入，培养大家的管理能力，让大家不断提高自身综合能力，在各自的部门内都能独当一面。

13、合伙人机制：对于优秀人才公司会提供孵化资源支持内部创业，并有机会成为公司合伙人，享有合伙人分红。目前我司拥有成熟的机制与经验。现阶段，公司求贤若渴，近两年内致力培育一批中层管理骨干，鼓励公司各个岗位上有想法，有能力的小伙伴积极为公司拓展新领域，开辟新战场，公司会倾斜资源和资金去配合这些新创项目，同时提供充分的运营技术和管理技能培训，确保这些勇敢上进的小伙伴们都能成为新的项目负责人，同时给予每个项目主管一定比例的分红。

14、其它福利正在逐步完善中。