职位详情
爬虫工程师
8000-12000元
不限-不限
不限
不限
更新 2022-09-16 浏览 34228
职位详情
  • 不限到岗
  • 不限性别
  • 不限婚况

晋江市 经验: 学历:大专
一、岗位职责: 1、负责制定网络数据抓取规则,完成数据采集与爬取、清洗、解析处理、入库等数据日常工作; 2、负责传统网页、电商网站、社会化媒体网站等互联网数据的高效采集与正确解析; 3、负责爬虫的核心技术研究与开发和前沿爬虫技术并实践; 4、大规模分布式互联网爬虫系统的开发和维护,优化抓取策略,充分利用带宽资源,避免各类限制,提升网页抓取效率和质量。 二、岗位要求: 1、大专以上学历,计算机及相关专业,2年以上Python开发经验; 2、精通网页抓取原理及技术,熟悉基于Cookie或JWT的网站登录原理,熟悉正则表达式、XPath、CSS等网页信息; 3、精通Python编程语言,精通JavaScript,对HTTP协议及HTML有深入的了解;精通正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息; 4、熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、MySQL数据库; 5、熟悉Selenium、WebDriver、PhantomJS、htmlunit、Nutch、ETL、HtmlParser等技术优先;有分布式爬虫架构,数据挖掘经验者优先。

公司信息
泉州森地客体育用品有限公司
50-200人 · 合资企业 · 不限
晋江市世纪大道899号永晟金融大厦9-11楼
泉州人才网温馨提示
求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。 立即举报
公司问答
我要提问
对此职位有疑问?快来问问吧 !
相似职位
业务理单员
3000-6500元
不限-不限 不限学历 不限经验
爱涞服装有限公司
10:56
普工
面议
不限-不限 不限学历 不限经验
艾派集团(中国)有限公司
10:53
高级鞋设计师(运动品牌)
面议
不限-不限 不限学历 不限经验
福建鹰博人力资源有限公司泉州分公司
10:50
CAD制图
面议
不限-不限 不限学历 不限经验
福建华工机械有限公司
10:47