职位详情
爬虫数据工程师
8000-12000元
不限-不限
不限
不限
更新 2023-06-28 浏览 40881
职位详情
  • 不限到岗
  • 不限性别
  • 不限婚况

泉州市 经验: 学历:大专
岗位职责: 1、负责制定网络数据抓取规则,完成数据采集与爬取、清洗、解析处理、入库等数据日常工作; 2、负责传统网页、电商网站、社会化媒体网站等互联网数据的高效采集与正确解析; 3、负责爬虫的核心技术研究与开发和前沿爬虫技术并实践; 4、大规模分布式互联网爬虫系统的开发和维护,优化抓取策略,充分利用带宽资源,避免各类限制,提升网页抓取效率和质量。 任职要求: 1、大专以上学历,计算机及相关专业,2年以上Python开发经验; 2、精通网页抓取原理及技术,熟悉基于Cookie或JWT的网站登录原理,熟悉正则表达式、XPath、CSS等网页信息; 3、精通Python编程语言,精通JavaScript,对HTTP协议及HTML有深入的了解;精通正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息; 4、熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、MySQL数据库; 5、熟悉Selenium、WebDriver、PhantomJS、htmlunit、Nutch、ETL、HtmlParser等技术优先;有分布式爬虫架构,数据挖掘经验者优先。

公司信息
泉州森地客体育用品有限公司
50-200人 · 合资企业 · 不限
晋江市世纪大道899号永晟金融大厦9-11楼
泉州人才网温馨提示
求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。 立即举报
公司问答
我要提问
对此职位有疑问?快来问问吧 !
相似职位
助理
面议
不限-不限 不限学历 不限经验
泉州永欣体育用品有限公司
07:00
后整/后道主管
6000元
不限-不限 不限学历 不限经验
森宝(福建)纺织科技发展有限公司
06:51
拼多多电商经理(皮鞋)
10000-12000元
不限-不限 不限学历 不限经验
福建合益前程人力资源有限公司
06:28
普工
3800-4000元
不限-不限 不限学历 不限经验
泉州市老顽童中介公司
06:07