职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
岗位职责
1、负责设计、开发和维护高效、稳定的爬虫系统,提升数据采集的效率和质量;
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作;
3、解决实际开发过程中碰到的各类产品数据需求和接口问题。
任职要求
1、统招本科及以上学历,熟练使用Python或其他相关语言进行爬虫开发,拥有扎实的编码和调试能力,并能够编写高质量的可维护代码;
2、熟悉各种爬虫框架和工具,如Scrapy、BeautifulSoup、Selenium等,能够根据需求灵活使用,同时熟悉反爬虫机制的解决方案;
3、具备大规模分布式爬虫系统设计和开发经验,能够解决分布式爬虫中的挑战和问题,如任务调度、数据同步和去重等;
4、深入理解网络协议和网页结构,能够处理复杂的页面结构和动态内容;
5、熟悉数据库的使用,能够设计和优化数据存储和查询方案,具备数据清洗和处理的能力。
6、有开源大模型部署及微调经验优先
1、负责设计、开发和维护高效、稳定的爬虫系统,提升数据采集的效率和质量;
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作;
3、解决实际开发过程中碰到的各类产品数据需求和接口问题。
任职要求
1、统招本科及以上学历,熟练使用Python或其他相关语言进行爬虫开发,拥有扎实的编码和调试能力,并能够编写高质量的可维护代码;
2、熟悉各种爬虫框架和工具,如Scrapy、BeautifulSoup、Selenium等,能够根据需求灵活使用,同时熟悉反爬虫机制的解决方案;
3、具备大规模分布式爬虫系统设计和开发经验,能够解决分布式爬虫中的挑战和问题,如任务调度、数据同步和去重等;
4、深入理解网络协议和网页结构,能够处理复杂的页面结构和动态内容;
5、熟悉数据库的使用,能够设计和优化数据存储和查询方案,具备数据清洗和处理的能力。
6、有开源大模型部署及微调经验优先
工作时间:995
工作地点
地址:北京朝阳区海航大厦北京市朝阳区霄云路26号海航大厦


职位发布者
刘小姐HR
位来小猎(宁波)信息技术有限公司

-
专业服务
-
200-499人
-
私营·民营企业
-
上海市普陀区真如山姆
相似职位
-
自动驾驶系统开发高级/资深工程师(IMU方向)(A28672) 25000-45000元天河区 应届毕业生 本科广州小鹏汽车科技有限公司
-
三新经理人培养计划(二督12) 面议海珠区 应届毕业生 不限中国平安人寿保险股份有限公司广东分公司
-
动力电池负责人 2元以上黄埔区 应届毕业生 不限广州亿航智能技术有限公司
-
保险康养顾问(二督12) 面议海珠区 应届毕业生 不限中国平安人寿保险股份有限公司广东分公司
-
制剂车间(生产) 8000元以上黄埔区 应届毕业生 不限江苏恒瑞医药股份有限公司
-
保险康养顾问(天六13) 面议天河区 应届毕业生 不限中国平安人寿保险股份有限公司广东分公司