• EN
 

职场百科   职场文库   招聘信息   企业服务

您所在的位置:最新招聘信息 >全国职位信息 >爬虫开发工程师招聘信息

职位推荐:金融客户关系房地产保安人力资源咨询茶店营业员奢侈品店长检测助理工程师制片助理融资租赁环境工程师淘宝推广Delphi图像识别小学体育教师地质勘查动漫游戏

职位分类:不限

更多
更多:

已选条件:
爬虫开发工程师
清除条件
全选
申请职位

爬虫工程师广州市佩升前研市场信息咨询股份有限公司广州0.6-1万/月04-23

学历要求:大专|工作经验:2年|公司性质:上市公司|公司规模:50-150人

岗位职责:1、基于公司内部采集框架,进行模板配置、爬虫程序开发; 2、维护内部的爬虫代码,确保项目数据的准确性与完整性; 3、支撑业务项目和产品的数据抓取需求,参与开发和扩展新的数据源;4、改进现有爬虫系统,设计和优化爬虫策略,提升爬虫抓取效率与稳定性;5、负责封账号、封IP、验证码等反爬虫技术难点的攻克。 任职要求: 1、熟悉js逆向,***会app逆向(包括dex2jar,破壳,so层算法); 2、会使用appium或者airtest等自动化测试,以及mitmproxy原理; 3、熟悉使用scrapy、feapder以及crawler等开源爬虫框架; 4、熟练使用mysql、mongodb以及redis; 5、熟悉linux,了解基本的linux语句; 6、有字体反爬、css反爬以及验证码(字体或者滑块)识别经验; 7、了解hive或者hadoop等大数据或者数据仓库技术的额外加分; 8、了解数据处理工具如panda、numpy的基础应用。

立即申请
收藏

高级Python爬虫工程师上海亿毅贸易有限公司上海-松江区1.5-2万/月04-23

学历要求:大专|工作经验:3-4年|公司性质:民营公司|公司规模:

岗位职责:1、负责相关网站、app的爬虫设计和开发,以及策略持续优化;2、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;3、解决反爬疑难问题,设计及优化大型分布式爬虫系统等;4、负责后端框架搭建和添加;任职要求:1、2年以上Python开发经验,具备常用web框架(如Django,Flask等);2、熟练使用sql语句,能够编写简单sql和完成简单的取数需求;3、掌握网络爬虫开发原理,熟悉互联网各种类型数据交互模式;4、掌握HTML,JS,熟练掌握JS逆向;能够解决常见的反爬虫技术如文本混淆反爬虫、验证码等;5、熟悉scrapy爬虫框架,对分布式爬虫、海量数据采集有深刻的理解;6、熟悉常用图像处理框架如opencv,PIL;7、有app逆向,反编译及参数加密破解经验优先;8、熟悉pyppeteer,selenium等模拟框架;9、有新媒体网站如微信、头条、微博、百家号等爬取经验优先;10、具备良好的沟通能力和团队协作能力。

立即申请
收藏

爬虫开发工程师深圳市胖达摸鱼科技有限公司深圳-宝安区0.8-1.3万/月04-23

学历要求:大专|工作经验:1年|公司性质:民营公司|公司规模:

 工作描述: 1. 参与公司数据采集与分析项目工作; 2. 参与数据采集与分析代码编写、单元测试和bug修复工作; 3. 根据产品和项目情况,优化及维护代码; 4. 根据产品开发规范,完成相关技术文档编写; 任职要求: 1、计算机或相关专业毕业,学信网可查全日制大专或以上学历; 2、1-3年以上的爬虫项目经验; 3、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率; 4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 5、负责后台爬虫数据的分布式存储设计以及代码实现; 6、负责网页采集任务的分析及采集方

立即申请
收藏

数据爬虫研发工程师广东南方财经全媒体集团股份有限公司广州-越秀区1-2.5万/月04-23

学历要求:本科|工作经验:2年|公司性质:国企|公司规模:500-1000人

1、负责分布式爬虫系统架构和数据存储设计和实现。2、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善。3、负责各类网络请求分析,探索和研究高效的解决方案。4、理解系统数据处理流程以及业务功能需求。5、保证数据的完整性和准确性,保障数据采集的稳定性。任职要求:1、全日制本科及以上学历,计算机相关专业, 2年及以上数据采集经验;2、熟悉 TCP/IP、HTTP、HTTPS等网络协议,熟悉web前端,熟悉js、css、html等;3、熟练使用Python/java/C++语言,熟悉常用爬虫框架和工具;4、有过大型平台数据采集,反爬经验;有逆向js,app反编译经验;5、有Mysql、Mongodb、Redis使用经验。

立即申请
收藏

爬虫高级软件工程师北京正橹航空服务有限公司长沙-天心区1-2万/月04-23

学历要求:本科|工作经验:2年|公司性质:民营公司|公司规模:50-150人

福利待遇:工资+加班工资+奖金周末双休其它福利:弹性工作制、五险一金、带薪年假、免费体检、生日红包及活动等岗位描述;能够按时按质完成公司各项开发任务。岗位要求1. 3-5年软件开发经验;计算机或相关专业,本科或以上学历2. 责任心强、有耐心、乐于钻研技术和业务;3.熟悉APP逆向,js逆向等,掌握各类高级的技能及工具;4. python或其他语言不限,熟悉JS、html、json/XML、post/get、正则、多线程多进程、缓存等技术;5. 了解数据库基本编程知识;6. 能够接受偶尔加班。

立即申请
收藏

爬虫开发工程师换换集团深圳-南山区0.8-1.3万/月04-23

学历要求:大专|工作经验:2年|公司性质:民营公司|公司规模:150-500人

岗位职责:1、 使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。2、 利用python数据分析准备工作3、 利用numpy解决随机漫步案例4、 利用pandas完成数据汇总和描述5、 数据加载、存储与文件格式6、 数据规整化、数据聚合与分组运算

立即申请
收藏

爬虫开发工程师上海溯因智能科技有限责任公司上海-闵行区1.5-3万/月04-23

学历要求:本科|工作经验:2年|公司性质:民营公司|公司规模:少于50人

岗位职责:    1、 参与网络信息搜集方向的研究与开发;    2、 负责网络爬虫系统的开发,包括文本处理、数据清洗、数据聚类等;    3、 负责爬虫系统架构的维护、优化,以及数据存储的相关设计;    4、 负责搭建实时爬虫框架。    任职要求:    1、 熟悉HTTP/HTTPS通讯协议,熟悉主流的HTML页面元素构成及JSON接口。    2、 有至少2年以上爬虫领域的项目开发经验,熟悉主流的爬虫技术,了解常见的爬虫封锁机制及应对方案,例如谷歌验证、IP池等。    3、 具有大型分布式系统的架构设计和性能优化经验。    4、 有python开发经验优先。    5、 有电商平台爬虫经验优先。

立即申请
收藏

Node.js 开发工程师深圳格隆汇信息科技有限公司深圳-南山区0.8-2万/月04-23

学历要求:本科|工作经验:3-4年|公司性质:创业公司|公司规模:150-500人

岗位职责:1.参与整体架构的设计和讨论。2.负责公司数据源抓取需求。3.提升爬虫抓取效率和质量。4.负责公司平台相关的,客户端/Api服务开发。??任职要求 :1.有一定项目经验;2.Javascript/typescript基础扎实;3.精通HTTP协议和REST服务;4.熟悉异步I/O编程,了解es6/es7新特性;5.熟悉Mysql/MongoDB/Redis;6.熟悉NodeJS框架,Express/KOA/nestjs;7.熟练运用git;8.对各类抓包工具熟练使用;9.有前、后端开发经验者优先。

立即申请
收藏

爬虫开发工程师深圳市启高启辰科技有限公司深圳-宝安区1-1.5万/月04-23

学历要求:本科|工作经验:3-4年|公司性质:民营公司|公司规模:50-150人

岗位职责:1、负责后台爬虫数据的分布式存储设计以及代码实现;2、根据开发进度和任务分配,完成相应模块的软件设计、开发、编程任务;3、负责设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量,如分析预测、质量判断、封禁与反封禁研究等;4、完成目标网站数据采集与爬取、解析处理、入库等数据日常工作;5、跟进技术热点,及时更新新的爬虫功能,持续优化分布式爬虫策略。岗位要求:1、本科及以上学历,有2年及以上的爬虫项目经验;2、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先;3、熟悉常见的反爬机制及对应的应对措施,如cookie识别;4、熟悉网页爬虫、分布式、多线程开发技术;5、有爬取电商平台如亚马逊、速卖通经验者优先;6、善于主动学习,责任心强,良好的沟通表达能力。

立即申请
收藏

爬虫工程师网易集团广州-天河区1.5-2.5万/月04-23

学历要求:本科|工作经验:1年|公司性质:上市公司|公司规模:10000人以上

【工作内容】- 负责指定的网站进行页面抓取、数据清理提取;- 参与已有爬虫系统中作业的检验,设计和优化爬虫策略,充分利用已有服务器和宽带资源进行优化;- 针对APP数据进行抓包分析,爬取APP数据并整合存储;- 对大规模数据进行处理和简单分析(Hadoop集群);- 能积极反馈和沟通工作进度和面临的工作问题。【职位要求】- 本科及以上学历,计算机相关专业;- 掌握Python、Java等编程语言,了解多线程、多进程、网络通信等编程相关知识;- 掌握网页抓取原理,了解TCP/HTTP协议、Html/Js/Css、Ajax等技术,熟悉一般的网站登陆原理;- 具有实际爬虫开发工作经验,熟悉常见爬虫框架和工具,比如pyspider, scrapy和Selenium等;- 了解爬虫框架原理、有过APP抓包分析经验者优先;- 具有Hadoop、数据挖掘、自然语言处理等相关经验者优先;- 能够快速学习和掌握新技术,优秀的分析、解决问题能力,具备团队合作精神。

立即申请
收藏

爬虫工程师腾讯无线大连研发中心大连-高新园区1.5-2.5万/月02-23

学历要求:|工作经验:5-7年|公司性质:民营公司|公司规模:150-500人

岗位职责:岗位要求:1、了解HTTP协议,HTML/CSS/Javascript等Web开发相关技术,熟悉xpath语法3、熟悉Linux常用命令,selenium、appnium等组件操作4、熟悉MYSQL、MongoDB等常用数据库的使用和库表,索引操作5、能熟练使用 Python编写网络请求及处理脚本,了解GOLang语言或愿意转GO语言技术栈6、熟悉页面自动化测试工具及流程,有分析能力和定位问题的能力7、有hook经验,了解xpost框架者优先8、有互联网数据采集经验及反爬取经验者优先 职位描述1、参与公司爬虫系统的设计与开发;2、爬虫系统技术架构设计、重构、优化,不断增强爬虫系统的性能和功能,解决反爬问题;3、参与网页信息抽取、数据清洗等研发和优化工作;4、技术难题攻关,解决实际开发过程碰到的各类问题。

立即申请
收藏

爬虫开发工程师同程数科上海-浦东新区2-3万/月04-22

学历要求:本科|工作经验:3-4年|公司性质:民营公司|公司规模:150-500人

岗位职责:1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制;2、负责APP的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量;4、负责爬虫平台的构建,实现爬虫产品可视化、产品化;5、辅导培养爬虫相关研发人员。任职要求:1、3年以上Python 爬虫经验;2、熟悉多线程、网络编程、网页抓取原理、正则表达式、HTTP协议等;3、熟悉任意开源web框架,如Flask, Django等;4、熟悉任意开源爬虫框架,如scrapy-splash、pyspider等;5、熟练使用 Mysql、Redis、Kafka 等中间件;6、有海量主流电商平台数据爬取经验,能迅速响应电商平台变动做规则调整;7、有开发爬虫框架经验优先,熟悉反爬虫、验证码识别技术者优先;8、熟悉编写网络爬虫采集规则,对反爬、加解密、代理、模板、app破壳、Android逆向等关键技术理解透彻,具有群控和搜索相关技术研发经验者优先;9、较强的沟通能力,对解决挑战型问题充满激情,人品好,耐得住寂寞。

立即申请
收藏

爬虫开发工程师北京北大方正电子有限公司北京-海淀区1.5-2万/月04-15

学历要求:本科|工作经验:3-4年|公司性质:国企|公司规模:1000-5000人

职责描述: 1.参与爬虫系统的架构设计、核心模块(抓取调度,页面解析和结构化抽取,海量数据存储和读取等)开发,改进和提升爬虫效率; 2.攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库; 3.完善爬虫的技术指标体系,并基于指标迭代优化爬虫基础能力,指标体系中,全面性指标的建立,基于随机采样,估计系统总体目标信息; 4.技术难题攻关,解决实际开发过程碰到的各类问题; 任职要求: 1.计算机或相关专业,本科或以上学历,3年以上爬虫开发经验; 2.精通至少一种开发语言,如Python、Java,熟练掌握至少一种开源爬虫框架,熟练掌握mongo、redis、mq、hadoop等相关技术; 3.对爬虫有浓厚的兴趣,责任感强,有较好的交流沟通能力和团队合作能力; 4.优先条件:参与过分布式爬虫系统设计和开发;有自己的爬虫作品;参与过开源爬虫项目并贡献代码;深入研究过开源爬虫项目源码。

立即申请
收藏

爬虫开发工程师天狮集团有限公司中国区北京2-3万/月04-23

学历要求:本科|工作经验:5-7年|公司性质:民营公司|公司规模:1000-5000人

 1、负责设计和开发通用爬虫系统,提取和分析国内外电商网站的数据; 2、解决技术疑难问题,包括反反爬、压力控制等,提升网页抓取的效率和质量;  3、实时监控爬虫的进度和警报反馈  任职要求: 1、精通python、计算机网络,熟练使用多线程,熟悉Scrapy/Pyspider等常用爬虫框架; 2、熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术; 3、能够解决封账号、封IP、验证码识别、图像识别等问题;                                                                                                                           

立即申请
收藏

爬虫开发工程师汉王科技股份有限公司武汉-东湖新技术产业开发区0.7-1万/月04-11

学历要求:本科|工作经验:2年|公司性质:民营公司|公司规模:500-1000人

职责描述:1、负责网络爬虫程序设计,开发及维护,对目标网站进行数据爬取分析,找到最优化的爬取策略。2、负责爬虫系统的架构设计和研发,独立进行抓取和清洗工作;3、负责技术难点的攻克;4、负责大规模数据爬虫的性能优化工作;任职要求:1、计算机相关专业本科及以上学历,1年以上爬虫工作经验者优先;2、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息;3、精通PYTHON语言,熟悉数据库性能优化与常见缓存技术与策略;4、精通一种开源爬虫框架,如scrapy、webmagic、nutch、heritrix等等,有开发爬虫框架经验优先;熟悉反爬虫、验证码识别技术者优先;5、熟悉fiddler,charles等抓包工具;6、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题解决问题;

立即申请
收藏

爬虫工程师深圳市酷客智能科技有限公司深圳-宝安区1.5-2.5万/月04-23

学历要求:本科|工作经验:3-4年|公司性质:民营公司|公司规模:500-1000人

岗位职责:1、负责数据采集项目;2、负责爬虫系统设计、开发和维护;3、其他相关工作。任职要求:1、本科及以上学历,计算机相关专业;2、熟练掌握Python/Java等一种或多种语言;3、熟悉Scrapy、WebMagic、Flask等框架;4、熟悉爬虫抓取原理,了解反爬策略;5、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等;6、熟悉MySQL、MongoDB、Elasticsearch、Redis等主流数据库;7、能做一些简单的数据清洗工作,熟练掌握Pandas,Numpy以及数据可视化者优先8、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。加分项:1、大规模数据采集经验;2、熟悉Fiddler,Charles,BurpSuite,TCPDump,Wireshark,Mitmproxy等网络分析工具;2、具有分布式、多线程/协程/进程的编程经验。

立即申请
收藏

中高级爬虫开发工程师信必优(深圳)信息技术有限公司深圳-南山区1.5-2万/月04-23

学历要求:大专|工作经验:3-4年|公司性质:外资(欧美)|公司规模:1000-5000人

JD:(中级3~5年,高级5年以上) 岗位职责: . 负责抓取网站数据,分析链接,转码等; 2. 负责维护抓取程序的监控和报警,并且快速修复问题; 3. 负责和业务沟通抓取需求,满足业务的发展需求。 4. 负责和业务的服务器端开发配合,设计比较灵活的爬取架构,满足业务的爬取需求; 任职资格: 1. 本科或以上,计算机软件或相关专业毕业;(若无本科,可适当放宽大专学信网可查) 2. 扎实的编程能力,熟悉算法和数据结构,熟悉计算机的基础理论; 3. 有强烈上进心,自我驱动,学习适应能力强,乐观自信,能挑战自我不断追求卓越; 4. 工作细致、责任心强,具备较强的学习能力及理解能力,有良好的沟通能力和团队协作能力; 5. 理解http,熟悉html, DOM, xpath, scrapy优先; 6. 有爬虫、信息抽取、文本分类相关经验者优先

立即申请
收藏

Java爬虫工程师深圳市天泰网络技术有限公司深圳1.5-2万/月04-23

学历要求:大专|工作经验:3-4年|公司性质:民营公司|公司规模:150-500人

【岗位职责】1、负责各大航空公司官网或者APP数据采集,主要是动态数据。2、负责网页爬虫架构设计(包括基础资源,如代理池技术、反爬技术、浏览器采集技术等等)与核心技术研发。3、负责API或者爬虫获取数据,数据解析和分析等功能的研发。4、验证码、模拟票预定、出票等。【任职资格】1、统招大专以上学历,3年以上相关工作经验;2、扎实的java语言基础,熟悉linux平台下主流Java应用开发框架及中间件(如Spring、Spring Boot、Mybatis、Hibernate、Kafka、ElasticSearch等),能够对Java进行代码级的调优和调试;3、熟悉常用的浏览器调试技术;4、熟悉常见的反爬机制及对应的应对措施,如cookie识别;5、精通网页爬虫、分布式、多线程开发技术;6、具有很强的分析和解决问题的能力,具有攻克难题的强烈兴趣,以及提升技术能力的意愿;7、善于主动学习,责任心强,能够承受较高的工作压力。【工作福利】1、工作时间:周末双休。2、工作地点:周边地铁,4/9号线-上梅林站,卓越城。3、办公环境:环境舒适,营业面积1000余平。4、工作福利:全勤奖、工龄奖、餐补、员工体检、节日礼品、法定假期,社保公积金、年终奖、职业生涯通道、员工宿舍。天泰,欢迎你的加入。(公司250+人规模,自研技术团队20+人,含产品、项目、java、net、爬虫等)

立即申请
收藏

爬虫开发工程师跨税云(深圳)科技有限公司深圳-龙华区1-1.5万/月04-23

学历要求:大专|工作经验:3-4年|公司性质:民营公司|公司规模:150-500人

1、根据开发进度和任务分配,完成相应模块软件的设计、开发、编程任务;2、遵守软件开发技术和规范及标准流程;3、独立完成应用的开发任务,并优化系统程序;4、负责系统的设计、开发,以及网页抓取的效率和质量优化;5、负责团队对目标网站进行数据爬取分析,找到最优化的爬取策略;6、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)。任职要求:1、python语言至少2年以上的使用经验,并且熟练使用python中的selenium、requests、flask、pymysql,json,熟练掌握分布式框架,能使用Scrapy,kafka;2、熟知HTTP、TCP、Socket等底层知识,深度了解反爬原理;3、熟悉常见反爬机制,验证码识别,IP代理池、应用Ip池、headers认证和cookie等;4、熟练掌握应用Selenium+PhantomJS实施动态HTML抓取;5、熟练掌握正则表达式、XPath、HTML,CSS等网页信息抽取技术,熟悉web相关数据处理;6、熟悉常用的浏览器调试技术,mysql数据库的基本操作;7、熟悉熟练使用http代理工具charles、fiddler;8、在破解验证码方面有丰富经验;9、有实际海量数据采集、清洗、存储项目经验,有过数据质量管理、数据监控开发、设计使用经验、有对数据负责意识,掌握分布式系统设计,多线程,多进程 的优先。

立即申请
收藏

高级爬虫工程师上海清赟医药科技有限公司上海-长宁区1.3-1.8万/月04-23

学历要求:大专|工作经验:5-7年|公司性质:合资|公司规模:150-500人

1、负责各类网站和App端数据抓取和平台搭建; 2、负责对爬取数据进行分类和解析,及爬取数据后台存储的设计; 3、负责爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率; 4、设计爬虫策略和防屏蔽规则,提升网页及APP抓取的效率和质量; 任职要求: 1、3年+爬虫经验,熟练掌握Python语言; 2、熟悉PC端、移动端数据抓取(有逆向、脱壳等经验),掌握Apktool、Dex2jar、JD-GUI等工具,抓取过主流App软件经验; 3、熟悉目前主流的爬虫框架,有解决复杂的反爬限制实践经验,能解决如图片验证码/滑块/账号限制/ip限制等问题; 4.具备丰富的逆向工程经验,尤其在Android、iOS平台的逆向工程经验。有成功逆向过复杂软件数据结构、功能、算法的经历; 5、性格开朗、善于沟通,有良好的自我驱动学习能力,注重效率和团队意识;

立即申请
收藏

全选
申请职位
共16页,到第确定

精英竞拍汇-中高端人才求职平台

互联网专场
招聘职位: 后端开发,前端开发,移动端开发,测试,产品/设计/运营
金融专场
招聘职位: 财务审计,合规与风险控制,后台运营,投行,销售
房地产专场
招聘职位: 房地产开发,建筑工程,规划设计,商业,市场营销
汽车专场
招聘职位: 汽车新能源,软件与汽车电子,生产制造,质量管理,供应链管理