• EN
|

招聘信息 | 企业服务

警示:以招聘为名收取培训费用、提供培训贷款,或在录用过程中需支付体检、服装、押金等费用的,都属违法行为。一经发现,请立即举报,并向当地公安机关报案。更多详情

爬虫开发工程师

0.8-1.5万/月

广州中地会资讯发展有限公司 查看所有职位

广州  |  2年经验  |  本科  |  招2人  |  12-06发布

职位信息

岗位职责:

1. 负责分布式网络爬虫系统的架构设计与开发;

2. 互联网站、网页、链接的特征挖掘,根据业务要求负责抓取互联网各种形式数据,如网页、pdf、word等数据抓取、数据提取、清洗、入库;

3. 负责爬虫核心算法的策略优化研究,充分利用资源,提升网页抓取的效率和质量;

4. 优化搜索、匹配、抓取等关键程序的性能及效率;

5. 爬取房地产相关网页、pdf等形式数据,能够总结分析不同网站的结构特点与规律;

6. 进行技术分享与培训。

任职要求:

1. 2年以上爬虫开发相关经验,有大规模网络爬虫开发经验优先;

2. 精通Python;

3. 熟悉多线程、网络编程,精通网页抓取原理及技术,精通正则表达式,能从结构化的和非结构化的数据中获取信息;

4. 熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程;

5. 具备信息检索、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验;

6. 熟练使用数据库,至少精通一种关系型数据库的开发,掌握Redis、MongoDB、Hive等常用NoSQL技术并具有实战经验,熟悉 hadoop 者优先;

7. 精通一种开源爬虫框架,如Scrapy、Webmagic、Nutch、Heritrix等,有开发爬虫框架经验优先;

8. 熟悉反爬虫、验证码识别、图像识别等技术优先;

9. 具有文本分析、数据挖掘、自然语言处理、信息检索、机器学习背景者优先;

10. 精通Java或 C++ 语言优先。

联系方式

上班地址:广州市天河区珠江新城临江大道57号中和广场8楼

地图

公司信息

   “中地会”全称“中国地产资信强企交流会”,由地产资信评审会发起成立,主要为广东地产资信 20 强、深圳地产资信 10 强房企,各大金融机构,相关部门,房地产相关企事业单位,及相关专家学者等提供的内部交流、学习的公益性平台,以促进我国房地产业健康持续发展。

中地会十大核心服务
(1) 定期提供《高层决策》,《房地产数据报告》,工作日提供《早晨快讯》,为理事单位提供定制化数据服务;
(2) 举办各项专题活动,如高层座谈会、高峰论坛、商务考察;
(3) 举办各项交流活动,如总裁沙龙、银企交流会,组织理事成员之间参观考察;
(4) 开展联谊联赛活动,联络感情、增进共识;
(5) 金融政策咨询,融资、担保、发债等服务;
(6) 有关金融机构的多项理财服务及各项优惠政策;
(7) 项目合作、兼并、收购、转让等信息;
(8) 为理事成员开辟特殊服务通道;
(9) 尊享国内外其他高端机构合作而获得的各项尊贵服务;
(10) 另外委托中地会承办的其他事项。
回到
顶部
意见反馈