崗位要求:
1.對(duì)爬蟲、圖形驗(yàn)證碼識(shí)別等技術(shù)有較深入研究
2. 計(jì)算機(jī)或相關(guān)專業(yè)??埔陨蠈W(xué)歷,3年以上爬蟲工作經(jīng)驗(yàn)
3. 掌握網(wǎng)絡(luò)爬蟲開發(fā)原理,對(duì)互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù),知道如何處理需登錄網(wǎng)站、動(dòng)態(tài)頁(yè)面、封賬號(hào)IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁(yè)爬取,深度網(wǎng)頁(yè)爬取,熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術(shù)平臺(tái)和主要框架,精通Java開發(fā),能熟練應(yīng)用spring,MyBatis, MQ等主流技術(shù)框架;
4. 對(duì)數(shù)據(jù)庫(kù)有充分了解,熟悉Oracle、MySQL、NonSQL等技術(shù)
5. 熟悉分布式系統(tǒng)開發(fā)和存儲(chǔ)技術(shù),如Redis、Memcache、Ehcache等
6. 學(xué)習(xí)能力強(qiáng),對(duì)新技術(shù)研究狂熱,有很強(qiáng)獨(dú)立研究能力
崗位職責(zé):
1.參與爬蟲系統(tǒng)的設(shè)計(jì)和開發(fā),負(fù)責(zé)爬蟲系統(tǒng)的框架設(shè)計(jì)
2.負(fù)責(zé)網(wǎng)頁(yè)信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對(duì)互聯(lián)網(wǎng)海量業(yè)務(wù)進(jìn)行整合、分析挖掘
4.與技術(shù)團(tuán)隊(duì)進(jìn)行溝通,負(fù)責(zé)爬蟲數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的整合對(duì)接
5.能主導(dǎo)部門新技術(shù)研究、開發(fā)
職位類別:
其他
舉報(bào)