資深爬蟲工程師職位要求
1、計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷，3年以上爬蟲相關(guān)工作經(jīng)驗(yàn)；
2、對(duì)爬蟲編程有強(qiáng)烈愛(ài)好，熟練精通掌握至少1種語(yǔ)言java、python，在需要的情況下能快速上手新語(yǔ)言切換；
3、深入理解tpc/ip、http、以及web登錄認(rèn)證的機(jī)制，有成功破解復(fù)雜驗(yàn)證碼的經(jīng)驗(yàn)；
4、有通用分布式爬蟲系統(tǒng)架構(gòu)和開發(fā)經(jīng)驗(yàn)，能快速部署新的爬蟲應(yīng)用；
5、已有2年以上網(wǎng)絡(luò)爬蟲或搜索引擎工作經(jīng)驗(yàn)，參與過(guò)大規(guī)模數(shù)據(jù)爬蟲優(yōu)先考慮；
6、有APP安全、逆向等領(lǐng)域的經(jīng)驗(yàn)；
7、具有良好的溝通、團(tuán)隊(duì)協(xié)作、計(jì)劃能力， 有過(guò)1-2人的團(tuán)隊(duì)管理經(jīng)驗(yàn)。
資深爬蟲工程師崗位職責(zé)
1、建設(shè)完善分布式爬蟲系統(tǒng)；
2、建立通用的爬蟲框架，能夠快速適應(yīng)新的爬蟲需求；
3、快速完成對(duì)目標(biāo)資源的數(shù)據(jù)抓取、處理。
