職位描述：

1、互聯(lián)網(wǎng)站，網(wǎng)頁，鏈接的特征挖掘,對指定的多個網(wǎng)站的網(wǎng)頁進(jìn)行網(wǎng)頁抓取、數(shù)據(jù)的提取、清洗、入庫；

2、對搜索、匹配、同步等后臺守護(hù)程序進(jìn)行性能優(yōu)化等；

3、負(fù)責(zé)系統(tǒng)日常運(yùn)營資源調(diào)度優(yōu)化及運(yùn)營指標(biāo)分析調(diào)優(yōu)，并能實時監(jiān)控爬蟲的進(jìn)度和警報反饋；

4、負(fù)責(zé)特殊網(wǎng)頁采集任務(wù)的分析及采集方案設(shè)計職位要求：

1.精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息。

2.精通搜索引擎和網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)

3.精通.NET框架,精通C#、ASP.NET、ADO.NET等開發(fā)技術(shù),并能夠熟練使用VS.NET等開發(fā)工具；

4.精通SQL,能熟練使用SQLServer數(shù)據(jù)庫；

5.有網(wǎng)絡(luò)爬蟲或分布式采集開發(fā)經(jīng)驗者優(yōu)先。