佐山爱痴汉theav-最新中文字幕在线视频-最新在线黄色网址-最新影音先锋av资源台-老司机午夜影院试看区-老司机无码精品A

讓我們一起成長

分享價值,同步成長

【薦】百度如何判斷網(wǎng)頁文章的重復(fù)度

日期:2016-05-30 點(diǎn)擊:6193
在這個科技高度發(fā)達(dá)的時代,百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度,到處充斥著一些重復(fù)的內(nèi)容,對用戶的訪問造成很大的困擾。因此,百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷,對重復(fù)的網(wǎng)頁,只選取一些高質(zhì)量的我那工業(yè),共用戶瀏覽。然而,現(xiàn)有技術(shù)中一般是通過比較兩個頁面的內(nèi)容和借點(diǎn),來確認(rèn)兩個頁面的相似度。
 
這種方法能夠計(jì)算的比較準(zhǔn)確,可時間復(fù)雜度太高,計(jì)算很費(fèi)時間。通過對一個頁面中的某些重要信息進(jìn)行簽名,然后比較兩個頁面的簽名,來計(jì)算相似度,這種方式比較簡單高效,計(jì)算速度比較快,比較適合百度這種海量信息的應(yīng)用場景。
 
1,網(wǎng)站重復(fù)內(nèi)容的判斷
 
A,獲取多個網(wǎng)頁;
 
B,分別提取網(wǎng)頁的網(wǎng)頁正文;
 
C,從網(wǎng)頁正文中提取一個或多個句子,并根據(jù)一個或多個句子計(jì)算網(wǎng)頁正文句子簽名;
 
D,根據(jù)網(wǎng)頁正文句子簽名對多個網(wǎng)頁進(jìn)行聚類;
 
E,針對每一類下的網(wǎng)頁,計(jì)算網(wǎng)頁的附加簽名;
 
F,根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復(fù)。
 
通過上述方式,網(wǎng)頁重復(fù)的判斷系統(tǒng)及其判斷方法通過包括網(wǎng)頁正文句子簽名在內(nèi)的多維度簽名有效且快速地判斷網(wǎng)頁是否重復(fù)。
 
提取正文
 
A,對網(wǎng)頁進(jìn)行分塊;
 
B,對分塊后的網(wǎng)頁進(jìn)行塊過濾,以獲取包含網(wǎng)頁正文的內(nèi)容快;
 
C,從內(nèi)容塊中提取網(wǎng)頁正文。
 
正文分句
 
A,對網(wǎng)頁正文進(jìn)行分句;
 
在本步驟中,可利用分號,句號,感嘆號等表示句子完結(jié)的標(biāo)志符號來對網(wǎng)頁正文進(jìn)行分句。此外,還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進(jìn)行分句。
 
B,對分句后的網(wǎng)頁正文進(jìn)行過濾及轉(zhuǎn)換;
 
在步驟中,首先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對網(wǎng)頁重復(fù)判斷不起決定性作用的信息。隨后,對句子進(jìn)行轉(zhuǎn)換,例如,進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡體轉(zhuǎn)換,以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。
 
C,從過濾及轉(zhuǎn)換后的網(wǎng)頁正文中提取最長的一個或多個句子;
 
在本步驟中,過濾及轉(zhuǎn)換后的網(wǎng)頁正文提取出最長的一個句子或者做場的預(yù)定數(shù)量連續(xù)句子的組合。例如,某個網(wǎng)頁實(shí)例中,經(jīng)過過濾及轉(zhuǎn)換后的某段最長,遠(yuǎn)超其他句子,因此可選擇該段為網(wǎng)頁正文句子,或者選擇最長的連續(xù)句子組合作為網(wǎng)頁正文句子。
 
D,對一個或多個句子進(jìn)行hash簽名運(yùn)算,以獲取網(wǎng)頁正文句子簽名。
 
simhash算法就是比較各網(wǎng)頁的附加簽名是否相同或相似來判斷網(wǎng)頁是否重復(fù)。具體來說,在比較利用simhash簽名運(yùn)算獲得的網(wǎng)頁正文簽名時,比較網(wǎng)頁正文簽名的不同位數(shù),不同位越少,表示網(wǎng)頁重復(fù)的可能性越高,在比較其他的附加簽名時,若附加簽名相等,表示網(wǎng)頁在該緯度上重復(fù)。
 
總結(jié):
 
1、兩個網(wǎng)頁的真實(shí)標(biāo)題簽名相同。
 
2、兩個我那工業(yè)的網(wǎng)頁內(nèi)容簽名相同。
 
3、兩個網(wǎng)頁的網(wǎng)頁正文簽名的不同位數(shù)小于6.。
 
4、兩個網(wǎng)頁的網(wǎng)頁位置簽名相同,并且url文件名簽名相同。
 
5、評論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個簽名相同。
 
附加信息整站判斷重復(fù)標(biāo)準(zhǔn):
 
通過兩兩頁面比較,可以得到真重復(fù)url的集合。一般來說,如果這個真重復(fù)url集合中的網(wǎng)頁的數(shù)量/整個網(wǎng)頁集中網(wǎng)頁的數(shù)量大于30%,則認(rèn)為整個網(wǎng)頁集都是真重復(fù),否則就是假重復(fù)。
我們的案例

助力事業(yè)的品牌轉(zhuǎn)型和升級,并通過IT系統(tǒng)建設(shè),完成貫通線上線下融合的價值通道

品牌網(wǎng)站建設(shè)網(wǎng)絡(luò)營銷策劃移動應(yīng)用定制微信定制開發(fā)品牌視覺設(shè)計(jì)商標(biāo)注冊

177 1793 9915(工作日)

134 2456 6196(7×24)

滬公網(wǎng)安備 31011502008122號

主站蜘蛛池模板: 先锋资源久久 | 久久热免费观看视频 | 中文字幕亚洲综合小综合在线 | 久久精麻豆亚洲AV国产品 | 精品一区二区三区免费观看 | 国产成人a在一区线观看高清 | 一扒二脱三插片在线观看 | 恋夜影院支持安卓视频美女 | 小草视频免费观看在线 | 国产精品一国产精品免费 | 国产激情一级毛片久久久 | 大胸美女被c | 天天噜日日噜夜夜噜 | 久久国产乱子伦精品免费不卡 | 免费国产成人高清在线观看视频 | 最近免费中文字幕完整版HD | 巨大乳hdbbw| 欧美亚洲国内日韩自拍视频 | 亚洲欧美高清在线 | 365电影成人亚洲网在线观看 | 欧美性爱 先锋影音 | 国产精品A久久久久久久久 国产精品A久久777777 | 欧美视频 亚洲视频 | 欲香欲色天天综合和网 | 99影视久久电影网久久看影院 | 精品久久伊人 | 男女疯狂一边摸一边做羞羞视频 | 空姐内射出白浆10p 空姐厕所啪啪啪 | 美女的让男人桶爽网站 | 日韩在线看片中文字幕不卡 | 亚洲成人中文 | 亚洲黄视频在线观看 | 成品片a免人看免费 | 久久无码AV亚洲精品色午夜 | 国产午夜人做人免费视频中文 | 国产亚洲精品久久7777777 | 榴莲推广APP网站入口下载安装 | 日韩性大片 | 97国产成人精品视频 | 校园女教师之禁区 | 在线免费观看a视频 |