隨著世界工廠網(wǎng)V3版本的上線，在期間多多少少還是丟掉了一些頁面。當(dāng)我們遇到網(wǎng)站頁面被刪除的時(shí)候，究竟應(yīng)該如何處理?首先說一下處理思路：




我們通常會用到的方法有兩種：

一、頁面狀態(tài)碼返回404：404頁面直接做成隨機(jī)推薦產(chǎn)品或其他內(nèi)容(尋人啟示&情懷頁面);

二、頁面狀態(tài)碼返回200：10秒以后跳轉(zhuǎn)到網(wǎng)站導(dǎo)航頁或者其他有價(jià)值的頁面。

不過一般網(wǎng)站都是直接返回普通的404頁面，畢竟對于已經(jīng)不存在的產(chǎn)品，仍然想保留在搜索引擎數(shù)據(jù)庫的話，是不符合原則的，所以我推薦是第一種。

最近站長平臺針對這塊兒也進(jìn)行了相應(yīng)的分享，我們一同來看下：

原標(biāo)題：【大拿分享】新浪死鏈處理經(jīng)驗(yàn)分享

在第四次深“度”接觸結(jié)束后，spider工程師表示新浪的死鏈處理工作一直效果不錯(cuò)，提醒學(xué)院應(yīng)該請其做個(gè)分享。新浪穩(wěn)座國家級門戶頭把交椅，誰還敢說自己網(wǎng)站結(jié)構(gòu)的復(fù)雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預(yù)防(重要頁面因修改而產(chǎn)生死鏈)方面的經(jīng)驗(yàn)。

一、在以下背景下會較多產(chǎn)生死鏈：

1、時(shí)政新聞的敏感性;

2、來自監(jiān)管的刪除需求;

3、頻道(編輯)自身刪改的需求;

4、搜索方期望資源方主動優(yōu)化和定期清除的需求

二、死鏈分類：

由于系統(tǒng)架構(gòu)、歷史遺留問題、多業(yè)務(wù)系統(tǒng)交叉影響等多方面因素，新浪存在如下三種死鏈：

1、協(xié)議死鏈，服務(wù)器端返回HTTP狀態(tài)碼404;

例如：‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml




2，內(nèi)容死鏈，服務(wù)器端返回HTTP狀態(tài)碼200，無法設(shè)置為404;

例如：http://news.sina.com.cn/c/2015 ... shtml




3，頁面需要用戶和蜘蛛可以正常訪問，但由于刪改或誤操作導(dǎo)致反復(fù)上下線形成協(xié)議死鏈或內(nèi)容死鏈。例如：http://news.sina.com.cn/2015-1 ... shtml

上線后又下線，后又上線，甚至反復(fù)多次。由于下線期間存在協(xié)議死鏈或內(nèi)容死鏈的情況，導(dǎo)致百度認(rèn)為該頁面應(yīng)該被刪除，不被收錄，且即使后續(xù)重新上線也無法恢復(fù)收錄。對于這種情況，應(yīng)加以預(yù)防。




三、解決方案：

1、協(xié)議死鏈，這個(gè)最符合HTML標(biāo)準(zhǔn)處理方式，站點(diǎn)方面無須多做什么，如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進(jìn)行主動提交

2，無法設(shè)置協(xié)議死鏈接，僅主體內(nèi)容文本被刪除的內(nèi)容死鏈死鏈，新浪的處理方法是：

1)走事先之制定好的《死鏈標(biāo)準(zhǔn)流程》：用站內(nèi)標(biāo)準(zhǔn)內(nèi)容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面，5秒后跳轉(zhuǎn)到統(tǒng)一的全站導(dǎo)航頁，以減少用戶流失。

2)根據(jù)需要，比如根據(jù)特定關(guān)鍵詞圈定一批最終需要處理為協(xié)議死鏈的敏感頁面，將這些頁面鏈接放到一個(gè)文件里，由專人在服務(wù)器端修改成協(xié)議死鏈。通過百度站長平臺工具進(jìn)行死鏈提交

3，針對反復(fù)上下線導(dǎo)致百度誤判為死鏈的情況，新浪的預(yù)防辦法是：

1)制度上：系統(tǒng)后臺設(shè)置提醒，提醒編輯上線后除非特殊情況不要下線;

2)功能上：這種情況在專題運(yùn)營中最常見，且影響比單篇新聞頁要大，由于我站點(diǎn)運(yùn)營規(guī)定是不能刪除頁面的，因此在系統(tǒng)后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調(diào)整為不對外顯示(對編輯來說不是刪除，而是暫時(shí)下線，調(diào)整為外網(wǎng)用戶無法訪問，可隨時(shí)再次重新上線)”兩個(gè)功能嚴(yán)格區(qū)分開，并提供回收功能。針對“將專題調(diào)整為不對外顯示”這種情況，不再將頁面更新為內(nèi)容死鏈(頁面無法找到)，以免被百度誤判。專題頁面仍可訪問，只是站點(diǎn)不設(shè)置入口、不進(jìn)行推廣，用戶沒有訪問來源而已。
? 查看全部