在網(wǎng)站建設(shè)的時(shí)候，因?yàn)橐恍┎僮鳎瑢?dǎo)致正常的網(wǎng)站無(wú)法被搜索引擎爬蟲(chóng)訪問(wèn)，進(jìn)而使搜索引擎認(rèn)為該頁(yè)面是死鏈接。除了頁(yè)面無(wú)法打開(kāi)，一下的幾個(gè)點(diǎn)都可以導(dǎo)致網(wǎng)站死鏈的產(chǎn)生。

以下小編就給出一些死鏈的產(chǎn)生情況，本次文章素材來(lái)自百度公開(kāi)課搜索引擎課程，具備相對(duì)的權(quán)威性。其他搜索引擎同樣可以參考該篇文章來(lái)進(jìn)行設(shè)置。

減少死鏈的產(chǎn)生，是從事SEO工作工作者必修課。

HTTP/HTTPS設(shè)置不當(dāng)引起死鏈

問(wèn)題場(chǎng)景：

1.HTTP可訪問(wèn) ，HTTPS不可訪問(wèn)

2.HTTP不可訪問(wèn) ，HTTPS可訪問(wèn)

建議：

整站行為一致，保證所有的URL正常訪問(wèn)，另外百度方面不建議HTTP與HTTPS共生。

封禁引起死鏈

問(wèn)題場(chǎng)景：

1.用戶可以正常訪問(wèn)，爬蟲(chóng)不能。（爬蟲(chóng)抓取的是錯(cuò)誤的頁(yè)面）

一些網(wǎng)站因?yàn)樘厥庑?，?dǎo)致用戶可以正常訪問(wèn)，但是當(dāng)爬蟲(chóng)訪問(wèn)時(shí)，卻返回一個(gè)錯(cuò)誤的頁(yè)面。

2.PC端可訪問(wèn)，搜索引擎APP不能訪問(wèn)

搜索引擎爬蟲(chóng)可以訪問(wèn)PC端頁(yè)面，但是不能訪問(wèn)APP。百度官方的公開(kāi)課說(shuō)到這個(gè)APP訪問(wèn)，暗指是支持APP內(nèi)訪問(wèn)的一個(gè)分析，來(lái)作為一個(gè)綜合評(píng)估參考。所以，不屏蔽百度APP對(duì)網(wǎng)站的訪問(wèn)。

3.DNS封禁

有些特定的DNS服務(wù)商會(huì)封禁搜索引擎爬蟲(chóng)來(lái)抓取域名的內(nèi)容。這種在少數(shù)，畢竟目前主流域名廠商，已經(jīng)主流的DNS廠商都沒(méi)有做DNS封禁。

4.服務(wù)器站點(diǎn)策略封禁

有些服務(wù)器自帶的安全策略會(huì)屏蔽百度蜘蛛的抓取，這種情況會(huì)產(chǎn)生死鏈（網(wǎng)頁(yè)URL鏈接，但是無(wú)內(nèi)容）。當(dāng)這種情況在整個(gè)網(wǎng)站出現(xiàn)，會(huì)導(dǎo)致搜索引擎判斷網(wǎng)站為一個(gè)劣質(zhì)網(wǎng)站。會(huì)被降權(quán)。

建議：

合理的使用站長(zhǎng)資源工具，來(lái)診斷站點(diǎn)是否能正常抓取

識(shí)別百度爬蟲(chóng)（雙向DNS解析認(rèn)證）解除封禁

對(duì)spider不公開(kāi)內(nèi)容設(shè)置robots協(xié)議封禁/設(shè)置死鏈，導(dǎo)致返回404

不建議使用額外的技術(shù)手段封禁百度爬蟲(chóng)。

對(duì)百度APP可以訪問(wèn)

DNS變更引起死鏈

問(wèn)題場(chǎng)景：

站點(diǎn)更新DNS解析，將域名的IP變更，IP1變?yōu)镮P2，中間有時(shí)間差。

當(dāng)站點(diǎn)的更換域名解析的IP后，因?yàn)橛行〥NS并不能做到立即響應(yīng)解析（一般為24小時(shí)）。我們拿24小時(shí)為例，中間有曾時(shí)間差，導(dǎo)致搜索引擎蜘蛛無(wú)法抓取，會(huì)評(píng)定為死鏈。

這個(gè)時(shí)候可以預(yù)留4-5天的緩存期，讓爬蟲(chóng)來(lái)更新這個(gè)DNS

建議：

更換DNS后，使用站長(zhǎng)資源平臺(tái)工具來(lái)抓取測(cè)試，查看網(wǎng)站是否能正常抓取。

不建議頻繁更換DNS的IP，如必須變更請(qǐng)，給爬蟲(chóng)抓取預(yù)留緩沖時(shí)間。