
很多人在做網(wǎng)站的時(shí)候都會去刻意追求收錄,但是根本就沒有注重網(wǎng)站的質(zhì)量,以及網(wǎng)站的哪些頁面需要收錄,哪些頁面不需要收錄都不知道,這些最基礎(chǔ)的點(diǎn)都沒有弄明白就去操作整個(gè)網(wǎng)站。這樣在整個(gè)網(wǎng)站的優(yōu)化過程中,我們會浪費(fèi)掉大量的時(shí)間和精力。
蜘蛛在抓取一個(gè)網(wǎng)站的之前,都是經(jīng)過計(jì)算過一個(gè)網(wǎng)站有多少頁面需要進(jìn)行抓取,那么這個(gè)資源肯定是非常珍貴有限的。如果那這個(gè)價(jià)值發(fā)揮到最大化,就要把一些不用收錄的頁面進(jìn)行屏蔽,合理的分配資源。
在參加關(guān)鍵詞排名的過程中,都是以單個(gè)頁面來也進(jìn)行排序。那么這個(gè)問題就很顯而易見了,也就是說對于我們網(wǎng)站有參與關(guān)鍵詞排名的頁面,以及能夠促進(jìn)關(guān)鍵詞排名的頁面都是有需要被收錄的。
既然明白這個(gè)道理,那么網(wǎng)站上面出現(xiàn)的關(guān)于我們,聯(lián)系我們,在線留言等等這些頁面都是不需要被搜索引擎抓取的。(除非你想要來做關(guān)于我們、聯(lián)系我們、在線留言這些關(guān)鍵詞來參加排名)
還有一個(gè)大家經(jīng)常忽略的一個(gè)問題,就是網(wǎng)站路徑結(jié)構(gòu)的問題,比如說m.idc0731.com與m.idc0731.com/index.html這兩個(gè)路徑都是同一個(gè)頁面,比如:同一篇文章在不同的幾個(gè)欄目下,也會造成一個(gè)頁面有多個(gè)不同的路徑。這樣的不同路徑相同頁面都是需要進(jìn)行301跳轉(zhuǎn)或者robots屏蔽。
屏蔽這些頁面的做法就非常簡單了,在robots文件中添加一段代碼屏蔽蜘蛛抓取的代碼就可以了Disallow: /about_us.html (about_us.html就是你要屏蔽頁面的路徑)
| 暫無觀點(diǎn)或提問! |