<dfn id="rtftp"><strike id="rtftp"></strike></dfn>
<form id="rtftp"></form>

    <mark id="rtftp"></mark>

    <p id="rtftp"></p>

    <p id="rtftp"></p>

        <nobr id="rtftp"><big id="rtftp"></big></nobr>
        <b id="rtftp"></b>

            <strike id="rtftp"></strike>

                資訊中心

                資訊中心

                如何避免蜘蛛重復抓取一個頁面

                問題:如何避免蜘蛛重復抓取一個頁面?

                回答:蜘蛛重復抓取頁面是正常的,蜘蛛抓取頁面的依據是看頁面內容是否發生了變化,如果每次抓取頁面都有變化,那么抓取就會更加頻繁。如果多次抓取后發現頁面都沒有變化,就會減少抓取。所以不要刻意讓蜘蛛不重復抓取某個正常的頁面。

                蜘蛛多次重復的抓取頁面,就說明這個頁面的更新頻繁。這是個好的現象,我們可以去對這個頁面進行分析,看看到底是哪個內容模塊經常有更新。而其他的頁面則可以參考,也加大這些頁面的更新頻率,這樣整個網站的抓取頻次就會增多。

                當然,想要整體增加蜘蛛抓取頻次的話,內容的數量和內容的持續更新也需要注意。通常,內容越多的網站,蜘蛛的抓取頻次就越高。

                另外有些動態頁面,或者是某些數據庫文件,大家要注意。這些頁面更新會很頻繁,如果給蜘蛛提供了鏈接入口,那么蜘蛛就會經常來抓取這些頁面,這個細節問題大家也要注意下,對于這些沒有必要被收錄的頁面,要隱藏好鏈接入口。

                還有就是sitemap這個網站地圖文件,搜索引擎之所以會頻繁抓取,其實也是跟文件的更新有關系。如果我們的網站地圖是動態的,那么網站一旦更新內容,網站地圖就會產生變化,搜索引擎蜘蛛每次過來都能發現新的鏈接,因此它就會頻繁來抓取。

                關于如何避免蜘蛛重復抓取一個頁面的問題,筆者就簡單的說這么多??傊畞碚f,如果蜘蛛重復抓取的是正常的需要優化的頁面,那就不要去管它。如果是那些不需要優化的動態頁面,就要想辦法隱藏鏈接入口,再在robots文件上限制抓取。最后再提醒下,蜘蛛抓取頁面跟頁面的內容更新有關系,大家可以根據這個原理去對網站收錄進行優化。


                評論(0 條評論)
                游客

                歡迎咨詢技術,多一份參考總有益處

                點擊QQ咨詢
                添加我,免費做你的網絡顧問
                返回頂部
                久久综合给久久狠狠97色_无码av免费一区二区三区_97夜夜澡人人爽人人_精品久久久久无码专区中文字幕

                <dfn id="rtftp"><strike id="rtftp"></strike></dfn>
                <form id="rtftp"></form>

                  <mark id="rtftp"></mark>

                  <p id="rtftp"></p>

                  <p id="rtftp"></p>

                      <nobr id="rtftp"><big id="rtftp"></big></nobr>
                      <b id="rtftp"></b>

                          <strike id="rtftp"></strike>