必應(yīng)如何查找和索引您的網(wǎng)站？（第一部分）

SEO

admin

發(fā)布時間：2024-03-09 11:26:40

瀏覽：次

幫助必應(yīng)找到你網(wǎng)站的所有頁面

Sitemap: Sitemaps是Bing發(fā)現(xiàn)您網(wǎng)站所有頁面和內(nèi)容的重要方式。它是一個文件，提供了關(guān)于網(wǎng)站上的URL、其他文件和內(nèi)容（如圖片和視頻）的信息。Sitemap通知爬蟲您認(rèn)為在網(wǎng)站中重要的頁面和文件。它還提供了額外的信息，比如頁面上次更新的時間。我們強烈建議使用XML Sitemap文件來幫助Bing發(fā)現(xiàn)網(wǎng)站中所有相關(guān)的URL和內(nèi)容。請盡可能保持您的sitemap文件最新；實時刷新或至少每天刷新一次。這將使得舊的URL和失效鏈接可以及時被移除。

通過以下方式讓Bing獲取您的Sitemap：

使用Bing網(wǎng)站管理員工具的Sitemap工具提交它給Bing

將以下行插入到robots.txt文件中，并指定您的sitemap路徑：

Sitemap: http://example.com/sitemap_location.xml

一旦Bing知道您的Sitemap，Bing將定期對其進行抓取。除非網(wǎng)站發(fā)生重大變化，否則無需再次提交。

一般Sitemap指南：

Bing支持多種Sitemap格式，包括XML、RSS、MRSS、Atom 1.0和文本文件。

使用一致的URL。Bing只會精確抓取URL。

請在您的Sitemap中只列出規(guī)范的URL。

如果您的網(wǎng)站有多個版本（HTTP vs HTTPS，或移動版 vs 桌面版），我們建議在Sitemap中只指向一個版本。如果您決定為移動版和桌面版提供獨特的URL體驗，請使用rel="alternate"屬性進行標(biāo)注。

如果您的網(wǎng)站有多種語言或地區(qū)的多個頁面，請在Sitemap或HTML標(biāo)簽中使用hreflang標(biāo)記來標(biāo)識備用的URL。

使用<lastmod>屬性指示內(nèi)容上次修改的日期和時間。

Sitemap的最大大小為50,000個URL/50MB（未壓縮）。如果您的網(wǎng)站很大，可以考慮將大型Sitemap拆分成較小的Sitemap，并使用Sitemap索引文件列出所有單獨的Sitemap。

在robots.txt中引用您的Sitemap。

如果自從Bing抓取Sitemap以來您沒有對其進行更改，則無需再次提交也不會有益處。

使用Sitemap并不保證Sitemap中的所有項目都會被抓取和索引；然而，在大多數(shù)情況下，擁有Sitemap會帶來好處，因為它為爬蟲提供了推薦和指導(dǎo)。

使用IndexNow API或Bing URL或內(nèi)容提交API立即反映網(wǎng)站變化。如果您無法采用這些API，我們建議通過Bing網(wǎng)站管理員工具直接提交更新的URL，或者將它們包含在您的Sitemap中。

鏈接：傳統(tǒng)上，鏈接被視為確定網(wǎng)站受歡迎程度的信號。讓其他網(wǎng)站鏈接到您的網(wǎng)站的最佳方法是創(chuàng)建獨特和高質(zhì)量的內(nèi)容。Bing的爬蟲（Bingbot）會遵循您網(wǎng)站內(nèi)部的鏈接（內(nèi)部鏈接）或從其他網(wǎng)站（外部鏈接）獲取鏈接，從而幫助Bing發(fā)現(xiàn)新內(nèi)容和新頁面。

Bing建議將網(wǎng)站上的所有頁面鏈接至至少一個其他可發(fā)現(xiàn)和可抓取的頁面。

可抓取的鏈接是帶有href屬性的<a>標(biāo)簽。引用鏈接應(yīng)包含與頁面相關(guān)的文本或圖像alt屬性。

每個頁面上的鏈接數(shù)量應(yīng)合理，不超過幾千個鏈接。

合理努力確保網(wǎng)站上的任何付費或廣告鏈接使用rel="nofollow"或rel="sponsored"或rel="ugc"屬性，以防止爬蟲跟蹤這些鏈接，并避免對搜索排名產(chǎn)生潛在影響。

Bing獎勵自然增長的鏈接；即隨著時間逐漸增加的鏈接，這些鏈接是來自其他受信任、相關(guān)的網(wǎng)站的內(nèi)容創(chuàng)作者向您網(wǎng)站的真實用戶傳送的。計劃以有機的方式構(gòu)建內(nèi)部和外部鏈接。

濫用策略，旨在夸大入站鏈接的數(shù)量和性質(zhì)，如購買鏈接、參與鏈接方案（鏈接農(nóng)場、鏈接垃圾郵件和過度鏈接操縱）可能導(dǎo)致您的網(wǎng)站被懲罰并從Bing索引中刪除。

限制網(wǎng)頁數(shù)量：限制網(wǎng)站上的頁面數(shù)量為合理數(shù)量。避免在網(wǎng)站內(nèi)部生成重復(fù)內(nèi)容；通過以下方式幫助我們消除重復(fù)內(nèi)容：

通過使用規(guī)范標(biāo)簽避免輸出相同內(nèi)容的不同URL。

配置您的網(wǎng)站和URL參數(shù)，以提高爬取效率，并幫助減少指向相同內(nèi)容的多個URL的多個變體。

避免使用專門的移動URL。嘗試為桌面用戶和移動用戶使用相同的URL。

恰當(dāng)使用重定向：如果您將網(wǎng)站上的內(nèi)容移動到另一個位置，請至少使用HTTP 301永久重定向三個月。如果移動是臨時的，即少于一天，請使用302臨時重定向。在網(wǎng)站內(nèi)容從一個位置移動到另一個位置時，避免使用rel=canonical標(biāo)簽來取代適當(dāng)?shù)闹囟ㄏ颉?/div>

讓Bing抓取更多內(nèi)容：網(wǎng)站管理員工具的爬取控制功能允許您管理Bingbot對您的內(nèi)容的爬取，包括何時以及以何種速度。我們鼓勵網(wǎng)站管理員啟用Bingbot快速而深入地爬取網(wǎng)站，以確保盡可能多地發(fā)現(xiàn)和索引內(nèi)容。

JavaScript：Bing可以處理JavaScript，但在最小化HTTP請求的同時處理大規(guī)模的JavaScript存在一定限制。Bing建議使用動態(tài)渲染在特定用戶代理（例如Bingbot）之間切換客戶端渲染和預(yù)渲染內(nèi)容，特別是對于大型網(wǎng)站。

通過返回404“未找到”HTTP代碼來刪除內(nèi)容。通過使用Bing內(nèi)容移除和頁面移除工具加快內(nèi)容刪除。內(nèi)容刪除請求最長持續(xù)90天，您需要更新它，否則內(nèi)容可能會重新出現(xiàn)在搜索結(jié)果中。

robots.txt：robots.txt文件通知Bingbot等搜索引擎爬蟲可以或不可以訪問您網(wǎng)站上的哪些頁面和文件。robots.txt主要用于指導(dǎo)和管理爬蟲流量，例如您可以告訴Bingbot不要爬取諸如搜索結(jié)果頁面或登錄頁面之類的不那么有用的內(nèi)容。

將robots.txt放置在您網(wǎng)站的根目錄（最頂級的目錄）中。不要將其放置在子目錄中。

阻止Bing爬取某個頁面可能會將該頁面從索引中移除。然而，使用Disallow并不能保證頁面不會出現(xiàn)在索引或搜索結(jié)果中。如果您想要阻止某個特定頁面被爬取或索引，您應(yīng)該使用noindex的robots meta標(biāo)簽，而不是在robots.txt中禁止它。

經(jīng)常審查您的robots.txt以確保其是最新的。在Bing網(wǎng)站管理員工具中審查被robots.txt禁止的URL，以確保其保持準(zhǔn)確。

通過閱讀如何創(chuàng)建robots.txt文本文件來了解更多信息。

節(jié)省資源：使用HTTP壓縮和條件獲取以減少爬蟲和您的客戶使用的帶寬，同時提高頁面加載速度。