做SEO時，最好是把Robots.txt文件寫好，下面說下寫法：搜索引擎Robots協(xié)議：是放置在網(wǎng)站根目錄下robots.txt文本文件，在文件中可以設(shè)定搜索引擎蜘蛛爬行規(guī)則。設(shè)置搜索引擎蜘蛛Spider抓取內(nèi)容規(guī)則。
robots協(xié)議文件的創(chuàng)建 網(wǎng)站SEO優(yōu)化與搜索引擎友好地對話，robots.txt文件無疑是最好的選擇。
：SEO優(yōu)化重點以文章內(nèi)容頁優(yōu)化為主。一個網(wǎng)站28的流量，20%主頁，80%內(nèi)頁，所以優(yōu)化內(nèi)頁就是在優(yōu)化你的流量。3：適當(dāng)給每個頁面增加keyword(關(guān)鍵詞)，Description(頁面描述)，robots(搜索引擎抓取器)等標簽。
1、Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）是約束所有蜘蛛的一種協(xié)議。搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
2、robots是一個協(xié)議，是建立在網(wǎng)站根目錄下的一個以（robots.txt）結(jié)尾的文本文件，對搜索引擎蜘蛛的一種限制指令。
3、在網(wǎng)絡(luò)協(xié)議中，robots.txt是Web站點管理者用來告訴搜索引擎機器人哪些頁面不應(yīng)該被爬蟲抓取的標準協(xié)議。
4、robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它。robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
5、Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，是用來指引搜索引擎更好地抓取網(wǎng)站里的內(nèi)容。比如說，一個搜索蜘蛛訪問一個網(wǎng)站時，它第一個首先檢查的文件就是該網(wǎng)站的根目錄里有沒有robots.txt文件。
6、搜索引擎Robots協(xié)議：是放置在網(wǎng)站根目錄下robots.txt文本文件，在文件中可以設(shè)定搜索引擎蜘蛛爬行規(guī)則。設(shè)置搜索引擎蜘蛛Spider抓取內(nèi)容規(guī)則。
robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
需要注意的是對每一個目錄必須分開聲明，而不要寫成 “Disallow： /cgi-bin/ /tmp/”。
網(wǎng)站必須要有一個robot.txt文件。文件名是小寫字母。當(dāng)需要完全屏蔽文件時，需要配合meta的robots屬性。robots.txt的基本語法 內(nèi)容項的基本格式：鍵： 值對。
robots.txt的寫法是做seo的人員必須知道的（什么是robots.txt），但該如何寫，禁止哪些、允許哪些，這就要我們自己設(shè)定了。
robots文件主要的作用就是阻止蜘蛛抓取你不想讓他抓取的文件。最好還是要一個，比如網(wǎng)站后臺等一些文件 想要不被他他抓取，robots文件就能起到作用了。
robots 是站點與 spider 溝通的重要渠道，站點通過 robots 文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用 robots.txt 文件。
