1、User杠agent：Disallow：或者User杠agent：Allow允許所有搜索引擎訪問網(wǎng)站的所有部分。Disallow說明允許robot訪問該網(wǎng)站的所有url，在robots.txt文件中，至少要有一條Disallow記錄訪問。
2、User-agent： *Allow是robots文件中的一句語法，代表的意思是：允許所有的搜索引擎可以按照robots文件中的限制語法進行合理的抓取網(wǎng)站中的文件、目錄。User-agent： *Disallow：是允許所有搜索引擎收錄的意思。
3、Disallow： 說明允許 robot 訪問該網(wǎng)站的所有 url，在 /robots.txt 文件中，至少要有一條 Disallow 記錄。如果 /robots.txt 不存在或者為空文件，則對于所有的搜索引擎 robot，該網(wǎng)站都是開放的。
1、因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
2、robots.txt撰寫方法：（1），允許所有的搜索引擎訪問網(wǎng)站的所有部分或者建立一個空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪問網(wǎng)站的所有部分。
3、我們可以建立一個空白的文本文檔，命名為robots.txt放在網(wǎng)站的根目錄下即可。
1、另外，robots.txt主要用于保證網(wǎng)絡(luò)安全和網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過根目錄下創(chuàng)建的純文本文件robots.txt，網(wǎng)站可以聲明哪些頁面不想被百度蜘蛛抓取收錄。
2、robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
3、可以寫入sitemap文件的鏈接，方便搜索引擎蜘蛛爬行整站內(nèi)容。盡量少用Allow指令，因為不同的搜索引擎對不同位置的Allow指令會有不同看待。
4、如果 /robots.txt 不存在或者為空文件，則對于所有的搜索引擎 robot，該網(wǎng)站都是開放的。
5、包括目錄下的文件，比如tmp/23html 具體使用方法百度和谷歌都有解釋，百度http：// Robots.txt文件可以幫助我們讓搜索引擎刪除已收錄的頁面，大概需要30-50天。
1、robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
2、ROBOTS文件嚴格意義上來講，是用來禁止搜索引擎抓取的。如果沒有這個必要的話，我們也就沒有用ROBOTS文件的意義了。
3、robots是英語中的一個詞匯，意思是“機器人（們）”。
4、robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它。robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
5、搜索引擎爬去我們頁面的工具叫做搜索引擎機器人，也生動的叫做“蜘蛛”蜘蛛在爬去網(wǎng)站頁面之前，會先去訪問網(wǎng)站根目錄下面的一個文件，就是robots.txt。
6、robotx.txt是一種用于限制搜索引擎爬蟲訪問網(wǎng)站的文件。通常，網(wǎng)站管理員可以將不希望搜索引擎訪問的內(nèi)容，包括網(wǎng)站目錄下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
另外，robots.txt主要用于保證網(wǎng)絡(luò)安全和網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過根目錄下創(chuàng)建的純文本文件robots.txt，網(wǎng)站可以聲明哪些頁面不想被百度蜘蛛抓取收錄。
在計算機科學(xué)中，“robots.txt”是一種文件格式，一般位于一個網(wǎng)站的根目錄，用來告訴搜索引擎爬蟲訪問該網(wǎng)站時應(yīng)該遵守哪些規(guī)則，例如哪些頁面應(yīng)該被允許抓取，哪些頁面不應(yīng)該抓取等。
在網(wǎng)絡(luò)爬蟲領(lǐng)域，robots.txt是一個非常重要的文件，它指定了網(wǎng)站上哪些頁面可以被爬取，哪些頁面不能被爬取。b站也有一個robots.txt文件，用于指定其網(wǎng)站上的爬取規(guī)則。
robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。
robots.txt撰寫方法：（1），允許所有的搜索引擎訪問網(wǎng)站的所有部分或者建立一個空白的文本文檔，命名為robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎訪問網(wǎng)站的所有部分。
Robots.txr文件是一個純文本文件，可以告訴蜘蛛哪些頁面可以爬取（收錄），哪些頁面不能爬取。
