Robots.txt 搜索引擎通過一種程序 robot(又稱 spider),自動訪問互聯網上的網頁并獲取網頁信息。 您可以在您的網站中創建一個純文本文件 robots.txt,在這個文件中聲明該網站中不想被 robot 訪問的部分, 這樣,該網站的部分或全部內容就可以不被...