從搜索引擎規(guī)范角度看,我們的網(wǎng)站在使用CMS程序之后是需要配置robots.txt文件的。比如WordPress程序目前會(huì)自動(dòng)生成內(nèi)置的robots.txt文件,但是在使用ZBLOG PHP程序的時(shí)候是沒有自動(dòng)生成的,我們需要手動(dòng)添加到網(wǎng)站根目錄。
嚴(yán)格意義上講,robots.txt文件還是比較有用的,但是對于國內(nèi)來說用途好像不是特別的大,既然我們需要加上,這里老蔣就整理一個(gè)通用的文檔。我們先看看ZBLOG PHP的固定的目錄是有哪些。
這里我們看到ZBLOG PHP目錄。如果我們在安裝完畢程序之后,zb_install目錄是可以刪除的。然后我們需要屏蔽掉zb_system和zb_users目錄不要被抓取,其他可以留著。但是對于主題、圖片庫是需要留著的。
這我們需要保存為robots.txt文件,然后需要注意地圖文件需要用到對應(yīng)的插件實(shí)現(xiàn)。