← 全部工具

Robots.txt 產生器:Agent 群組、規則與 Sitemap

在本機建立 crawler agent 群組、允許/禁止路徑與 sitemap 指令,檢查換行注入並匯出完整文字。

robots-txt-generator本機處理

正在啟用本機工具…

產生設定

Agent 群組 1

修改設定會清除舊結果。輸出最多 1 MiB,超限拒絕,不截斷。

群組最多 30 個、每群組最多 100 條規則、sitemap 最多 30 個。路徑以 / 開頭;空白及 # 須編碼。robots.txt 公開可讀,不是權限控制,也不保證搜尋收錄。

輸入只留本頁記憶體,不傳送、儲存或寫入網址。

靜態來源日期:2026-10-17

預覽與完整輸出

設定欄位或載入範例,再產生結果。

如何使用這個工具

加入群組及規則,可選填 HTTP(S) sitemap 網址,產生並檢查後再放至網站的 /robots.txt。

不適合用在什麼情況

robots.txt 是公開爬取指引,不是存取控制,也不保證收錄。路徑的空白與 # 須使用百分比編碼。

閱讀實作指南 →