LLM Tokenizer視覺化
在本機檢查兩種真實BPE編碼的token ID、彩色位元組片段與完整還原。
tokenizer-visualizer本機處理
正在啟用本機工具…
結果
確認輸入後執行，建立可讀結果與完整匯出。修改時取消作業並清除舊結果。
公式、來源與限制
僅保證選定編碼的計數。不含聊天包裝、工具、圖片及供應商特殊token。單一token可能只有部分UTF-8，視覺化會合併此類token以保留可讀文字，仍保留每個ID。 費率、容量、訂閱及延遲預設均為示範自訂假設，非廠商現價或實測。請查官方來源後替換。每文字欄最多32,768個UTF-16單位、總輸入128KiB、輸出1MiB；本機作業30秒逾時。
方法檢查日期：
如何使用這個工具
載入安全範例、確認各欄假設後執行。修改任一欄即清除舊結果，可複製或下載完整結果。處理留在本分頁。
不適合用在什麼情況
僅保證選定編碼的計數。不含聊天包裝、工具、圖片及供應商特殊token。單一token可能只有部分UTF-8，視覺化會合併此類token以保留可讀文字，仍保留每個ID。 費率、容量、訂閱及延遲預設均為示範自訂假設，非廠商現價或實測。請查官方來源後替換。每文字欄最多32,768個UTF-16單位、總輸入128KiB、輸出1MiB；本機作業30秒逾時。