← 全部工具

LLM VRAM估算器

在本機操作LLM VRAM估算器,明確設定、互動檢查並匯出完整結果。

llm-vram-calculator本機處理

正在啟用本機工具…

本機設定

開始前確認具標籤的設定及假設。所有資料留在此分頁,不送AI請求、不執行模型、不持久儲存或讀取外部素材。

本機互動工作台

明確開始後建立完整匯出,編輯即清除舊結果。

模型、來源與限制

權重=總參數×位元/8;KV=2×層數×KVheads×headDim×上下文×batch×KVbytes。採二進位GiB,明示額外空間及固定buffer。量化標籤為名目位元,非精確GGUF大小;MoE採儲存總參數,不虛構品質保留比例。平均分配GPU僅為假設,不保證速度/可載入/硬體相容;11類GPU反查使用相同假設。Apple統一記憶體容量情境採可調72%假設,計完整權重+KV+執行期,不因CPU卸載減少;容量僅範例,非產品供應或可載入保證。 每文字欄最多32KiB,完整結果最多1MiB。Worker啟動10秒/處理1秒,修改即取消舊作業。

ToolHubEN inspected controls

HuggingFace KV cache explanation

如何使用這個工具

開始前確認具標籤的設定及假設。所有資料留在此分頁,不送AI請求、不執行模型、不持久儲存或讀取外部素材。

不適合用在什麼情況

權重=總參數×位元/8;KV=2×層數×KVheads×headDim×上下文×batch×KVbytes。採二進位GiB,明示額外空間及固定buffer。量化標籤為名目位元,非精確GGUF大小;MoE採儲存總參數,不虛構品質保留比例。平均分配GPU僅為假設,不保證速度/可載入/硬體相容;11類GPU反查使用相同假設。Apple統一記憶體容量情境採可調72%假設,計完整權重+KV+執行期,不因CPU卸載減少;容量僅範例,非產品供應或可載入保證。 每文字欄最多32KiB,完整結果最多1MiB。Worker啟動10秒/處理1秒,修改即取消舊作業。