LLM延遲計算
以三組實測或假設的TTFT與吞吐量比較串流延遲預算。
llm-latency本機處理
正在啟用本機工具…
結果
確認輸入後執行，建立可讀結果與完整匯出。修改時取消作業並清除舊結果。
公式、來源與限制
總秒數＝TTFT＋（輸出token−1）／每秒token。首token已含TTFT。串流改善首段可見時間，不縮短完成時間；不保證網路、排隊、工具呼叫或實測表現。 費率、容量、訂閱及延遲預設均為示範自訂假設，非廠商現價或實測。請查官方來源後替換。每文字欄最多32,768個UTF-16單位、總輸入128KiB、輸出1MiB；本機作業30秒逾時。
方法檢查日期：
如何使用這個工具
載入安全範例、確認各欄假設後執行。修改任一欄即清除舊結果，可複製或下載完整結果。處理留在本分頁。
不適合用在什麼情況
總秒數＝TTFT＋（輸出token−1）／每秒token。首token已含TTFT。串流改善首段可見時間，不縮短完成時間；不保證網路、排隊、工具呼叫或實測表現。 費率、容量、訂閱及延遲預設均為示範自訂假設，非廠商現價或實測。請查官方來源後替換。每文字欄最多32,768個UTF-16單位、總輸入128KiB、輸出1MiB；本機作業30秒逾時。