All posts English version →

最貴的不是你問問題那幾秒,是它乾等的 23 小時:本地 AI 的電費真相

你在自己的聊天模型裡打了個問題,按下 enter,幾秒後答案就出來了——私密、免費、沒有 token 計費表在跳。你往椅背一靠,覺得自己挺聰明:以前是租 AI,現在這台是你自己的了。

然後電費單來了,漲幅遠超過「一天就那幾秒鐘」能解釋的程度。轉折在這裡:你那幾下打字幾乎不花什麼錢,真正燒錢的,是你連碰都沒碰鍵盤的那些時段。

這篇就帶你看清電到底躲在哪——那些「保溫待命、以防萬一」的閒置時數、一個能砍掉功耗又不拖慢你拿到答案的 GPU 技巧,還有怎麼不再「讓電腦睡」和「看著整晚的任務跑掉」二選一。

電到底耗在哪

一台本地 AI 機有三種狀態,而最花錢的不是你直覺想的那個:

  • 推理中。高階卡在原廠設定下生成時輕鬆拉到 300–450 瓦。聽起來很兇——但每個請求只跑幾秒鐘。
  • 模型載著、GPU 閒置。請求之間,模型可能常駐在 VRAM 裡——幾分鐘或永久,看你的 keep-alive 設定。GPU 的待機功耗明顯比空桌面高——多螢幕加高刷新率還會把這個地板再墊高。
  • 24 小時待命。如果這台機器在為你的手機、編輯器外掛或 Home Assistant 提供 API,它就永遠不能睡——於是整台機器(CPU、風扇、主機板、硬碟)全天候空轉。

不舒服的比例來了:除非你整天都在批次生成,你的「AI 伺服器」90% 以上的時間都活在第二、三種狀態——耗著電什麼都不做。你真正要的推理,跟你沒想過的閒置時數比起來只是零頭。

最花錢的不是你問問題的那幾秒,而是它「乾等你問」的那 23 小時。就像家裡的熱水器:你以為電費都花在洗澡那十分鐘,其實大半是它整天反覆把整桶水保溫在燙的狀態,只為了你哪天突然想用。本地 AI 也一樣——真正被你用到的推理只是零頭,帳單是那一整天的「保溫待命」貢獻的。

功耗上限技巧(速度掉得比你想的少)

r/LocalLLaMA 早就知道這招:LLM 推理主要吃的是記憶體頻寬,不是運算力。把 GPU 功耗上限壓下來,時脈會降,但 tokens/sec 幾乎不動。社群在 3090、4090 這類卡上的實測一再得到同樣結論:功耗上限砍 25–35%,推理速度只掉個位數百分比——同時熱量和風扇噪音跟著瓦數一起降。

LLM 推理像在排隊取餐:瓶頸是出餐口(記憶體頻寬)有多快,不是廚房後面站了幾個廚師(運算力)。所以你把廚師人手砍掉三分之一(功耗砍 25–35%),出餐速度幾乎沒變——因為原本卡的就不是廚師。你省下的是那一大票閒著的廚師的工錢(電費)和他們散的熱,菜上得一樣快。

手動版作法(系統管理員視窗):

  • nvidia-smi -pl 300——把卡限制在 300 瓦(你的卡的合法範圍用 nvidia-smi -q -d POWER 查)。
  • 自己跑一次前後對比——用你常用的模型測五分鐘,就知道真實代價。生圖比 LLM 更吃運算力,掉速會比較明顯,上限設保守一點。
  • 注意:這個限制重開機就重置,要靠開機任務才留得住。

睡眠兩難(問題的另一半)

功耗上限管住瓦數,但本地 AI 在「睡眠」這邊才是真的跟你作對:

  • 長任務會死。Finetune、大批次生成、跑整晚的 embedding——Windows 的睡眠計時器只認鍵盤滑鼠,不認 CUDA。30 分鐘沒輸入 → 判定「閒置」→ 睡眠 → 幾小時的 GPU 工作直接蒸發。
  • 服務也會死。機器一睡,你的 Ollama endpoint 就斷線,所有 client 全掛。
Windows 判斷你「在不在用電腦」只看一件事:有沒有人在動鍵盤滑鼠。問題是你那張 GPU 正埋頭跑整晚的訓練,它完全不算「有人在用」——就像保全只認門口有沒有人走動,沒看到後院工廠燈火通明還在趕工,時間一到就大手一揮把總電源關了,半夜的成果全沒。

於是大家都用同一個解法:把睡眠整個關掉。一個為了隱私做的決定,就這樣靜悄悄變成一台永遠全功率空轉的機器。每一步都很合理,加起來是兩頭皆輸。

靜態設定跑步機,AI 版

這些你都可以手動接起來——開機任務跑 nvidia-smi、睡眠關掉、也許再加個排程腳本晚上壓低功耗、白天放寬。它能動,跟 homelab 那篇的 DIY 一樣能動:直到某天晚上 8 點你想打遊戲,GPU 還卡在為深夜服務設的上限;或者某次 Windows 更新悄悄重置了設定,你一個月後才從電費單上發現。

把它自動化

這正是 PowerDoze 為之存在的問題形狀。對應到本地 AI,每一塊是:

  • 保持清醒白名單——把 ollama.exekoboldcpp.exe 或你訓練腳本的程序加進去。它們在跑,電腦就不會睡;其他 20 個小時,正常睡眠可以開回來。長任務活下來,閒置的夜晚不再燒電。
  • 內建 NVIDIA 功耗上限的電源模式——把 GPU 瓦數、CPU 上限、散熱策略打包成模式,再排程切換:白天全速、深夜切「服務模式」限速待命。GPU 上限每次重開機自動重新套用。
  • 分析儀表板(Pro 功能)——長期追蹤估算瓦數、度數、電費,「壓 GPU 到底有沒有差」從感覺變成數字。

誠實邊界:PowerDoze 不會幫你排程 AI 工作、不碰 VRAM 和模型載入、也不會讓推理變快。它管的是 AI 周圍的那一圈——睡眠、功耗上限、排程、量測——而浪費剛好全都住在那一圈裡。

排程、電源模式、白名單、監控全部免費、不用註冊帳號。一切都在本機執行——如果你跑本地 AI 是為了隱私,這一點你應該會在意。

誰不需要這篇

模型跑在雲端的人,電費是別人的問題。在筆電上推理的人,電池已經自動幫你管住浪費。如果你的 AI 機是一台專用的無頭 Linux 伺服器,PowerDoze 幫不上忙——它只支援 Windows;nvidia-smi 加 systemd timer 是你的朋友。這篇寫給最常見的那種配置:既是你的日常主力機、又是你的 AI 機的那台 Windows 桌機——下午 2 點需要全速、凌晨 2 點幾乎什麼都不用,而現在它兩個時間都在全速。

免費下載 PowerDoze →

Nisonxi

我是 Nisonxi,PowerDoze 的開發者。當初純粹因為我自己受夠了 Windows 桌機整天全速發呆吃電、卻找不到一個能「看懂情況、自動切換」的工具,乾脆自己做。這個部落格就是我一路上的筆記。

關於作者與 PowerDoze →