跳至主要內容
囤水囤糧之外,也把急救知識裝進筆電:Survival LLM 離線安裝教學

囤水囤糧之外,也把急救知識裝進筆電:Survival LLM 離線安裝教學


囤水囤糧之外,也把急救知識裝進筆電

重點摘要

  • 英國、日本政府最近都叫家庭備好 3 天以上的水和食物,斷網時去哪裡查資料,倒是比較少人提。
  • Survival LLM 把一個 AI 和一套離線資料庫裝進自己的電腦,設定好之後拔掉網路,也能問急救、停電、淨水的問題。
  • 每個回答都會列出它讀過的文章,點開就能看原文,我認為這是最該用的功能。
  • 記憶體決定能跑多大的模型,16 GB 也裝得起來,不過在作者自己的測試裡,小模型答對的題數少很多。

美軍要基地斷電斷水也能撐 90 天,前 FBI 副局長叫大家囤 3 天物資,那你家的「堡壘」裡,有放急救知識嗎?

不只一個國家,都在叫大家囤物資

先講美國那邊吧。

9 月 30 日,美國國防部長赫格塞斯公布了一個叫 FORTRESS 的計畫。

內容是要本土主要軍事基地在失去外部支援時,至少撐 90 天。

電力、供水、燃料、通訊,都要能自己維持。Newsweek 報導

另一邊,今年 1 月卸任的前 FBI 副局長邦吉諾(Dan Bongino),10 月 26 日在 Podcast 上呼籲民眾,至少準備 3 天份的食物和水。

邦吉諾的說法是,五角大廈正在打造「美國堡壘」,你也必須打造「我家堡壘」。聯合報報導

英國政府也呼籲家庭備好至少 3 天的瓶裝水和不易腐壞的食物,理由是網路攻擊、極端天氣都可能讓服務中斷。

日本的防災擔當大臣則表示,11 月 2 日防災廳成立那天,會呼籲家庭準備「至少 3 天、最好 1 週」的食物、飲水和如廁用品。

我不覺得這代表明天就會出事啦。

不過臺灣颱風、地震這麼多,停電斷網幾個小時,應該很多人都遇過吧?

水和食物都有了,答案要去哪裡查?

停電一整天,冰箱裡的肉還能不能吃?

這種問題,平常 Google 一下就有答案。

偏偏真的停電的時候,手機訊號也不一定靠得住。

所以我查了一下,有沒有不用網路也能問的工具。

剛好有個這個月才出現的開源專案,叫 Survival LLM。

官網在 https://www.brangus.io/survival-llm ,程式碼放在 GitHub 的 anonnerdfrenzy/survival-llm。

LLM 是大型語言模型的縮寫,就是 ChatGPT 背後那種 AI。

它做的事,就是把一個 AI 跟一套大約 150 萬篇文章的離線資料庫,一起裝進你的電腦。

資料庫裡有維基百科、醫學百科、美國 CDC 的資料,也有美軍和 FEMA 的求生急救手冊。

設定好之後,網路關掉也能用。

示意:水和食物之外,趁有網路時把 Survival LLM 裝進筆電,斷網也能查急救資料,每個答案都點開出處核對

你的電腦跑得動嗎?先看記憶體

App 打開後會自己檢查記憶體,再建議模型,官方 README 的對照如下。

  • Mac 128 GB 以上,用 Nemotron 3.5 Super,下載 80 GB。
  • Mac 32 到 96 GB,用 Qwen3.8 27B,下載 18 GB。
  • Windows 32 GB 以上,用 Nemotron 3.5 Lightning,下載 25 GB。
  • Mac 或 Windows 16 到 31 GB,用 Granite 4.2 8B,下載 6 GB。

那 8 GB 的電腦呢?

只能搜尋資料庫,不能問 AI。

作者說,目前找不到夠小、又安全到能推薦的模型。

系統的部分,Mac 要 M1 以後的晶片、macOS 14 以上。

Windows 要 10 或 11 的 64 位元版。

Linux 和手機目前都沒有官方安裝包。

硬碟也要留空間。

除了模型本身,還要多留 5 GB。

完整資料庫安裝時大約要 27 GB,裝完約 21 GB。

精簡版安裝時大約 10 GB,裝完約 3 GB。

一定要趁有網路的時候裝

官方說整個設定要 20 分鐘到 2.5 小時,大部分時間都在下載。

真正需要你動手點的,大概只有 5 分鐘。

要是等颱風登陸才開始裝,你大概只能盯著卡住的進度條發呆吧。

Mac 的步驟:

  1. 從官網或 GitHub 的 Releases 頁面下載 Survival-LLM-mac.zip,雙擊解壓縮。
  2. 雙擊 Survival LLM。第一次會跳出無法驗證的警告,先點「Done」。
  3. 打開「系統設定 > 隱私權與安全性」,往下滑找到「Survival LLM was blocked」,點「Open Anyway」,再輸入密碼。這步只要做一次。

Windows 的步驟:

  1. 下載 Survival-LLM-windows.zip,按右鍵選「全部解壓縮」。直接在 zip 裡點開是跑不起來的。
  2. 打開解壓縮後的資料夾,雙擊「Survival LLM.bat」。
  3. 如果跳出「Windows 已保護你的電腦」,點「其他資訊」,再點「仍要執行」。

打開之後,App 會一步一步帶你做 3 個設定。

  1. AI 引擎。Mac 版已經內建;Windows 會一鍵下載大約 1.6 GB 的 Ollama,這是一個在自己電腦上跑模型的工具。
  2. AI 模型。照它依記憶體給的建議下載就好。
  3. 資料庫。「Everything」是完整版,要下載 8.8 GB;「Essentials」只要 1.3 GB,但少了維基百科和 iFixit。

問完之後,記得點開它引用的原文

每個回答下面,都會列出它這次讀過的文章。

點進去,可以看到被引用的那一段原文,還有授權。

老實說,我認為這才是整個 App 最該用的地方。

為什麼這麼說呢?

因為作者 10 月 24 日用 14 題測試,發現模型會寫出根本沒讀過的來源。

最大的 Nemotron Super 就有 6 次。

所以現在 App 會先檢查,再把來源那行換成它實際讀過的文章清單。

作者另外拿 22 題停電和急救問題做盲測,讓 AI 評審在不知道模型名字的情況下,對照 USDA、CDC、FEMA 等官方指引打分。

Nemotron Super 和 Qwen3.8 27B 都答對 21 題的主要重點。

16 GB 電腦會用到的 Granite 4.2 8B,只答對 14 題。

作者也說,這是用早期版本的資料庫測的,只能比較模型之間的差別。

有人擔心,這種時候不該問小模型

在工程師很多的討論區 Hacker News 上,一位留言者說自己問了怎麼用弓鑽生火。

結果回答漏掉了用弓帶動鑽桿這一步,還說會冒出火花。

也有不少留言者覺得,生死關頭交給小模型不夠可靠。

他們寧可用 Kiwix 這種離線維基百科,或是乾脆翻紙本手冊。

另外有人提醒,停電的時候,電力本身就是問題。

依官網的數字,MacBook Pro 回答問題時大約耗電 100 W,每題要 5 到 40 秒,充滿電大約能答 100 到 300 題。

當成翻手冊的助理,別當成醫生

我會建議,把 Survival LLM 當成幫你翻手冊的助理,不要讓它替你下判斷。

如果你的筆電有 32 GB 以上記憶體,可以找個晚上先裝起來放著。

不過有一種情況,我覺得先別急著裝:電腦只有 8 GB 或 16 GB。

這時候別期待它回答急救問題,只下載 Essentials 當離線搜尋,或直接準備一本紙本急救手冊,會比較實在。

資料庫幾乎都是英文,但你可以直接用繁體中文問。

它會自己用英文關鍵字查資料庫,再用中文回答。

不想用了,要刪哪些東西?

先把 App 刪掉。

接著刪下面這幾個資料夾,~ 代表你的使用者家目錄。

  • AI 模型在 ~/.ollama/models,如果別的程式也在用 Ollama 就留著。
  • 資料庫在 ~/Survival LLM Library。
  • Mac 的設定在 ~/Library/Application Support/Survival LLM。
  • Windows 的設定在 %APPDATA%\Survival LLM,AI 引擎在 %LOCALAPPDATA%\Survival LLM。

今天就先說到這裡。

更多 AI 應用教學會寫在 Raven AI 週報。