這個頁面的右下角，住著一個小精靈
此刻，這篇文章的右下角浮著一個小精靈，名字叫皮克茜（Pixie）。跟她說話，她會回你。
（可以試試看，一般兩三秒就有回應。）
這個小精靈沒有使用任何外部AI服務。你輸入的文字不會被送到任何地方，是我們自己管理的一台機器接收、思考，然後直接回給你。
也就是說，這個小精靈的電費是我們在付。
為什麼要這麼麻煩？今天就聊這件事。
一開始只是想知道「它到底能用到什麼程度」
在自己公司管理的伺服器裡跑AI。這種東西叫私有LLM，它的存在我們早就知道。
不清楚的是實力。介紹文章看再多，也判斷不了「到底能不能真正用在業務上」。這種事只能自己跑一遍才知道。
真正推我們一把的，是錢。
現在做任何系統，客戶都會問一句「能不能也加上AI功能？」這是好事。只是AI的API是按用量收費的。如果是承接開發，這筆費用由客戶承擔，事情還算單純。放進自家產品裡就是另一回事了——做只做一次，但只要它還在跑，錢就一直在出去。
開發用的AI訂閱也一樣。一個人的份額不算什麼，乘上團隊人數，那個數字就笑不出來了。
於是我們卡在一個循環裡：不試就不知道能不能用，可是試這件事本身就要花錢。
那不如直接放在自己手邊——這就是最初的起點。
先說結論：基本上什麼都能做
最意外的就是這一點。
外部AI服務能做的事，它基本上原樣都能做。
一說「自己跑」，很多人會想像成一個砍掉功能的簡化版。至少到目前為止，完全不是那種感覺。
- 寫文章、做摘要、潤飾措辭
- 翻譯
- 從很長的對話裡只把需要的部分抽出來
- 讀照片和截圖
- 直接把PDF、Word、Excel丟給它，然後問裡面的內容
- 讓它讀過公司內部資料後，根據資料回答，而不是泛泛而談
- 當成功能嵌進自家的應用和服務裡
我們原本想像的是「只能處理文字的、稍微聰明一點的搜尋」，所以第一次把圖片遞過去、它就那麼讀了出來的時候，反而有點掃興。
當然，跟世界頂級的模型正面比，差距是有的。要從零開始設計複雜的東西，我們現在也還是靠外部那些優秀的服務。但是日常工作裡想交出去的事情，大半靠手邊這台就夠了——這是實際跑過之後的感受。
另一方面，這並不是「通上電就直接好用」的故事。
選哪個模型、怎麼設定、公司內部資料要怎麼餵給它，這些都得一項一項去磨，把運行環境搭順也花了功夫。不過這個過程本身挺好玩的。研究裝備、調整參數、下副本實測——簡直就像在玩刷裝備的遊戲。
寫起來會很長，所以這部分我們另開一篇作為建置篇。
真正見效的不是效能，而是「嘗試次數」
比起效能本身，「可以隨手去試」這件事的分量更重。
聽起來是廢話，但是：用再多次，帳單也不會變多。
以前試十次就要為十次付費，所以動手之前總要先想一下「這個值得試嗎」。這一拍每次都會出現。
現在這一拍不需要了。
最明顯的是自家產品。當有人想到「這裡交給AI來做說不定挺有意思」的時候，可以直接就去試。 以前光是想到，接下來馬上就是費用的討論，多半想到那一步就結束了。
順帶一提，電費比我們做好的心理準備低得多。這是個令人高興的誤算。
現在都讓它做些什麼
介紹一部分正在跑的東西。
網站的嚮導 就是開頭那個小精靈。回答「你們有哪些服務」「你們是家什麼公司」。不需要有人守著，半夜被問也不會抱怨。
從對話裡產生任務 我們把私有LLM接進了自己開發的聊天應用，讓它從對話的流動裡把該做的事挑出來。以前一句「啊，那就這麼定了」就流走的事情，現在能好好留下來。
拉近多語言之間的距離 團隊裡日語、英語和馬來語混著飛，所以翻譯每天都在發生。量還不小——正是那種丟給外部API會悄悄堆起來的活。
除此之外，還有一些更小的活也整個交給了它：簡單的聊天機器人、「這則發出去沒問題吧」的初步判斷。
這樣排下來，有兩個共同點。
一是它們都必須交出公司內部的原始資訊才成立。 客戶名稱、金額、還不能公開的事情，全都混在裡面，一個字都不能給外面的服務。
二是它們都不需要智力等級100。 真正見效的是零和一的差別。沒有翻譯，和有一份讀起來還算順的翻譯；沒人看，和至少有一道初步判斷。這個落差才是最大的，再往上的「更聰明一點」，說實話是附贈品。
只有頂級AI才做得了的工作，比想像中少得多。 想明白這一點之後，敢交出去的範圍一下子就寬了。
（自己開發的聊天應用本身，我們另外寫一篇再介紹。）
在私隱方面同樣出色
把AI放進工作裡，真正會撞上的不是技術，而是「到底能輸入什麼」這條線。客戶的名字、報價金額、還沒對外的圖面、人事上的商量。最希望AI搭把手的工作裡，往往就含著不能外流的資訊。
因此禁止員工在業務中使用AI的公司想必也不少。可是這樣能攔住的，只有公司裡面。
被截止日期追著的人，可能會拿出自己的手機讓AI去做。那裡面沒有惡意，畢竟時代已經走到了與AI共處的這一步。而公司這邊，無從知道有什麼流了出去。
這和禁菸區是一樣的。禁止不會讓它消失，只會讓它看不見。
我們認為私有LLM能解決這個問題，而且處理的資訊越重，受益越大。上市公司要能事後說清「誰輸入了什麼」；律師、會計等專業事務所有保密義務；行政機關要決定居民資料放在哪裡；醫療這類出錯代價極大的現場，則根本邁不出第一步。這些卡住的地方，都不是「怎麼用AI」，而是「把AI放在哪裡」。
不過，我們也沒有把全部搬到自己這邊
先說明一下，我們並沒有停用外部的AI。
開發用的AI，我們現在仍然在向外部付費。 難的問題直接找更強的那個更快，所以是並用。
所以這不是「哪邊才對」的問題。
能出去的工作交給外面，出不去的留在自己這裡。
關鍵在於這條線由誰來劃。只要劃線的人是自己，標準之後想怎麼改都可以。
另外我們也在悄悄調校一個跑在私有LLM上的編程代理，目標是將來能只靠自己的機器完成開發。
「不往外送」靠決心是守不住的
也說一點機制的事。常能看到「我們的營運規定是不向外部傳送」這種說明。憑心意從來沒守住過。必須是想送也送不出去才行。
做法本身很簡單：在用戶的入口和AI之間放一道關卡。什麼放行、什麼不放行，全部在那裡決定。要點是這道關卡在自己這一側——判斷之所以能事後更改，也是因為這個。
我們定下來的，大致是這些：
- 對外傳送預設全部攔截。要放行時，逐個指名放行對象
- 誰問了什麼會留下紀錄。不是為了懷疑誰，而是被問起時能答得上來
- 每種用途都劃定回答範圍，不讓它越界
- 資料裡沒寫的事情，就回答「資料中沒有記載」
最後這條相當好用，可以把它設定成「不懂就說不懂」。「會不會一本正經地胡說八道」是大家最常見的擔心，這是目前最實際的答案。
在此之上也如實寫一句：無論怎麼搭，風險都不可能歸零。 與其承諾完美的保證，不如事先把「什麼、到什麼程度可以出去」定下來，這才現實。
寫在最後
讀到這裡，你或許會覺得「這對我們公司來說太大動干戈了」。我們也是從一台機器開始的。為了停電時不至於直接斷掉，另外添了一台UPS，也就到此為止。
最後，請跟右下角的小精靈說說話。
這個小精靈的關鍵在於，我們能把她免費開放給任何人。 如果她跑在按次收費的API上，每被搭話一次帳單就會往上加，我們不可能這麼大方。正因為她只吃電費，才能一直開著門。
在她回話的那幾秒裡，你寫下的文字沒有離開過我們的公司。事情真的就只有這麼多。
只是，我們見過太多公司僅僅因為這一件事沒定下來，就遲遲沒能對AI動手。總覺得可惜。
如果看完這篇，你開始想「換成我們公司會是什麼樣」，私有LLM基礎設施那一頁應該也能派上用場。 另外，也歡迎隨時透過聯絡我們來傾，我們一直都在。