这个页面的右下角，住着一个小精灵
此刻，这篇文章的右下角浮着一个小精灵，名字叫皮克茜（Pixie）。跟她说话，她会回你。
（可以试试看，一般两三秒就有回应。）
这个小精灵没有使用任何外部AI服务。你输入的文字不会被送到任何地方，是我们自己管理的一台机器接收、思考，然后直接回给你。
也就是说，这个小精灵的电费是我们在付。
为什么要这么麻烦？今天就聊这件事。
一开始只是想知道”它到底能用到什么程度”
在自己公司管理的服务器里跑AI。这种东西叫私有LLM，它的存在我们早就知道。
不清楚的是实力。介绍文章看再多，也判断不了”到底能不能真正用在业务上”。这种事只能自己跑一遍才知道。
真正推我们一把的，是钱。
现在做任何系统，客户都会问一句”能不能也加上AI功能？“这是好事。只是AI的API是按用量收费的。如果是承接开发，这笔费用由客户承担，事情还算简单。放进自家产品里就是另一回事了——做只做一次，但只要它还在跑，钱就一直在出去。
开发用的AI订阅也一样。一个人的份额不算什么，乘上团队人数，那个数字就笑不出来了。
于是我们卡在一个循环里：不试就不知道能不能用，可是试这件事本身就要花钱。
那不如直接放在自己手边——这就是最初的起点。
先说结论：基本上什么都能做
最意外的就是这一点。
外部AI服务能做的事，它基本上原样都能做。
一说”自己跑”，很多人会想象成一个砍掉功能的简化版。至少到目前为止，完全不是那种感觉。
- 写文章、做摘要、润色措辞
- 翻译
- 从很长的对话里只把需要的部分抽出来
- 读照片和截图
- 直接把PDF、Word、Excel丢给它，然后问里面的内容
- 让它读过公司内部资料后，基于资料回答，而不是泛泛而谈
- 作为功能嵌进自家的应用和服务里
我们原本想象的是”只能处理文字的、稍微聪明一点的搜索”，所以第一次把图片递过去、它就那么读了出来的时候，反而有点扫兴。
当然，跟世界顶级的模型正面比，差距是有的。要从零开始设计复杂的东西，我们现在也还是靠外部那些优秀的服务。但是日常工作里想交出去的事情，大半靠手边这台就够了——这是实际跑过之后的感受。
另一方面，这并不是”通上电就直接好用”的故事。
选哪个模型、怎么配置、公司内部资料要怎么喂给它，这些都得一项一项去磨，把运行环境搭顺也花了功夫。不过这个过程本身挺好玩的。研究装备、调整参数、下副本实测——简直就像在玩刷装备的游戏。
写起来会很长，所以这部分我们另开一篇作为搭建篇。
真正见效的不是性能，而是”试错次数”
比起性能本身，“可以随手去试”这件事的分量更重。
听起来是废话，但是：用再多次，账单也不会变多。
以前试十次就要为十次付费，所以动手之前总要先想一下”这个值得试吗”。这一拍每次都会出现。
现在这一拍不需要了。
最明显的是自家产品。当有人想到”这里交给AI来做说不定挺有意思”的时候，可以直接就去试。 以前光是想到，接下来马上就是费用的讨论，多半想到那一步就结束了。
顺带一提，电费比我们做好的心理准备低得多。这是个令人高兴的误算。
现在都让它做些什么
介绍一部分正在跑的东西。
网站的向导 就是开头那个小精灵。回答”你们有哪些服务""你们是家什么公司”。不需要有人守着，半夜被问也不会抱怨。
从对话里生成任务 我们把私有LLM接进了自己开发的聊天应用，让它从对话的流动里把该做的事挑出来。以前一句”啊，那就这么定了”就流走的事情，现在能好好留下来。
拉近多语言之间的距离 团队里日语、英语和马来语混着飞，所以翻译每天都在发生。量还不小——正是那种丢给外部API会悄悄堆起来的活。
除此之外，还有一些更小的活也整个交给了它：简单的聊天机器人、“这条发出去没问题吧”的初步判断。
这样排下来，有两个共同点。
一是它们都必须交出公司内部的原始信息才成立。 客户名称、金额、还不能公开的事情，全都混在里面，一个字都不能给外面的服务。
二是它们都不需要智力等级100。 真正见效的是零和一的差别。没有翻译，和有一份读起来还算顺的翻译；没人看，和至少有一道初步判断。这个落差才是最大的，再往上的”更聪明一点”，说实话是附赠品。
只有顶级AI才做得了的工作，比想象中少得多。 想明白这一点之后，敢交出去的范围一下子就宽了。
（自己开发的聊天应用本身，我们另外写一篇再介绍。）
在隐私方面同样出色
把AI放进工作里，真正会撞上的不是技术，而是”到底能输入什么”这条线。客户的名字、报价金额、还没对外的图纸、人事上的商量。最希望AI搭把手的工作里，往往就含着不能外流的信息。
因此禁止员工在业务中使用AI的公司想必也不少。可是这样能拦住的，只有公司里面。
被截止日期追着的人，可能会拿出自己的手机让AI去做。那里面没有恶意，毕竟时代已经走到了与AI共处的这一步。而公司这边，无从知道有什么流了出去。
这和禁烟区是一样的。禁止不会让它消失，只会让它看不见。
我们认为私有LLM能解决这个问题，而且处理的信息越重，受益越大。上市公司要能事后说清”谁输入了什么”；律所、会计师事务所有保密义务；行政机关要决定居民数据放在哪里；医疗这类出错代价极大的现场，则根本迈不出第一步。这些卡住的地方，都不是”怎么用AI”，而是”把AI放在哪里”。
不过，我们也没有把全部搬到自己这边
先说明一下，我们并没有停用外部的AI。
开发用的AI，我们现在仍然在向外部付费。 难的问题直接找更强的那个更快，所以是并用。
所以这不是”哪边才对”的问题。
能出去的工作交给外面，出不去的留在自己这里。
关键在于这条线由谁来划。只要划线的人是自己，标准之后想怎么改都可以。
另外我们也在悄悄调试一个跑在私有LLM上的编码代理，目标是将来能只靠自己的机器完成开发。
“不往外送”靠决心是守不住的
也说一点机制的事。常能看到”我们的运营规定是不向外部发送”这种说明。凭心意从来没守住过。必须是想送也送不出去才行。
做法本身很简单：在用户的入口和AI之间放一道关口。什么放行、什么不放行，全部在那里决定。要点是这道关口在自己这一侧——判断之所以能事后更改，也是因为这个。
我们定下来的，大致是这些：
- 对外发送默认全部拦截。要放行时，逐个指名放行对象
- 谁问了什么会留下记录。不是为了怀疑谁，而是被问起时能答得上来
- 每种用途都划定回答范围，不让它越界
- 资料里没写的事情，就回答”资料中没有记载”
最后这条相当好用，可以把它设定成”不懂就说不懂”。“会不会一本正经地胡说八道”是大家最常见的担心，这是目前最实际的答案。
在此之上也如实写一句：无论怎么搭，风险都不可能归零。 与其承诺完美的保证，不如事先把”什么、到什么程度可以出去”定下来，这才现实。
写在最后
读到这里，你或许会觉得”这对我们公司来说太大动干戈了”。我们也是从一台机器开始的。为了停电时不至于直接断掉，另外添了一台UPS，也就到此为止。
最后，请跟右下角的小精灵说说话。
这个小精灵的关键在于，我们能把她免费开放给任何人。 如果她跑在按次收费的API上，每被搭话一次账单就会往上加，我们不可能这么大方。正因为她只吃电费，才能一直开着门。
在她回话的那几秒里，你写下的文字没有离开过我们的公司。事情真的就只有这么多。
只是，我们见过太多公司仅仅因为这一件事没定下来，就迟迟没能对AI动手。总觉得可惜。
如果看完这篇，你开始想”换成我们公司会是什么样”，私有LLM基础设施那一页应该也能派上用场。 另外，也欢迎随时通过联系我们来聊，我们一直都在。