このページの右下に、妖精がいます
いま、この記事の右下に小さな妖精が浮かんでいます。ピクシーといいます。話しかけると返事をします。
（試してみてください。だいたい2、3秒で返ってきます）
この妖精は、外部のAIサービスを使っていません。打ち込んだ文章はどこにも送られず、弊社が管理している一台の機械が受け取って、そのまま返しています。
つまり、この妖精の電気代は弊社が払っています。
なぜそんなことをしているのか。今日はその話をします。
始まりは「で、実際どれくらい使えるの？」でした
自分の会社が管理しているサーバーの中でAIを動かす。プライベートLLMと呼ばれているもので、こういう選択肢があること自体は前から知っていました。
ただ紹介記事をいくら読んでも「で、結局ちゃんと業務に使えるのか」が判断できない。 こればかりは動かしてみないと分かりません。
また、費用面の話も導入の後押しになりました。
いまはどんなシステムを作るときも「こんなAI機能を追加できますか？」と聞かれます。ありがたい話です。ただ、AIのAPIは使った分だけ請求が来ます。受託の開発ならその費用はお客様に持っていただけますが、自社のサービスに載せる場合は話が別です。作るのは一度きりでも、動かしているあいだ費用は出ていき続けます。
開発に使うAIのサブスクリプションも同じです。一人分なら大した額ではありません。人数を掛けた瞬間に笑えない数字になります。
要するに、**試さないと使えるかどうか分からない。でも、試すこと自体にお金がかかる。**という状態でした。
それなら手元に置いてしまおうという決断になりました。
結論から言うとだいたい何でもできました
いちばん意外だったのがここです。
外部のAIサービスでできることは、たいていそのままできます。
自前で動かすと聞くと、機能を削った簡易版を想像されるかもしれません。少なくとも今のところ、そういう感じではありません。
- 文章を書く。要約する。言い回しを整える
- 翻訳する
- 長いやりとりから、必要なところだけ抜き出す
- 写真やスクリーンショットを読む
- PDFやWord、Excelをそのまま渡して、中身について答えさせる
- 社内の資料を読ませておいて、それに基づいて答えさせる
- 自社のアプリやサービスに、機能として組み込む
「文字のやりとりだけの、ちょっと賢い検索」くらいを想像していたので、画像を渡して普通に読まれたときは拍子抜けしました。
もちろん、世界最高のAIと正面から比べれば差はあります。込み入った設計を一から考えさせるような場面では、いまも外部の優秀なほうに頼っていますが、「普段の仕事で頼みたいことの大半は手元のAIで足りてしまう」、これが動かしてみての実感でした。
一方で、電源を入れてすぐに使い物になったという話でもありません。
どのAIを選ぶか、どう設定するか、社内の資料をどう読ませるか、そのあたりを一つずつ詰めていく必要がありましたし、動かす環境を整えるのにも手間はかかっています。 ただしその過程もゲームのようで楽しかったです。「装備を調べて、調整して、ダンジョンにもぐって試験する」、まるでハクスラのゲームですね。
書き出すと長くなるので、このあたりは構築編として別の記事にまとめます。
効いたのは性能より「試行回数」でした
性能もさることながら、「気軽に試せるようになったこと」も大きいです。
当たり前ですが、いくら使っても請求が増えないんです。 今までは10回試せばその分請求が増えてしまうので、「これ、やる価値あるかな」と一度考える。その一拍が毎回入っていました。
その一拍が要らなくなりました。
顕著なのは自社サービスです。「ここ、AIにやらせたら面白いんじゃないか」と思いついたときに、そのまま試せるようになりました。 以前は思いついても費用の話から始まるので、たいてい思いついたところで終わっていたのです。
電気代は、覚悟していたよりずっと安く済んでいます。ここは嬉しい誤算でした。
いま何をやらせているか
実際にプライベートLLMを導入して何をやらせているのか、一部紹介します。
サイトの案内役 冒頭の妖精です。「どんなサービスがあるの？」「どこの会社？」に答えます。人間が張り付かなくても一次対応が回りますし、夜中に聞かれても文句を言いません。
会話からタスクを起こす 社内開発のチャットアプリにプライベートLLMを連携し、チャットの流れからやるべきことを拾い出させています。「あ、それ決まりましたね」で流れていった話が、ちゃんと残るようになりました。
多言語の距離を縮める 日英馬の言語が飛び交うチームなので、翻訳が毎日発生します。分量が多いので、外部のAPIに投げていたら地味に積み上がっていく類の仕事です。
並べてみると、共通点が二つあります。
ひとつは、どれも社内の生の情報を渡さないと成立しないことです。顧客名も金額も、まだ表に出せない話も混ざっています。外のサービスには一文字も出せないものばかりです。
もうひとつは、どれも賢さレベル100を求めていないことです。効くのは0か1かのほうでした。訳が出ない状態と、ある程度自然な訳が出る状態。誰も見ていない状態と、とりあえず一次対応ができる状態。その差がいちばん大きくて、そこから先の「もっと賢く」は正直おまけです。
最高のAIでなければ務まらない仕事は、思っていたよりずっと少なかった。 そう分かってから、任せられる範囲が一気に広がりました。
（社内開発のチャットアプリに関してはまた別の記事で紹介しますね）
プライバシーの観点でも優秀
AIを仕事に入れるとき、本当にぶつかるのは「何を入れていいのか」という線引きです。顧客の名前、見積の金額、まだ世に出していない図面、人事の相談。AIに手伝ってほしい仕事の中には外に出せない情報が含まれることも多々あります。
業務上のAI利用を禁止している企業もたくさんあると思いますが、これで止まるのは会社の中だけです。 締切に追われた人は、自分の個人端末でAIに作業させるかもしれません。そこに悪意はありません。時代がもうAIとともに過ごす流れになっているのですから。 そして会社は、何が外に出たのかを知る手立てがありません。
禁煙エリアと同じです。禁止すると、なくなるのではなく見えなくなるだけ。
この問題がプライベートLLMの導入によって解決すると思っており、扱う情報が重い会社ほど恩恵は大きいでしょう。 上場企業なら「誰が何を入れたのか」を後から説明できるかどうか。士業なら守秘義務。行政なら住民のデータをどこに置くか。医療のように間違いの影響が大きい現場なら、そもそも一歩目が踏み出せない。どれも「AIをどう使うか」ではなく「どこに置くか」で止まっています。
それでも、全部はローカルにしていません
念のため書いておくと、外部のAIをやめたわけではありません。
開発に使うAIには、いまも外部にお金を払っています。 難しい相談は素直に優秀なほうに頼んだほうが早いので、併用しています。
なので「どちらが正しいか」という話ではありません。
外に出せる仕事は外に。出せない仕事はうちに。
大事なのは、その振り分けを誰が決めるかです。決める側にいれば、基準は後からいくらでも変えられます。
ただ、こっそりプライベートLLMを使用したコーディングエージェントの調整も進めていて、将来的にはプライベートLLMだけで開発できることを目標にしています。
「外に出さない」は、気合いでは守れません
仕組みの話も少しだけ。「外部には送信しない運用にしています」という説明を見かけますが、心がけで守れたためしがありません。送れないようにしておく必要があります。
やっていること自体は単純で、利用者の入口とAIのあいだに関所をひとつ置いています。何を通して何を通さないかは、すべてそこで決まります。この関所が自社側にあることが肝で、判断を後から変えられるのもそのためです。
決めているのは、だいたいこのあたりです。
- 外への送信は既定で止める。通すときは通す先を名指しする
- 誰が何を聞いたかは残す。疑うためではなく、聞かれたときに答えられるように
- 答える範囲を決めて、その外側には立ち入らせない
- 資料に書いていないことは「記載がありません」と答えさせる
最後のがなかなか良くて、知ったかぶりをしない設定にできると言えば伝わるでしょうか。「もっともらしい嘘を返すのでは」という心配に対する、いまのところ一番現実的な答えだと思っています。
そのうえで正直に書くと、どんな作りにしてもリスクがゼロになることはありません。 完璧な保証を約束するより、何をどこまで出すかを先に決めておくほうが現実的です。
おわりに
ここまで読んで「うちには大がかりすぎる」と思われたかもしれません。 ただ弊社も一台から始めています。停電で落ちないようにUPSは買い足しましたが、その程度です。
最後に、右下の妖精に話しかけてみてください。
この妖精、誰でも無料で触れる形で置けているところがポイントです。使った分だけ請求が来るAPIで動かしていたら、話しかけられるたびに費用が増えるので、こんなに気前よくは開けておけません。電気代だけで動いているから、開けっぱなしにできています。
返事が返ってくるまでの数秒のあいだ、あなたの文章は社外のどこにも出ていません。やっていることは、本当にそれだけです。 ただ、その「それだけ」が決まらないせいでAIに手をつけられずにいる会社を、これまで何社も見てきました。もったいないな、と思っています。
もしこの記事をご覧になって「自社の場合はどうなるのか」と興味を持っていただけた方は、プライベートLLM基盤のページも参考になるかと思います。 また、ご相談はお問い合わせからいつでもお待ちしております。