プライベートLLM基盤 — LLL Inc.が構築・運用するセルフホスト・マネージド・共有GPUプラットフォーム LLL Inc. - プライベートLLM基盤

プライベートLLM基盤を選ぶ理由

現在、AI活用の多くは公開APIを経由しています。プロンプトが自社ネットワークを出てプロバイダーのサーバーへ送られ、応答が返ってくる——多くの業務ではこれが妥当なトレードオフです。しかしプロンプトに含める内容が、社内文書・顧客データ・ソースコードなど、第三者に渡せない機密保持義務の対象であり、自社インフラの内側に留めておきたいものになった瞬間、このトレードオフは成り立たなくなります。

プライベートLLM基盤はその代替手段です。共有の公開サービスではなく、自社が管理する、あるいはLLLが代理で運用するハードウェア上で大規模言語モデル（LLM）を稼働させます。

LLLは自社内の環境の一部としてプライベートLLM基盤を構築・運用しています。これは、お客様が自社での構築にコミットする前にプラットフォームを実演する際に使用しているのと同じ環境です。これは机上で初めて語る新しい取り組み領域ではなく、当社が既に運用しているインフラの延長です。

3つの運用形態

「正解」となるデプロイ形態は一つではありません。3つの形態それぞれに最も安く済む利用規模があり、どの規模でも常に有利な形態はありません。

形態	内容
セルフホスト（自社設置）	GPUハードウェアを自社の建物内に設置します。機材は初日から自社の資本資産になります。
マネージドホスティング	LLLがお客様に代わってハードウェアを設置・運用します。電源・冷却・UPS・接続・監視を月額費用に含みます。
共有インフラ	ハードウェア購入は一切不要です。LLLが既に運用しているインフラ上で、GPU/VRAM容量を単位課金でレンタルします。

セルフホストは、建物側が電源・冷却負荷に対応できることを前提に、継続的・高負荷・予測可能な利用において最も安くなる傾向があります（下記「機材市場の現実」を参照）。マネージドホスティングは、ハードウェアの所有権を維持したまま設備面の負担を取り除きます。共有インフラはその両方を取り除きますが、容量そのものは所有せず単位課金で支払うことになります。3つのうちどれが特定のワークロードで実際に採算が合うかは、まさに30日間のPoCが答えるために設計された問いであり、数字を見る前にデフォルトで推奨するものではありません。

フルビルドに含まれるもの

単一ユースケース向けのフルビルドは、4つの要素を軸にスコープを定めます。

環境構築：選択したデプロイ形態上で推論スタックをプロビジョニング・設定
RAG（Retrieval-Augmented Generation）：モデルを自社ドキュメント・ナレッジベースに接続し、モデル一般の学習知識ではなく自社の資料に基づいた回答を実現
既存システムとの統合：誰も開かない独立したチャット画面を提供するのではなく、チームが既に使っているツールへ組み込む
トレーニング：プラットフォームの使い方、該当する場合は運用方法についてチームのレベルアップを支援

推奨モデル構成

下表のウェイトサイズはFP8です。詳細は表下の量子化に関する注記を参照してください。

クラス	形式	ウェイト（FP8）	位置づけ
32Bクラス	Dense	約32GB	業務利用の実用的な下限
70Bクラス	Dense	約70GB	デフォルト・推奨 — 1台のマシンで全社共通のChatGPT相当を近似するサイズ
122B-A10B	MoE（アクティブ10B）	約125GB	より高い同時利用向け
400Bクラス	MoE（アクティブ17B）	約400GB	現在デプロイしているレンジの最上位
35B-A3B	MoE（アクティブ3B）	約35GB	トリアージ／ガードレール専用の役割 — 回答モデルとしてのサイズ・位置づけではない

量子化の下限：FP8。 当社の標準構成はFP8を下回りません（例：4bit/INT4量子化）。当社のテストでは、それ以上量子化すると日本語のビジネスタスクにおける精度が明確に低下することが分かっており、ハードウェアコストを削減できる可能性があっても、デフォルト推奨としては提供していません。

投資額

以下の価格はUSD建てで、お客様への提示価格そのものです（社内原価ではありません）。

契約形態	価格	備考
30日間PoC	$6,000（50名以下のチームは$3,000）	ハードウェア投資前に、自社ワークロードに対する実現可能性を検証します。継続する場合はフルビルドに全額充当——詳細は30日間プライベートLLM PoCを参照
フルビルド（単一ユースケース）	$8,000〜$22,000、規模により変動	環境構築、RAG、既存システムとの統合、トレーニング（上記参照）
継続的な保守・運用	月$300〜$1,300	GPU台数による段階制
マネージドホスティング	月$300〜$1,600	消費電力による段階制。電源・冷却・UPS・接続・監視を含む
共有インフラ	24GB VRAMユニットあたり月$300から	ハードウェア購入なし

機材市場の現実

GPUおよびサーバーメモリの価格は急激に上昇しており、現在の市場動向からは2027年まで需給が引き締まった状態が続くと見込まれています——これは一時的な不足ではなく、AI関連需要によるものです。当社はこのページに固定の機材価格を掲載していません。現在、ハードウェア価格は非常に速いペースで変動しており、今日掲載した具体的な数字は読んでいただく頃には既に古くなっている可能性が高く、また地域や調達チャネルによっても変わるためです。

規模感の目安として：上記の32B下限モデルを動かせる程度の、1〜数GPU構成は、70Bクラスのデフォルトに見合う8GPUのフルビルド——これは完成品としてUSD建てで下6桁台前半（low six figures）——とは、明確に異なる桁の投資規模になります。400Bクラス向けにサイズされたマルチノード構成は、さらにもう一段上がります。各ティアは機材投資を大幅に高い価格帯へ引き上げます。これが30日間PoCが存在する理由の一つです——価格付けの前に、自社のワークロードが実際にどのティアを必要とするかを見極めるためです。

メモリはGPU自体に次いで2番目に大きな費目です——768GBのVRAMを中心に構築されたシステムは、通常それを支えるために1TBを超えるシステムメモリを必要とし、これがメモリ価格もGPU価格とほぼ同じペースで上昇している理由の一つです。実際の調達地域・構成に対する現時点での機材価格については、既に古くなっている可能性のある数字に頼るのではなく、お問い合わせください。

最初に正直にお伝えすること

電源、冷却、UPS、バックアップ電源、監視、騒音対策は建物ごとに大きく異なるため、提案書の中で固定金額として提示することはしません。これらは現地調査の後、個別に価格設定します。

一般的な目安として：空冷はラックあたりおおよそ20kWまで対応可能です。それを超えると、液冷または設備側の変更が必要になるのが一般的です。紙面上は些細に見える変更——例えば電気の分電容量の増設など——でも、現場によっては実際に無視できないコストが発生しています。裏付けのない数字をお渡しするより、設備予算の項目が存在すること、そして現地調査が必要であることを、正直にお伝えする方針です。

データの実際の所在

「プライベート」が示すのは推論が実行される場所であり、お客様のネットワークアーキテクチャそのものではありません。セルフホストまたはマネージドのデプロイでは、プロンプトと生成された応答は、お客様自身のインフラ内のサーバーで処理されます——公開の汎用AIサービスへは送信されません。これは計算がどこで行われるかについての説明です。

これはネットワーク境界に関する主張ではありません。VPN、ファイアウォール、アクセス制御など、そのインフラをネットワーク層でどう保護するかは別の設計判断であり、当社としてアドバイスは可能ですが、本サービスにデフォルトで含まれるものではありません。

モデル・データ・チューニング成果物の所有権

インフラ案件では、アプリケーション案件と同じ所有権の論点が生じます。それに加えて、LLM基盤特有の要素——周辺コードだけでなく、チューニング済みモデルのアーティファクト、検索インデックス、評価結果——にも及びます。

チューニングとRAGの成果物はお客様のものです：ビルド中に生成されたファインチューニング済みウェイト、プロンプト／検索の設定、評価データセットは、成果物として引き渡されます。LLLのみが管理するインフラ上に留め置かれることはありません。留め置いてしまうと、それは資産ではなく依存関係になってしまいます。
モデルのロックインなし：ビルドは標準的なOpenAI互換の推論インターフェース（後述）を軸に設計されており、統合レイヤーを書き換えることなく、基盤となるモデルを入れ替えられます——別のオープンウェイトモデル、別のGPUベンダー、別のホスティング形態へも対応可能です。
プロバイダーのロックインなし：同じ標準推論スタックを、セルフホスト・マネージド・共有のすべてのデプロイ形態で使用します。後になってデプロイ形態を切り替えても、アプリケーションとモデルとの通信方法を作り直す必要はありません。
お客様のデータは常にお客様の統制下にあります：評価やRAGに使用するドキュメント・プロンプトは、一貫してお客様の管理下に置かれます——上記のデータローカリティに関する説明と一致します。

これはLLLが全ての案件で適用している、ロックインに反対する原則そのものです：モデルに依存しない設計、標準的な推論スタック、そしていつでも他ベンダーへ移行できるビルド——LLLが関与し続けなければ動かない、というものではありません。

最適なデプロイ形態の選び方

問い	示唆される方向
ハードウェアが監査・セキュリティポリシー・会計上の理由で、自社が所有する資本資産である必要がありますか？	セルフホスト
設備面の作業（電源、冷却、UPS、監視）を負わずに、その能力だけを手に入れたいですか？	マネージドホスティング
利用が軽量・不定期、あるいはまだ実証段階ですか？	共有インフラ
利用が重く継続的で、施設側がその負荷に対応できますか？	その規模ではセルフホストが有利になることが多い

これらはいずれも普遍的な正解ではなく、あくまで出発点です。特定のワークロードに合った答え、および適切なモデルサイズは、経験則ではなく、お客様自身の数字をもとに以下の30日間PoCが導き出すよう設計されています。

はじめに

精度とレイテンシの基準をプライベートLLMが実際に満たすかどうかを知る前に、6桁の機材予算や複数年のマネージド／共有契約にコミットするのは現実的なリスクです——概念実証（PoC）は、まさにそのリスクを取り除くために存在します。

**30日間プライベートLLM PoC**は、LLLが既に運用しているインフラ上で実施され、汎用ベンチマークではなく、お客様自身のドキュメントとワークロードに対して精度とレイテンシを検証し、最後に書面レポートをお渡しします：どのデプロイ形態が合うか、どのモデルティアが合うか、そしてフルビルドのコスト見積もり。継続される場合、PoC費用は全額そのビルドに充当されます。

よくある質問

Q: 自社にとって有効かどうかを知るために、ハードウェアを購入する必要がありますか？ A: いいえ。30日間PoCは、LLLが既に自社内で構築・運用しているインフラ上で実施されます。レポートは、継続を決めた場合に何を購入すべきか——あるいはレンタルするか、当社にホスティングを任せるか——を示します。

Q: 70Bが常に適切なモデルサイズですか？ A: それは当社のデフォルトかつ推奨の出発点であり、1台のマシンで全社共通のChatGPT相当を近似するサイズです。精度要件が低いワークロードは32B下限で動作可能であり、高い同時利用のあるワークロードは122B-A10Bまたは400BクラスのMoEティアを必要とする場合があります。PoCレポートは、デフォルトではなく理由付きで特定のティアを推奨します。

Q: ハードウェア費用を抑えるためにFP8より下へ量子化できますか？ A: 可能ですが、デフォルトとしては推奨していません。当社のテストでは、FP8を下回ると日本語のビジネスタスクにおける精度が明確に低下することが分かっており、ハードウェア費用を下げられる場合でも、標準構成ではその一線を維持しています。

Q: 構築後、LLLに、あるいは特定のモデル・GPUベンダーにロックインされますか？ A: いいえ、設計上そうなりません。推論レイヤーは標準的なOpenAI互換インターフェースであり、統合部分を書き換えることなく、モデルとその下のホスティング形態を変更できます——詳細は上記「モデル・データ・チューニング成果物の所有権」を参照してください。

Q: このページの価格に含まれていないものは？ A: 施設固有の作業——電源、冷却、UPS、バックアップ、監視、騒音対策——です。建物ごとに変動が大きいため、現地調査なしに価格を提示することはできません。現地調査前にお伝えできる目安の数字については、上記「最初に正直にお伝えすること」を参照してください。

お問い合わせ

プライベートLLM基盤が自社のワークロードに合うかどうか、確認してみませんか？

ご相談を予約する

LLL Inc. - マレーシア発、プライベートLLM基盤 セルフホスト・マネージド・共有 — ロックインなし

プライベートLLM基盤 — 自社専用のAI基盤を構築・運用する