「AIを使いたいが、クラウドに機密データを送るのは怖い」——情シス担当者なら一度は抱いたこの葛藤に、国産LLMがついて現実的な答えを出し始めた。NTTのtsuzumi 2は、これまで大企業にしか許されなかった「自社サーバーで動く高性能日本語AI」を、500万円台の投資で手が届く射程に引き寄せた。ただし、これは全企業への処方箋ではない。
なぜ今ローカルLLMなのか——クラウドAIの「隠れコスト」が露わになる転換点
月間100万トークン処理なら、クラウドAPIは圧倒的に有利だ。Claude Sonnet 4.6のAPIであれば月3〜18万円、3年総コストは100〜650万円に収まる。tsuzumi 2のオンプレ構成は初期500万円に加えて月次の電力・保守費がかかり、3年で700〜900万円。この試算だけ見れば「クラウドで十分」という結論になる。
しかし、スケールが変わると話は逆転する。月間処理量が500万トークンを超えた瞬間、クラウドAPIのコストは月30〜180万円規模に膨らみ、3年累計で1,000万〜6,500万円に達する。オンプレの損益分岐点はここだ。月間500万トークン超かつ機密データを扱う企業が、ローカルLLM移行を真剣に検討すべき最初のシグナルとなる。
さらに、コスト試算に現れない3つのリスクがある。
- 情報漏洩リスク：金融・医療・行政では、機密データをクラウドAPIに送信すること自体が監査コストや保険料として実費換算される
- ベンダーロックイン：OpenAIやAnthropicが価格改定・仕様変更・サービス終了を決めた瞬間、企業側に拒否権はない
- 価格改定リスク：過去3年でAPIの価格体系は複数回変更されており、「今の試算」が3年後も成立する保証はどこにもない
自社の月間処理量と扱うデータの機密度を照らし合わせたとき、あなたの会社はどちら側に立っているか。その問いがローカルLLM検討の出発点になる。
tsuzumi 2の技術的実力——「1GPU動作」と「日本語RAG特化」が意味するもの
1基500万円が切り開いた新しい投資ライン
tsuzumi 2の最大のブレークスルーは、30Bパラメータモデルを単一のNVIDIA A100 40GBで動かせる点にある。70B級モデル（Llama 3.1 70B等）の自社運用にはA100が4基以上必要で、ハードウェアコストだけで2,000万〜4,000万円に達する。tsuzumi 2はその1/10〜1/20のコスト水準、約500万円から（業界試算値）という投資ラインに収まる。これは中堅企業の設備投資判断に初めて入ってくる数字だ。
- 超大規模モデル（GPT-5、Gemini 3.1 Pro）：クラウド専用、自社運用不可
- 大規模ローカルモデル70B〜：A100×4基以上、2,000万〜4,000万円
- tsuzumi 2（30B）：A100×1基、約500万円〜
- 小規模モデル7B〜：民生GPU（RTX 4090等）、50万〜200万円
RAG性能という実務的な勝負どころ
NTT公式発表によれば、tsuzumi 2はMT-bench日本語版の多くのタスクでGPT-5に匹敵する数値を示している。ただし、このベンチマークはターン形式の対話評価であり、長文ドキュメント処理とは評価軸が異なる。また、数値の多くはNTT提示・業界メディア試算ベースであり、独立した第三者検証は限定的だ。この点は正直に留保しておく必要がある。
より実務に直結するのはRAG（検索拡張生成）性能だ。NTTによれば、tsuzumi顧客の利用シーンの約80%がドキュメントQA・情報抽出・要約であり、NTT社内の財務システム問い合わせ対応シナリオでは同サイズ帯だけでなく大規模モデルも上回るRAG性能を達成したとしている。この主張が実務環境でも再現されるなら、「クラウドの超大規模モデルをRAGで使う」より「ローカルのtsuzumi 2をRAGで使う」方が日本語ビジネス文書処理で優れるという逆転現象が起きうる。
学習データ1/10圧縮という中小企業への福音
もう一つの差別化軸がアダプターチューニング技術だ。NTTの実証では、FP2級合格水準到達に必要な学習データが他モデルの1,900問に対してtsuzumi 2では約200問（約1/10）で達成された。自社固有の業務知識——社内規程、製品仕様、過去の問い合わせ履歴——をモデルに覚えさせる際のアノテーションコストが従来比1/10に圧縮できる可能性は、データ整備リソースが限られる中小企業にとって無視できない優位性だ。
導入前に直視すべき3つの壁——コスト・人材・競合オープンソースの現実
「500万円から」の数字に含まれていないもの
業界試算の「約500万円から」には、現実的に以下のコストが含まれていない。
- サーバーラック・電源・冷却設備（データセンター利用なら月次コロケーション費）
- ネットワーク・セキュリティ構成（ファイアウォール、VPN、アクセス制御）
- tsuzumi 2のモデル利用ライセンス料（B2B有償モデルのため別途発生）
- SIerへの導入・構築委託費用（一般的に500万〜2,000万円規模）
- 保守・バージョンアップ対応工数
現実的な3年間TCOは最小構成でも2,000万〜3,000万円規模になる。これは中小企業にとって依然として高いハードルだ。
内製できないスキルセットという根本問題
tsuzumi 2をオンプレで運用するには、GPU搭載サーバーの保守（CUDA環境・ドライバ管理）、vLLMやTGIを使った推論サーバーのMLOps運用、ChromaやWeaviateを活用したRAGシステム設計、そしてアダプターチューニングの実施という4領域のスキルが必要だ。日本の中小企業でこれらを内製できる人材を確保することは、2026年現在では極めて困難であり、実質的にNTTグループやSIerへの依存が発生する。このSIer依存コストがコスト削減効果を部分的に相殺するという構造的な問題がある。
NTTがAzure経由のマネージドサービス提供を拡充する方針を示している点は重要だ。ただし、マネージドサービスに移行すれば「オンプレのセキュリティ優位性」は一定程度薄れる——この矛盾は正直に受け止める必要がある。
無償のオープンソース勢という現実的な競合
tsuzumi 2の競合を直視しよう。Alibaba製Qwen-2.5 32B、Google製Gemma-3 27Bは、いずれもオープンソースで無償利用可能だ。tsuzumi 2はB2B・公共向け有償モデルであり、純粋な価格競争力ではオープンソース勢に劣る。tsuzumi 2の差別化軸は「日本語性能」「NTTブランドによる信頼性」「デジタル庁源内採用の政府実績」の3点に絞られる。この3点に価値を感じない企業が、Qwen-2.5 32Bを自社チューニングする選択は同等以上に合理的だ。
あなたの会社は「移行すべき企業」か——4軸チェックリストと2026年の判断基準
移行適合企業の4条件
以下の4軸すべてに該当する企業が、tsuzumi 2（またはローカルLLM全般）への移行を最優先で検討すべき対象だ。
- 月間処理量：500万トークン超、または今後1〜2年でその水準に達する見込みがある
- 機密データの有無：個人情報・財務情報・営業秘密・医療情報など、外部送信に法的・コンプライアンス上のリスクがあるデータを扱う
- 内製人材またはSIerパートナー：MLOps・RAG構築を担える人材が社内にいるか、信頼できるSIerパートナーとの関係がある
- 規制業種：金融・医療・行政・電力・通信・重要インフラのいずれかに属する
規制の追い風が「早期検討」を後押しする
2026年3月にデジタル庁の政府AI基盤「源内（Gennai）」採用7モデルにtsuzumi 2が選定された事実は、公共調達における国産LLMの正当性を確立するシグナルだ。経済安全保障推進法の文脈では、重要インフラ事業者における外国クラウド依存リスクへの意識が高まっており、自治体・金融機関・医療機関にとって「政府が使っているモデル」という事実は調達判断の強力な根拠になる。
個人情報保護法の強化議論も継続中であり、クラウドサービスへの個人データ送信に関する規制が強まる方向性は変わっていない。規制業種に属する企業は、コスト計算以前に「今のクラウドAPI利用が将来的にコンプライアンス違反になるリスク」を経営判断に織り込む必要がある。
ハナの所見
tsuzumi 2の本質的な価値は「コスト削減」にない。「意思決定の内部化」だ。クラウドLLMに依存する限り、企業はベンダーの価格改定・サービス終了・利用規約変更に永続的に晒される。APIの価格体系が突然変わっても、利用規約にデータ学習への同意条項が追加されても、企業側に拒否権はない。tsuzumi 2が切り開いたのは、AIインフラを自社のコントロール下に置くという選択肢そのものであり、これは単なるコスト計算を超えた経営判断の問題だ。
具体的な懸念点
ハナが最も懸念するのは、「国産」「政府採用」というラベルへの思考停止という問題がある。「デジタル庁が採用したなら安心」という理由だけでtsuzumi 2を選ぶ企業が出てくることは容易に想像できる。しかし、Qwen-2.5 32BやGemma-3 27Bをオープンソースで自社チューニングする選択肢は、コスト面では同等以上に現実的だ。tsuzumi 2はあくまで「NTTのサポートと政府採用実績が必要な企業向けの選択肢」として相対化して評価すべきであり、ラベルに安心して思考を止めることが最大のリスクになる。
日本特有の障壁
日本固有の問題として、MLOps人材の絶対的な不足がある。GPU搭載サーバーの保守からRAGシステムの設計・運用まで担えるエンジニアは、2026年現在でも大手IT企業に集中しており、地方の中堅・中小企業が採用競争で勝てる状況にない。結果として、ほぼすべての中小企業がSIer依存に陥り、「コスト削減のためにローカルLLMを導入したのに、SIerへの委託費用で削減効果が消える」という構造的な矛盾に直面する。この人材不足問題が解消されない限り、ローカルLLMの恩恵を受けられるのは実質的に大企業とIT人材を抱える一部の中堅企業に限られる。
時期を明示した予測
ハナの見立てでは、2026年末までに、金融・医療・自治体の調達案件でtsuzumi 2の採用実績が10件以上積み上がり、「政府採用モデルの実績リスト」が事実上の参照標準として機能し始める。一方で2027年には、Qwen・Gemmaシリーズの継続的な改善により、tsuzumi 2の「同サイズ帯日本語性能トップ」という優位性が失われる可能性が高い。その時点でtsuzumi 2の差別化はNTTのサポート体制と政府調達実績のみに集約される。中小企業が今すべき判断は「tsuzumi 2を選ぶかどうか」ではなく、「ローカルLLMという選択肢を自社の戦略に組み込む時期と条件を定義すること」だ。その判断を2026年中に終わらせておくことを、ハナは強く勧める。
自社のAI導入コストを今すぐ試算する
月間トークン処理量とデータ機密度を入力するだけで「クラウドAPI継続 vs. ローカルLLM移行」の損益分岐点を算出できる簡易チェックシートを無料配布中です。記事下のフォームからダウンロードしてください。
