コンテンツへスキップ
GitHub · 同期済み
すべての投稿

私が自宅でAIをセルフホスティングし始めた理由

ASAshik Eqbal2分読み取り

この記事は英語から機械翻訳されたものです。 原文を読む

カバー画像
このページでは
  1. 導入
  2. ローカルAIへの移行
  3. ローカルAIスタックの構築
  4. HomelabをAIサーバーに変える
  5. 適切なインターフェースを追加する
  6. GPU瞬間
  7. リモートアクセスとプライベートAIをどこでも利用可能
  8. ついに腑に落ちた瞬間
  9. より大きな視点
  10. 最後に

導入#

この2年間で、AIはいつの間にか私の日常業務の一部となっていた。

コードの記述、プロジェクトのデバッグ、ドキュメントの要約、アイデアの創出、新しい技術の学習。こうした日常的な小さな作業でさえ、クラウド上で稼働するAIツールに徐々に依存するようになっていった。

そしてしばらくして、私は奇妙なことに気づいた。

私がAIとやり取りしたほぼ全てのケースは、他者のインフラに依存していた。

私が書いたすべてのプロンプト、貼り付けたすべてのコード、試したすべてのアイデア――それらすべてが、私が一切制御できない企業が所有するリモートサーバー上で処理されていた。

最初は、それが普通だと感じた。

それが現代のソフトウェアの仕組みなのです。私たちは他人のサーバーから音楽をストリーミング再生し、他人のクラウドにファイルを保存し、物理的に目にすることのないプラットフォームからコンピューティング能力をレンタルします。AIは、まさにそうしたシステムの次の段階のように感じられるのです。

しかし、これらのツールに頼れば頼るほど、その考えはますます不快なものになっていった。

なぜなら、AIはもはや単なるアプリの一つではなかったからだ。

それは思考ツールになりつつあった。

問題解決の際に活用したもの。学習中に使い続けたもの。そして、徐々に私の日々の仕事のやり方に組み込まれていったもの。

そして、それは私の心にさらに大きな疑問を抱かせた。

知能そのものが新たなサブスクリプションサービスになった時、何が起こるのだろうか?

ソフトウェアではない。ストレージでもない。エンターテイメントでもない。

知能。

思考速度の向上、業務の自動化、アイデアのブレインストーミング、コードの記述、新しいスキルの習得といった能力が、完全に他人のサーバーへのアクセスに依存している場合、何が起こるでしょうか?

その考えは、予想以上に長く私の頭から離れなかった。

同時に、インターネット全体で別の変化が起きていることに気づき始めた。

開発者の間では、クラウドに完全に依存する環境から離れる動きが見られ始めていた。人々は再びホームラボを構築し、メディアサーバーをセルフホスティングしたり、プライベートクラウドストレージを運用したり、独自のパスワードマネージャーをホストしたりと、あらゆるものをレンタルするのではなく、インフラストラクチャをより多く自社で所有するようになった。

そして徐々に、AIもその議論に加わり始めた。

初めて、強力な言語モデルをローカル環境で実行することが現実的になりつつあった。

オープンソースのモデルは驚異的な速さで進化を遂げていた。コンシューマー向けGPUも推論に十分な性能を備えつつあった。Ollamaのようなツールはローカルでのモデル展開を劇的に簡素化した。そして突然、自宅でAIを実行するというアイデアは、もはや実験的なものではなくなった。

それは避けられないことのように思えた。

その好奇心が、私をセルフホスト型AIの世界へとさらに深く引き込んだ。

最初は、単純な実験として始まった。

ローカルモデルがYouTubeのデモやベンチマークチャート以外でも実際に使えるのかどうかを確認したかったのです。応答速度が遅く、推論能力がひどく、セットアッププロセスが煩雑で、最終的にはクラウドAPIに戻らざるを得ないだろうと予想していました。

しかし、私は全く違うものを見つけた。

数時間後には、自分のハードウェア上で直接動作するローカル言語モデルを構築できた。

APIキー不要。使用状況の追跡なし。インターネット接続不要。リモート推論の待ち時間なし。使用量に応じて自動的に増加する月額料金なし。

これは、私のマシンがローカルでリアルタイムに応答を生成しているだけです。

正直なところ、その瞬間はクラウドAIを使った時とは驚くほど違った感覚だった。

モデルが魔法のように優れていたからではない。

しかし、それはテクノロジーとの関係性がこれまでとは違って感じられたからだ。

そのAIはもはやサービスではなかった。「どこかにホストされている」ものでもなかった。アカウントダッシュボードを通じてアクセスする、借り物の知能でもなかった。

まるでインフラ整備のようだった。

私が所有していたもの。私が管理していたもの。Dockerコンテナ、リバースプロキシ、メディアサーバー、ストレージシステムなどと並んで、私のサーバースタックの一部として存在していたもの。

その気づきは、私がAIを見る目を根本的に変えた。

好奇心から始まったことが、あっという間に私がこれまで携わった中で最も興味深いインフラプロジェクトの一つへと発展した。

いつの間にか、私のhomelab単なるアプリやメディア用のサーバーラックではなくなってしまったのです。

それは、個人向けのAI環境へと変化し始めた。

ローカルAIへの移行#

長い間、大規模な言語モデルをローカルで実行することは非現実的だと考えられていた。

AIはどこか遠い存在で、工業的で、高価に感じられた。

高度なAIシステムについて語られるとき、話題はほぼ必ず巨大なデータセンター、エンタープライズGPU、そして事実上無制限のコンピューティング予算を持つ企業に集中していた。トレーニングだけでも、ほとんどの人が実際に目にすることすらできないようなインフラが必要であり、ましてや所有することなど考えられない。

推論、つまりこれらのモデルを実行するだけの単純な操作でさえ、一般の開発者にとっては手の届かないもののように思えた。

その前提は単純だった。

強力なAIは大手テクノロジー企業が所有している。

そして正直なところ、しばらくの間はそれは事実だった。

現代AIの初期の波は、非常に中央集権的だった。インテリジェンスへのアクセスは、API、サブスクリプション、クラウドプラットフォームを通じてのみ可能だった。より優れたモデルが欲しければ、より多くの費用を支払う必要があり、規模を拡大するには、他社のインフラに頼らざるを得なかった。

しかし、ここ数年で何かが驚くほど急速に変化した。

オープンソースモデルは驚異的なスピードで進化を遂げた。

実験的なコミュニティプロジェクトとして始まったものが、徐々に真に有能なモデルへと進化し、以下のようなことが可能になった。

  • 使えるコードを書く
  • 文書を要約する
  • 技術的な問題を論理的に解決する
  • スクリプト作成のお手伝い
  • 研究を支援する
  • 驚くほど筋の通った会話をする

しかも、彼らは単に少し改善しただけではなかった。

数か月ごとに、ローカルモデルとクラウドホスト型システムとの間の差はますます縮まり始めた。

同時に、一般消費者向けハードウェアは、ほとんどの人が想像していたよりもはるかに高性能になっていった。

現代のGPU、特に一般的なデスクトップPCに搭載されているゲーミングGPUは、量子化された言語モデルをローカルで実用的な速度で実行できるほど強力になった。

ゲームや動画編集のために人々が購入したのと同じハードウェアが、今や自宅で直接AIモデルを実行できるようになった。

その変化は重要だと感じられた。

なぜなら、初めてローカルAIが理論的なものに感じられなくなったからだ。

それは実用的になった。

そして、Ollamaのようなツールが登場し、さらに多くの摩擦を取り除いた。

Ollamaが登場する以前は、ローカルAIはしばしば威圧的に見えた。

  • 依存関係をコンパイルしています
  • ランタイムを手動で構成する
  • CUDAの問題への対処
  • モデルファイルを探す
  • 推論フレームワークの設定

まるで研究プロジェクトみたいだった。

オラマはその経験を劇的に変えた。

突然、ローカルモデルを実行すると、次のような表示になった。

code
ollama run llama3

以上だった。

命令は一つだけ。

数分後には、完全な言語モデルがあなたのマシン上でローカルに実行されていました。

そのシンプルさは、人々が思っている以上に重要だった。

なぜなら、技術が主流となるのは、参入障壁が崩れた時だけだからだ。

そして、まさにそれがローカルAIで起こったことなのです。

ほぼ同時期に、開発者文化の中で別の変化も起きていることに気づいた。

セルフホスティングに戻る人が増えていた。

安かったからではない。簡単だったからでもない。

しかし、所有権が再び重要視されるようになったからだ。

開発者たちは建設を開始した。

  • ホームラボ
  • プライベートクラウドストレージ
  • メディアサーバー
  • スマートホームシステム
  • パスワードマネージャー
  • 個人用VPN
  • 自己ホスト型開発者インフラストラクチャ

私たちが日々頼りにしているシステムをより多く制御したいという欲求が高まっていた。

そして最終的に、AIもその動きの一部となった。

正直なところ、その変化は驚くほど自然に感じられた。

数年前、人々は誇らしげにこう言っていた。

  • 彼らのPlexサーバー
  • NASの構築
  • Kubernetesクラスター
  • リバースプロキシの設定

今、人々は次のようなことを示そうとしています。

  • ローカルLLMスタック
  • GPUサーバー
  • ベクターデータベース
  • AIワークフロー
  • 自己ホスト型アシスタント

homelab世界とAIの世界が重なり合い始めた。

そして、その共通点に気づいてからは、それについて考えずにはいられなくなった。

なぜなら、AIはもはやクラウド上で動作する単なるソフトウェアではなくなったからだ。

それはインフラになりつつあった。

個人インフラ。

開発者が実際に所有し、変更し、実験し、そして完全に自身のハードウェア上で実行できるもの。

その考えに私は魅了された。

ローカルAIが完璧だからというわけではありません。決して完璧ではありません。

クラウドモデルは依然として多くの場合、より強力です。エンタープライズ環境における推論は依然として圧倒的に高速です。大規模なホスト型システムには依然として利点があります。

しかし、それは本質的な問題ではない。

重要なのは、ローカルAIが真に役立つレベルに達したということだ。

そして、何かが地域で十分に役立つようになると、人々は必然的にそれを自宅に持ち帰り始める。

同様のことが以下のケースでも起こりました。

  • メディアストリーミング
  • クラウドストレージ
  • ホームオートメーション
  • 仮想化
  • ゲームサーバー

AIは、その進化の次の段階に過ぎない。

そして正直なところ、私たちはまだそのほんの始まりにいるのだと思います。

ローカルAIスタックの構築#

すべての中心にいたのはオラマだった。

Ollamaで私がすぐに印象に残ったのは、ローカルAIの導入が非常に身近に感じられる点だった。

それを見つける前は、ほとんどのローカルAIチュートリアルは難しそうに見えた。モデルの重みを手動でダウンロードしたり、推論バックエンドを設定したり、CUDA環境をセットアップしたり、依存関係の問題をトラブルシューティングしたりするのに何時間もかかり、ようやく1つの応答が得られるまでには時間がかかるものばかりだった。

オラマは、その複雑さをすべて驚くほどシンプルなものに還元した。

単一のコマンドで、完全な言語モデルをローカルにダウンロードして実行できます。

code
ollama run llama3

あれはまさに、テクノロジーが予想以上に身近に感じられる、滅多にない瞬間の一つだった。

数分前までは、そのモデルはインターネット上のどこか抽象的な場所に存在していた。

今では、私のマシン上で直接動作しています。

APIダッシュボードなし。クレジットなし。請求ページなし。クラウドへの依存なし。

これは、私の所有するハードウェアをリアルタイムで利用するローカルプロセスです。

そして最初のモデルが稼働し始めると、事態は急速に進展した。

当初は単純な実験として始まったものが、徐々に大規模なインフラプロジェクトへと発展していった。

ローカルAIが実際に機能することに気付くと、次に考えるべきことは次のようになります。

「私はこれをどこまで続けられるのだろうか?」

だから当然、私はそれを中心に据えたシステム全体を構築し始めたのです。

HomelabをAIサーバーに変える#

当時、私のhomelab既に複数のセルフホスト型サービスを運用していた。

メディアストリーミング。リバースプロキシ。コンテナ。ストレージ。VPNアクセス。開発者ツール。

AIは徐々に、そのエコシステムの上に新たな層として追加されていった。

デプロイメントを分離し、管理しやすくするために、すべてをDockerを使ってコンテナ化し始めました。

AIを独立した実験として扱うのではなく、私が既にサーバースタックの他の部分で使用していたのと同じインフラストラクチャの考え方にAIを統合し始めました。

それはつまり次のことを意味する。

  • 永続コンテナ
  • 自動再起動
  • 集中型ネットワーク
  • GPUパススルー
  • リバースプロキシルーティング
  • リモートアクセス
  • リソース使用状況の監視

徐々に、ローカルAIは目新しいものではなくなり、私のインフラ内で実際に稼働しているサービスのように感じられるようになった。

正直言って、その変化は今回の体験全体の中で最も素晴らしい部分の一つだった。

AIスタックがhomelabの他の部分に自然に溶け込み始めたからです。

私のサーバーはもはや単に次のものではなかった。

  • メディアサーバー
  • ストレージシステム
  • 仮想化マシン

それはAIサーバーとしても機能し始めていた。

適切なインターフェースを追加する#

コマンドラインは最初は楽しかったけれど、日常的なやり取りにもっと使いやすいものが欲しかった。

そこで私はOllamaの上にOpen WebUIを追加したのです。

そのたった一つの追加要素が、体験を劇的に変えた。

ターミナルコマンドのみを介してモデルとやり取りする代わりに、突然次のようなことが起こるようになった。

  • 最新のチャットインターフェース
  • モデル切り替え
  • 会話履歴
  • マルチモデルワークフロー
  • ドキュメントの操作
  • 全体的に、より洗練された体験

その設定は、バックエンドの実験というより、商用AIプラットフォームの自己ホスト型バージョンに近いものになりつつあった。

ただし今回は、すべてローカルで実行されていた。

ネットワーク外へのリクエストは一切発生しません。クラウド推論も外部のどこかで行われることはありません。外部の稼働状況への依存もありません。

これは、私のハードウェアから直接AI応答を提供する、私自身のインフラストラクチャです。

そして不思議なことに、それは信じられないほど満足感を与えてくれた。

GPU瞬間#

この旅で最も興味深かったことの一つは、ローカルAIを本格的に使い始めると、 GPUアクセラレーションがいかに重要になるかを実感できたことだった。

CPU推論も技術的には機能するが、 GPUアクセラレーションを有効にすると、使用感は完全に変わった。

応答速度が劇的に向上し、モデルとの対話性も高まりました。システム全体が、実際の日常的な使用において実用的になりました。

正直言って、これもまた私にとって物事が突然腑に落ちた瞬間だった。

長年にわたり、GPUは主に以下の用途向けに販売されてきました。

  • ゲーム
  • レンダリング
  • 動画編集

現在、同じハードウェアが個人向けAIコンピューティングインフラストラクチャへと変貌を遂げつつある。

その変化は歴史的に重要な意味を持つように感じられる。

なぜなら、私たちはもはや消費者向けハードウェアが単なる娯楽用ハードウェアではなくなる世界に突入しているからだ。

それは知能ハードウェアになりつつある。

そしてそれは、人々がホームサーバーについて考える方法を根本的に変えることになる。

リモートアクセスとプライベートAIをどこでも利用可能#

最終的には、自宅のネットワーク外でもローカルモデルにアクセスできるようにしたかったのです。

そこで、VPNアクセスをシステムに組み込みました。

つまり、システム全体をインターネットに公開することなく、AIスタックにリモートから安全にアクセスできるということだ。

この部分のおかげで、このセットアップの使い勝手が劇的に向上しました。

その時点で、ローカルAIサーバーは、自宅にある物理的なマシンに縛られているという感覚を失った。

それはまるで、どこからでもアクセスできるプライベートなAI環境のように感じ始めた。

そして、すべてが自己ホスティングだったため:

  • 使用制限はありませんでした
  • 価格設定に関連するコンテキスト制限はありません
  • API割り当てに関する懸念はありません
  • 予想外の請求額の急増なし

インフラは当然存在し、私が必要な時にいつでも利用可能だった。

ついに腑に落ちた瞬間#

最大の驚きは、技術そのものではなかった。

それは、ローカルAIが既にどれほど実用的であるかということだった。

当初は、体験が何らかの妥協を伴うものになるだろうと予想していた。

私は、ローカルモデルは主に次のような形で存在すると考えていました。

  • 興味深いデモ
  • 実験的なおもちゃ
  • アシスタントの数が非常に限られている

それどころか、私は毎日彼らに頼るようになってしまいました。

コーディングのため。スクリプト作成のため。ブレインストーミングのため。インフラストラクチャの問題のデバッグのため。技術文書の要約のため。馴染みのない概念を素早く学習するため。

そして時が経つにつれ、予期せぬことが起こった。

クラウドAIの感覚が変わってきた。

必ずしも悪くなるわけではない。

ただ…遠い存在。

なぜなら、AIが完全に自社のハードウェア上で動作する経験を一度積むと、クラウドAIとのやり取りが突然、より取引的なものに感じられるようになるからだ。

あなたは以下のことに気づきます。

  • リクエストがマシンから送信されています
  • どこかに限界が存在する
  • アクセスは外部システムに依存する
  • 価格設定は利用行動に影響を与える

ローカルAIは、その関係性を変える。

システムはより身近に感じられる。よりパーソナルに。より実験的で。より制御しやすい。

プラットフォームから情報を借りているような感覚がなくなる。

そして、まるで自分がそのスタックの一部を所有しているかのような感覚を抱き始めるのです。

その心理的な変化こそ、おそらくプロジェクト全体の中で最も興味深い部分だったと言えるでしょう。

なぜなら、多くの点で、セルフホスト型AIは単に技術だけの問題ではないからだ。

それは、ユーザーとコンピューティングそのものの関係性を変えることに関するものです。

これは既に、非常に質の高い長編記事になりつつある。

次に加えるべきなのは、記事に哲学的な意義をより大きく与える部分、つまり読者が「かっこいいhomelabセットアップ」という以上のことを考えるきっかけとなる部分です。

現在、この記事では以下の内容を扱っています。

  • 感情的な引き金
  • ローカルAIへの移行
  • インフラストラクチャの旅
  • 所有権の心理的な違い

次に、以下の質問に答えるセクションが必要です。

「この運動はなぜ重要なのか?」

より大きな視点#

ローカル環境でAIを実行する時間が長くなるにつれて、これは単なるセルフホスティングのトレンドではないということに気づき始めた。

それは、人々がコンピューターそのものとどのように関わるかという、はるかに大きな変化の始まりのように感じられた。

長年にわたり、ほとんどのパーソナルテクノロジーは一方向へと進化してきた。

雲に向かって。

ファイルはクラウドストレージに移行し、エンターテイメントはストリーミングプラットフォームに移行し、ソフトウェアはサブスクリプション制になり、インフラはレンタルサービスとなった。

利便性が勝った。

正直なところ、クラウドコンピューティングは多くの点で業界を良い方向に変えました。高価なハードウェアや複雑な設定を必要とせずに、何百万人もの人々が強力なツールを利用できるようになったのです。

しかし同時に、所有権も徐々に変化していった。

私たちはソフトウェアの所有権を放棄した。インフラの所有権を放棄した。日々依存しているシステムの制御権を放棄した。

利便性は向上したが、技術そのものとの近さは失われた。

そして、AIはその傾向をさらに加速させているようだ。

なぜなら、従来のクラウドサービスとは異なり、AIは単にデータを保存したり、コンテンツを提供したりするだけではないからです。

それは認知の一層になりつつある。

人々がますます頼るようになっているもの:

  • 考え
  • 学ぶ
  • 創造性
  • プログラミング
  • オートメーション
  • 意思決定支援

それは会話の方向性を完全に変えてしまう。

知能そのものが少数のプラットフォームによって制御される中央集権的なインフラになると、依存関係の様相は大きく変わってくる。

そして、それが今、ローカルAIが非常に重要視されている理由の一つだと私は思います。

誰もが突然自宅にGPUサーバーを必要とするようになったからではない。

しかし、それは人々が選択肢を求めているからだ。

彼らは以下の能力を求めている。

  • モデルを非公開で実行する
  • 自由に実験してください
  • ワークフローを所有する
  • 永続的な購読依存を避ける
  • データの行き先をコントロールする
  • AIを生活にどのように取り入れるかを決める

多くの点で、ローカルAIは初期のインターネットの精神と似ているように感じられる。

  • 地方分権化
  • 実験
  • 開放性
  • 個人所有

それこそが、今の時代をこれほど魅力的なものにしている理由の一つだ。

高度なAIモデルが、初めて企業インフラに完全に閉じ込められることがなくなった。

個人が自分で運営できるほど、利用しやすくなってきている。

そして、いったんそれが起こると、イノベーションは驚くほど速く広がる。

開発者が構築を始める様子が見られるようになります。

  • ローカルコーディングアシスタント
  • プライベートな調査ツール
  • AIを活用したホームラボ
  • パーソナルオートメーションシステム
  • オフラインAIワークフロー
  • 完全に自己ホスト型のAIエコシステム

企業から指示されたからではない。

しかし、彼らはついにそれができるようになったのだ。

正直言って、まだ始まったばかりだと思います。

現状では、セルフホスト型AIはまだやや実験的な段階にあると言えるでしょう。モデルサイズが大きく、ハードウェアの制約も存在し、セットアップの複雑さも多くのユーザーを躊躇させています。

しかし、改善のペースは異常だ。

モデルはより小型化、より高度化している。推論処理は高速化している。コンシューマー向けGPUの性能は向上している。オープンソースのツールは急速に進化している。

セルフホスティング型のメディアサーバーが徐々に一般的になったのと同じように、個人用AIサーバーもいずれ普及するだろうと私は考えています。

数年前までは、独自のクラウドストレージを運営するというのはニッチなことのように思われていた。

今では人々は気軽に走る:

  • NASシステム
  • Dockerスタック
  • ホーム VPN
  • スマートホームサーバー
  • Kubernetesクラスター

AIは、そのエコシステムの上に自然に追加される次のレイヤーのように感じられる。

正直言って、その可能性は、クラウドから永遠に知能を借り続けることよりも、はるかに私をワクワクさせる。

最後に#

ローカルAIの実験を始めた当初は、楽しい副業になるだろうと期待していた。

技術的なこと。一時的なこと。数週末かけてテストするのに面白いこと。

むしろ、それは私のAIインフラに対する考え方を完全に変えた。

なぜなら、強力な言語モデルを自分のハードウェア上で直接実行する経験を一度すると、AIという概念そのものが違って感じられるようになるからだ。

リモートサービスというよりは、パーソナルツールに近い。

テクノロジーがより身近に感じられる。より実感できる。よりコントロールしやすい。

そして、おそらくそれが私にとって最も驚いた点だった。

AIを自社でホスティングするメリットは、単にコスト削減やAPI制限の回避だけではありません。

それは所有権の問題だ。

ツールの所有権。ワークフローの所有権。データの所有権。日々ますます依存度が高まっているインテリジェンスの所有権。

私にとって、それがこの旅をこれほど魅力的なものにした理由です。

ローカルAIがクラウドAIを完全に置き換えるからではない。

しかし、それは個人が自分自身の条件でこの新しいコンピューティング時代に参加できる能力を与えるからです。

正直なところ、私たちはまだその変化の始まりを目撃しているに過ぎないと思っています。