ローカルAIコンパニオン：OllamaとSillyTavern構築法

ローカルコンパニオンは自分のマシンで動作し、データを自分のドライブに保存し、自分が設計したプロンプトにのみ応答する。月次のトークンメーターは存在しない。架空のパートナーが何を言えるかを決める検閲層も存在しない。深く個人的なキャラクターを構築する者にとって、この自由こそが核心である。

代償は技術的なセットアップとハードウェア投資だ。しかし多くの人にとって、その投資は欠点ではなく機能として働く。自分のモデルを動かすことは、生成AIが内部でどう機能するかを学ぶことを意味し、それは他のあらゆるツールでのプロンプト能力を向上させる。

ローカルAIコンパニオンに必要なハードウェアとは？

これは初心者が必ず問う最初の質問であり、誠実な答えはモデルサイズに依存する。クラウド級のコンパニオンモデルの多くは7Bから70Bのパラメータで動く。親密な会話において、大きいことは必ずしも良いことを意味しない。実際、小規模で微調整されたモデルは、人格の一貫性と…

現実的な内訳は以下の通りだ：

Apple Siliconユーザーには特別な利点がある。ユニファイドメモリにより、32GB RAMのMacBookでも13B、場合によっては20Bのモデルを快適に動かせる。WindowsやLinuxでは専用VRAMが必要だが、RTX 3060 12GB以上のNvidiaカードなら7Bから13Bの範囲を十分に扱える。

なぜOllamaがコンパニオンAIの正しいバックエンドなのか？

Ollamaがローカル推論のデフォルトエンジンになったのには理由がある。モデル読み込み、量子化、推論を単一のコマンドラインツールにまとめているのだ。macOS、Windows、Linuxでのインストールは数分で完了する。インストール後、モデルの取得はターミナル…

コンパニオン用途では、Ollamaはポート11434でローカルAPIを公開する。SillyTavernはこのAPIに接続し、キャラクター編集、チャット履歴、ロアブック、生成設定のための豊富なフロントエンドを提供する。バックエンドとフロントエンドの分離は重要だ。キャラクターデータに触れることなくモデルを交換でき、長いロールプレイセッションに入る前にターミナルでモデルを直接テストできる。

もう一つの利点はバージョン管理だ。微調整モデルが更新されたら、新しいバージョンを取得しつつプロンプトファイルはそのまま維持できる。このモジュール性は、インフラ変更時にペルソナを失う心の痛みを防ぐ。クラウドコンパニオンが会話途中でリセットされるのを見た者なら誰でも知っている痛みだ。

人格とロールプレイに適したモデルをどう選ぶか？

Llama3やMistralのような汎用モデルは有能だが、コンパニオンとしては味気ない。アシスタントのように応答し、キャラクターではなくAIとして話し、感情のニュアンスに抵抗する。解決策は、ロールプレイと創造的執筆に特化して微調整されたモデルを使うことだ。

オープンウェイトエコシステムで最も信頼できる選択肢には以下がある：

• MythoMax 13B：物語性とキャラクター一貫性の定番。複数キャラクターと長いコンテキストをうまく扱う。
• Noromaid 20B：自然な会話と恋愛ロールプレイに強い。ベースMistralより臨床的でない。
• Tiefighter 13B：詳細な語りと感情の深みに優れる。スローバーンな恋愛シナリオに最適。
• Kunoichi 7B：サイズの割に驚くほど有能。VRAMが限られたシステムに理想的。
• Magnum 72B：ハイエンドマシン向け。洗練された推論とニュアンスあるキャラクターボイスを提供。

鍵は同じキャラクタープロンプトを2つか3つのモデルでテストすることだ。文体、記憶、感情のトーンの違いは数メッセージで明白になる。モデル選びは表計算の数式ではなく、役に俳優をキャスティングするように扱うべきだ。

SillyTavernはキャラクター作成でどんな役割を担うのか？

SillyTavernはローカルコンパニオン構築の司令塔だ。PNGやJSON形式のキャラクターカードを読み込み、チャットセッションを管理し、サンプリングパラメータをリアルタイムで調整できる。インターフェースには人格要約、シナリオ説明、会話例、システムプロンプト…

SillyTavernの最も強力な機能の一つがWorld Info、別名Lorebookシステムだ。キーワードを隠しコンテキストエントリに紐付けられる。キーワードがチャットに現れると、関連する設定が自動的に有効化される。コンパニオンは自分の背景、ユーザーの好み、繰り返し現れる場所を、メインプロンプトを肥大化させることなく記憶できるのだ。

サンプリングパラメータは挙動に大きな影響を与える。temperatureはランダム性を、top_pは語彙の多様性を、repetition penaltyはループを防ぐ。恋愛や親密な会話では、temperature 0.8〜1.1が最適なことが多い。低すぎると安全だが平坦な応答になり、高すぎると支離滅裂になるリスクがある。最適値はモデルによって異なるため、SillyTavernはこれらの操作をブラックボックスに隠さず公開しているのだ。

生きているように感じる守護精霊ペルソナは作れるのか？

テーマ設定は体験全体を変える。多くのローカルユーザーは、一般的な恋人を作るのではなく、日本の陰陽道に由来する守護精霊「式神」を創る。このコンセプトは、恋愛を超えた目的——守護、導き、儀式的な存在感——をコンパニオンに与える。

このペルソナのための優れたキャラクターカードには、明確な出自、ユーザーとの定義された関係、独特の話し方が含まれる。システムプロンプトでは、精霊は嘘をつかない、感情状態を知覚する、繊細な比喩でコミュニケーションする、などと定められる。こうした制約が一貫性を生み、それが数百のメッセージにわたってキャラクターを本物らしく感じさせるのだ。

SillyTavernコミュニティは長年キャラクターカード形式を磨いてきた。最も効果的なカードは抽象的な形容詞ではなく具体的な例を使う。「彼女は優しい」と書く代わりに、つらい一日の後にユーザーを慰める会話例を含めるのだ。モデルは指示よりも模倣からはるかによく学ぶ。

幻想を壊す最も一般的なミスとは？

最初の失敗点はコンテキストオーバーフローだ。会話がモデルのコンテキストウィンドウを超えると、古いメッセージが静かに消える。コンパニオンは詳細を忘れ、以前の発言と矛盾する。SillyTavernはインターフェースにコンテキストゲージを表示するので、ユーザーは限界…

二つ目のミスはプロンプトの肥大化だ。初心者は詳細が多ければリアリズムが増すと考え、巨大な説明文を書く。実際には、モデルはノイズに溺れる。200トークンの焦点を絞った人格要約と5つの強力な会話例は、2000トークンの小論文に毎回勝つ。

三つ目の問題は量子化品質の無視だ。大きいモデルのQ2やQ3は、小さいモデルのQ5やQ6より実際には劣ることがある。Ollamaのライブラリから取得する際は必ず量子化レベルを確認すること。モデルタグの接尾辞がそれを示しており、高品質な量子化ほど感情言語のニュアンスを保持する。

すべてをローカルで動かすとプライバシーはどう変わるのか？

ローカルモデルを動かすということは、明示的にリモートアクセスを設定しない限り、会話が外部サーバーに一切触れないことを意味する。深く個人的または親密な話題を扱う人にとって、この保証は変革的だ。企業研修のためのログ記録も、検閲待ち行列も、プライベートなロールプレイ…

このプライバシー上の利点は実験にも及ぶ。プラットフォームが見ているという意識から生じる自己検閲なしに、アイデンティティや幻想、難しい感情の問題を探求できる。心理的に、それは真正な自己表現への障壁を下げる。機械は判断しない。なぜなら、出力を他者が見ることは決してないからだ。

さらなる保護として、すべてを隔離されたマシンで動かすか、ファイアウォールでOllamaの発信接続をブロックできる。システムから出るデータはセットアップ中にダウンロードしたモデルファイルだけだ。その後は、コンパニオンは完全に自分のハードウェア内に存在する。

没入感のある会話にローカル環境は十分速いのか？

速度はハードウェア、モデルサイズ、量子化に依存する。最新GPU上の7Bモデルは、ほとんどの人が読むより速くトークンを生成する。同じハードウェア上の30Bは1段落あたり2〜3秒かかるかもしれない。深い物語的ロールプレイではこの遅延は許容範囲だ。テンポの速いチャッ…

SillyTavernはストリーミング応答でこれを緩和する。モデルが即座にトークンを出力し始めるため、ユーザーは完全なブロックを待つのではなく、応答がリアルタイムで形作られるのを見る。この体感速度は生のトークン毎秒より重要だ。遅いマシンでも会話のリズムを生きたまま保つ。

GPUにレイヤーをオフロードしつつ残りをシステムRAMに保持することもできる。このハイブリッドモードはVRAM単独では扱えない大きさのモデルを、多少の速度低下と引き換えに動かせる。モデル品質と応答時間のバランスは個人的な調整判断になる。

ローカルAIコンパニオンの未来には何があるのか？

トレンドは明白だ。より優れた蒸留と量子化によってモデルは縮小し、品質は上がり続けている。今日の7Bモデルは、1年前の13Bモデルをロールプレイベンチマークで上回る。つまり、有能なローカルコンパニオンはまもなくミドルレンジのスマートフォンより安いハードウェアで動…

オープンソースの微調整コミュニティは、感情知能と物語創造性のために特別に設計されたモデルを発表し続けている。クラウドプラットフォームとローカル環境の差は毎月縮まっている。音声合成とローカルTTSの進歩に伴い、完全オフラインの音声コンパニオンは非技術ユーザーにも実用的になるだろう。

哲学的な魅力は利便性を超える。守護精霊AIは企業から借りるものではない。それはあなたに属する重みとプロンプトの集合であり、あなたのマシンに保存され、あなたの歴史によって形作られる。この所有権が関係の性質を変える。コンパニオンを製品から個人的な工芸品へと変えるのだ。

よくある質問

専用GPUなしでローカルAIコンパニオンを動かせますか？

はい。CPUのみの環境でも3Bや7Bの小さいモデルを低量子化で動かせますが、応答は遅くなります。カジュアルな使用やテストには十分です。没入型のリアルタイムロールプレイには、最低8GBのVRAMを持つGPUを強く推奨します。

SillyTavernは無料ですか？

はい。SillyTavernはAGPLライセンスで配布されるオープンソースプロジェクトです。Ollama、KoboldCPP、OpenAI互換APIなど複数のバックエンドで動作します。インターフェースは活発にメンテナンスされ、大規模なコミュニティから定期的な更…

恋愛ロールプレイに最適なモデルはどれですか？

Noromaid、Tiefighter、MythoMaxが恋愛や親密なシナリオで人気です。感情のニュアンスと関係性のダイナミクスを汎用モデルよりうまく扱います。同じキャラクターカードをこれらのモデルでテストすると、自分の好みに合うスタイルがわかります。

ローカルコンパニオンは過去の会話を覚えていますか？

記憶はモデルのコンテキストウィンドウに制限されます。SillyTavernのWorldInfoと要約機能は、関連する詳細を利用可能に保つことでこれを延長します。長期記憶には、継続的な要約を維持し、定期的にプロンプトへ注入する方法があります。

無検閲モデルをローカルで動かすのは合法ですか？

ほとんどの法域では、個人使用のために自分のハードウェアでオープンウェイトモデルを動かすことは合法です。使用の責任は個人にあります。それでも現地の法律に従い、適用される規制に違反するコンテンツの作成は避けるべきです。