LLM-DeskAI は、完全オフラインで動作するローカル LLM 搭載のデスクトップAIチャットアプリ(開発中・実装予定)です。
ユーザー自身が学習データのセーブ・ロード・リセット機能を備えたパーソナライズ可能なAIアシスタントを目指しています。
近年の生成 AI の発展により、多くの LLM(大規模言語モデル)がクラウドベースで提供されています。
しかし、これには 「データプライバシーのリスク」「インターネット環境への依存」「API コスト」 などの課題が考えられます。
LLM-DeskAI は、
✅ 完全オフラインで利用可能な AI アシスタント を目指し、
✅ ユーザー自身が学習データをカスタマイズできる柔軟性 を持ち、
✅ プライバシーを最大限に確保した環境 で AI を活用できることを目的としています。
これにより、個人の好みや用途に応じたカスタマイズができ、
「自分だけの AI アシスタント」 を作成できるのではと考えています。
このプロジェクトでは、日本語対応が強化された RakutenAI-2.0-mini-instruct を採用しています。
- 🔹 日本語特化:楽天の研究チームが開発した LLM で、日本語の指示追従性能が高いとされています。
- 🔹 Mixture of Experts (MoE) 採用:モデルの一部のみを活性化するため、高速かつ効率的な動作が期待できる。
- 🔹 ファインチューニング済み:指示に基づいた適切な応答が得られやすく、チャット AI 向けに最適化されている。
このモデルは 完全オフラインで利用可能 でありながら、日本語での対話能力が高いため、
ローカル AI アシスタントとして適しているのではと考えています。
✅ 完全オフライン動作:インターネット不要、セキュアなローカル環境で動作
✅ パーソナライズ学習:ユーザー自身が応答をカスタマイズし、好みに合わせて学習可能
✅ セーブ&ロード機能:学習データをエクスポートし、後から復元
✅ リセット機能:AI の学習データを初期化し、ゼロから再スタート可能
✅ モダンな UI:PyQt6 を使用した、視認性の高いダークテーマのインターフェース
✅ 軽量でカスタマイズ可能:モデル変更や設定の自由度が高い
pip install -r requirements.txt
事前に models/ ディレクトリを作成し、以下のコマンドでモデルをダウンロードしてください。
huggingface-cli download Rakuten/RakutenAI-2.0-mini-instruct --local-dir models/RakutenAI-2.0-mini-instruct --resume-download
📌 models/RakutenAI-2.0-mini-instruct/ にモデルが正しく保存されていることを確認してください。
python main.py
- テキストを入力し「送信」ボタンを押すと、AI が応答します。
- Enter キー でも送信が可能です。
- 「カスタム応答の追加」:特定の質問に対して、ユーザーが好きな応答を登録できます。
- 「テキスト学習」:メモや文章を取り込ませて、知識を増やすことができます。
- 「セーブ」:現在の学習データをファイルにエクスポート
- 「ロード」:保存済みの学習データを復元
- 「リセット」:すべての学習データを削除し、初期状態に戻す
config.py
で以下の設定が可能です。
MODEL_PATH = "models/RakutenAI-2.0-mini-instruct" # モデルディレクトリ
DB_PATH = "data/chat_logs.db" # SQLiteデータベースのパス
SAVE_PATH = "saves/learning_data.json" # 学習データのエクスポート先
LLM-DeskAI は ローカル環境で LLM を実行する ため、一定の計算リソースが必要です。
ただし、「RakutenAI-2.0-mini-instruct」 を使用する場合は、比較的軽量な環境でも動作可能です。
- OS: Windows 10 / 11, macOS, Linux
- CPU: Intel Core i5-6xxx / Ryzen 5 2xxx 以上
- RAM: 16GB 以上(最低 12GB で動作可能だが非推奨)
- GPU: VRAM 4GB 以上(例: GTX 1650, RTX 3050 など)
- ストレージ: 10GB 以上の空き容量(モデルファイル含む)
- CPU: Intel Core i7-9xxx / Ryzen 7 3xxx 以上
- RAM: 24GB 以上
- GPU: VRAM 6GB 以上(例: RTX 2060 SUPER, RTX 3060 12GB, RTX 4060 など)
- ストレージ: NVMe SSD 20GB 以上の空き容量
- VRAM 4GB でも動作可能ですが、VRAM 6GB 以上の GPU を推奨(RTX 2060 SUPER クラス)
- CPU だけでも実行は可能だが、非常に遅くなるため非推奨
- Windows 環境では NVIDIA CUDA(
torch.cuda.is_available()
がTrue
)での動作を推奨 - Mac は
mps
、Linux はROCm
での動作が可能(ただし速度は低下)