Skip to content

LLM-DeskAI は、完全オフラインで動作するLLM搭載のデスクトップAIチャットアプリを目指しています。

Notifications You must be signed in to change notification settings

kaminuma/LLM-DeskAI

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

LLM-DeskAI

LLM-DeskAI は、完全オフラインで動作するローカル LLM 搭載のデスクトップAIチャットアプリ(開発中・実装予定)です。
ユーザー自身が学習データのセーブ・ロード・リセット機能を備えたパーソナライズ可能なAIアシスタントを目指しています。


🎯 なぜこのプロジェクトを開発したのか?

近年の生成 AI の発展により、多くの LLM(大規模言語モデル)がクラウドベースで提供されています。
しかし、これには 「データプライバシーのリスク」「インターネット環境への依存」「API コスト」 などの課題が考えられます。

LLM-DeskAI は、
完全オフラインで利用可能な AI アシスタント を目指し、
ユーザー自身が学習データをカスタマイズできる柔軟性 を持ち、
プライバシーを最大限に確保した環境 で AI を活用できることを目的としています。

これにより、個人の好みや用途に応じたカスタマイズができ、
「自分だけの AI アシスタント」 を作成できるのではと考えています。


🏆 なぜ RakutenAI-2.0-mini-instruct なのか?

このプロジェクトでは、日本語対応が強化された RakutenAI-2.0-mini-instruct を採用しています。

  • 🔹 日本語特化:楽天の研究チームが開発した LLM で、日本語の指示追従性能が高いとされています。
  • 🔹 Mixture of Experts (MoE) 採用:モデルの一部のみを活性化するため、高速かつ効率的な動作が期待できる。
  • 🔹 ファインチューニング済み:指示に基づいた適切な応答が得られやすく、チャット AI 向けに最適化されている。

このモデルは 完全オフラインで利用可能 でありながら、日本語での対話能力が高いため、
ローカル AI アシスタントとして適しているのではと考えています。


🚀 特徴

完全オフライン動作:インターネット不要、セキュアなローカル環境で動作
パーソナライズ学習:ユーザー自身が応答をカスタマイズし、好みに合わせて学習可能
セーブ&ロード機能:学習データをエクスポートし、後から復元
リセット機能:AI の学習データを初期化し、ゼロから再スタート可能
モダンな UI:PyQt6 を使用した、視認性の高いダークテーマのインターフェース
軽量でカスタマイズ可能:モデル変更や設定の自由度が高い


🔧 インストール & セットアップ

1️⃣ 必要なライブラリをインストール

pip install -r requirements.txt

2️⃣ モデルを Hugging Face からダウンロード

事前に models/ ディレクトリを作成し、以下のコマンドでモデルをダウンロードしてください。

huggingface-cli download Rakuten/RakutenAI-2.0-mini-instruct --local-dir models/RakutenAI-2.0-mini-instruct --resume-download

📌 models/RakutenAI-2.0-mini-instruct/ にモデルが正しく保存されていることを確認してください。

python main.py

📖 使い方

💬 基本的なチャット機能

  • テキストを入力し「送信」ボタンを押すと、AI が応答します。
  • Enter キー でも送信が可能です。

🔄 カスタム学習機能(実装予定)

  • 「カスタム応答の追加」:特定の質問に対して、ユーザーが好きな応答を登録できます。
  • 「テキスト学習」:メモや文章を取り込ませて、知識を増やすことができます。

💾 **学習データの管理 (実装予定) **

  • 「セーブ」:現在の学習データをファイルにエクスポート
  • 「ロード」:保存済みの学習データを復元
  • 「リセット」:すべての学習データを削除し、初期状態に戻す

⚙️ 設定(config.py)

config.py で以下の設定が可能です。

MODEL_PATH = "models/RakutenAI-2.0-mini-instruct"  # モデルディレクトリ
DB_PATH = "data/chat_logs.db"                     # SQLiteデータベースのパス
SAVE_PATH = "saves/learning_data.json"            # 学習データのエクスポート先

💻 動作環境・推奨スペック

LLM-DeskAI は ローカル環境で LLM を実行する ため、一定の計算リソースが必要です。
ただし、「RakutenAI-2.0-mini-instruct」 を使用する場合は、比較的軽量な環境でも動作可能です。


最低動作環境(エントリーレベル)

  • OS: Windows 10 / 11, macOS, Linux
  • CPU: Intel Core i5-6xxx / Ryzen 5 2xxx 以上
  • RAM: 16GB 以上(最低 12GB で動作可能だが非推奨)
  • GPU: VRAM 4GB 以上(例: GTX 1650, RTX 3050 など)
  • ストレージ: 10GB 以上の空き容量(モデルファイル含む)

🚀 推奨環境(快適に動作)

  • CPU: Intel Core i7-9xxx / Ryzen 7 3xxx 以上
  • RAM: 24GB 以上
  • GPU: VRAM 6GB 以上(例: RTX 2060 SUPER, RTX 3060 12GB, RTX 4060 など)
  • ストレージ: NVMe SSD 20GB 以上の空き容量

⚠️ 注意事項

  • VRAM 4GB でも動作可能ですが、VRAM 6GB 以上の GPU を推奨(RTX 2060 SUPER クラス)
  • CPU だけでも実行は可能だが、非常に遅くなるため非推奨
  • Windows 環境では NVIDIA CUDA(torch.cuda.is_available()True)での動作を推奨
  • Mac は mps、Linux は ROCm での動作が可能(ただし速度は低下)

About

LLM-DeskAI は、完全オフラインで動作するLLM搭載のデスクトップAIチャットアプリを目指しています。

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages