個人制作プロジェクト詳細

2025/04/29

← サイトトップへ戻る

omniparser-autogui-mcp(自動GUI操作)

概要

Microsoft OmniParserを活用してコンピュータ画面を解析し、GUIを自動で操作するためのModel Context Protocol (MCP) サーバーです。

主な機能

  • OmniParserによる画面の自動解析と要素の構造化
  • AIシステムと連携したGUI自動操作
  • 複数の設定オプションでカスタマイズ可能(対象ウィンドウ指定、サーバー設定など)

技術的特徴

  • Microsoft OmniParserとの連携による高度な画面認識能力
  • MCP標準に準拠した実装で様々なAIシステムとの連携が可能

GitHub リポジトリ

chara-searcher(キャラクター画像検索ツール)

概要

画像やタグを使ってキャラクター画像の検索を行うための総合的なツールです。複数の画像や動画からキャラクターを自動で抽出し、背景を除去した上で検索可能なデータベースを構築します。

主な機能

  • 画像・動画からのキャラクター自動抽出(背景除去機能付き)
  • 類似画像検索とタグベース検索の両方に対応
  • 検索結果の一括エクスポート(Stable DiffusionのLora学習などに直接利用可能)

技術的特徴

  • タグベースと画像ベースの複合検索システム

GitHub リポジトリ

mascotgirl(キャラクター会話システム)

概要

好きなキャラクターと会話するためのプログラムです。キャラクターの立ち絵とボイスを組み合わせ、実際にそのキャラクターと会話しているような体験を提供します。

主な機能

  • OpenAI APIを活用したキャラクターベースの会話生成
  • Style-Bert-VITS2による高品質な音声合成
  • talking-head-anime-3-demoによるリアルな口パク表現
  • Windows PCとAndroidデバイスに対応

技術的特徴

  • キャラクター固有の設定をカスタマイズ可能
  • LLMと音声合成による擬似的なインタラクション

GitHub(ver2) / GitHub(ver1)

sd-webui-chatgpt(Stable Diffusion Web UI用LLM(会話型AI)連携)

概要

Stable Diffusion web UIでOpenAI API(ChatGPT互換)やllama.cppを使って会話し、自然言語による画像生成を可能にする拡張機能です。「画像を生成して」などの簡単な指示でプロンプトを自動生成し、画像を作成できます。

主な機能

  • 自然言語での対話による画像生成指示
  • 自動プロンプト生成
  • 複数のAIバックエンド対応(OpenAI API、llama.cppなど)
  • Stable Diffusion Web UIへの統合

技術的特徴

  • LLMとStable Diffusionの橋渡しとなるプロンプトエンジニアリング
  • Web UI拡張としての実装
  • 複数のAIモデル間連携アーキテクチャ

GitHub リポジトリ

FFmpeg for Unity(Unity用FFmpeg統合)

概要

UnityのエディタやアプリケーションでFFmpegを使用するためのアセットです。動画処理や音声処理などFFmpegの多様な機能をUnity環境で活用できます。

主な機能

  • Unityプロジェクト内でのFFmpeg機能の活用
  • クロスプラットフォーム対応

技術的特徴

  • FFmpegライブラリのUnityへの統合
  • 様々なコーデックと形式のサポート

詳細ドキュメント

HandMR(MR/VR向けハンドトラッキング)

概要

MR/VR環境でのハンドトラッキングを実現するUnityアセットです。ARCore(Android)およびARKit(iOS)対応で、手の動きを認識して仮想オブジェクトとのインタラクションを可能にします。

主な機能

  • カメラを使用したリアルタイムハンドトラッキング
  • MR/VR環境でのハンドジェスチャー認識
  • ARCoreおよびARKit対応のクロスプラットフォーム実装

技術的特徴

  • MediaPipeを活用したハンドトラッキング
  • OpenCVを活用した画像処理

GitHub リポジトリ