Diffusers ライブラリ (Diffusers Library)

モジュール化された 🧨 Diffusers パイプラインを使用して、柔軟なメディア生成ワークフローを構築します。

Diffusers Library は、ディフュージョンの実行プロセスをより詳細に制御したいクリエイター向けに設計されています。固定されたブラックボックス型の「画像生成」ステップを実行する代わりに、拡散プロセスを個別の接続可能なステージに分割できるため、パイプラインの各パートを検査、再利用、カスタマイズできます。

実験的機能 — 活発に開発中 (Experimental — under active development)

API、ノードインターフェース、ワークフローテンプレート、およびライブラリ構造は、事前の通知や移行サポートなしに随時変更される可能性があります。安定性が必要な場合は特定のコミットに固定（Pin）して利用してください。アップデート時には仕様変更が発生する場合があります。

• リポジトリ: griptape-ai/griptape-nodes-library-diffusers
• 要件: GPU 対応環境（CUDA または MPS）
• ノードカテゴリ: ノードピッカー内の ModularDiffusion/…

インストール (Installation)

エディタで 管理 (Manage) → ライブラリ管理 (Library Management) を開き、ライブラリの追加 (Add Library) をクリックして以下を貼り付けます：

https://github.com/griptape-ai/griptape-nodes-library-diffusers

モーダルの 詳細オプション (Advanced Options) を使用して、ブランチ、タグ、またはコミットを固定できます。または、CLI から実行します：

gtn libraries download https://github.com/griptape-ai/griptape-nodes-library-diffusers

一般的なインストール、アップデート、トラブルシューティングの手順については、ライブラリガイド (Libraries guide) を参照してください。

モデルのダウンロード (Model downloads)

すべてのモデルは、初回使用時に Hugging Face のローカルキャッシュへ自動ダウンロードされます（デフォルト: Linux/macOS では ~/.cache/huggingface/hub、Windows では %USERPROFILE%\.cache\huggingface\hub）。別の場所に保存したい場合は、エンジンを起動する前に環境変数 HF_HOME を設定してください。アカウントおよびトークンの設定手順については、Hugging Face Models を参照してください。

動作の仕組み (How it works)

一般的なフローは以下のようになります：

1. Pipeline Builder で パイプラインを 1 回構築 し、複数の生成処理で再利用します。
2. 潜在変数（Latents）を作成または読み込み します（ノイズ、空の潜在変数、エンコードされた画像/動画、保存されたテンソルなど）。
3. Generate Media Latents で ディフュージョンを実行 して新しい潜在変数を生成します（マルチステージや再拡散ワークフローでは必要に応じて複数回実行可能）。
4. ステージ間で、算術演算、マスク合成、またはアップサンプリングを用いて 潜在変数を変換 します。
5. Decode Media Latent を使用して、最終的な潜在変数を画像や動画に デコード します。

各ステージが独立したノードになっているため、ステップの分岐、チェーン、並べ替えが自由に行えます。これにより、単一のエンドツーエンド生成ノードでは実現できなかったマルチステージリファインメント（段階的精緻化）、ControlNet のスタック、潜在変数の合成、最初/最後のフレームによる動画条件付け、潜在変数アップスケーリングなどが可能になります。

サポートされているモデル (Supported models)

モデルは Pipeline Builder の provider ドロップダウンから選択します。現在サポートされているモデルは以下の通りです：

• Flux および Flux2（Flux2-Klein を含む）
• Stable Diffusion XL
• Qwen-Image（および Qwen-Edit）
• Z-Image
• LTX（動画）
• LTX-2.x（テキスト/画像/動画から動画への変換、画像および動画の条件付け、IC-LoRA、リニア HDR 出力用の HDR IC-LoRA をサポート）
• WAN（Text-to-Video および Image-to-Video）

モデルは Diffusers 形式で Hugging Face リポジトリから読み込まれます（単一ファイルの .safetensors チェックポイントは直接読み込まれません。Hugging Face リポジトリ ID を指定してください）。ビルダーを介してパイプラインに複数の LoRA をアタッチすることも可能です。

ノードリファレンス (Node reference)

ノードグループは、ノードピッカー内のカテゴリに対応しています。

Pipeline

• Modular Diffusion Pipeline Builder
• ControlNet Pipeline
• Load LoRA
• LoRA Pipeline

Create

• Create Noise Latents
• Create Empty Latents

Processing

• Generate Media Latents
• Latent Upsampler

Transform

• Add Latents
• Subtract Latents
• Multiply Latents
• Latents Composite Mask

Conditioning

• Configure ControlNet
• Media Generation Conditioning

Encode / Decode

• Encode Media Latent
• Encode Masked Media Latent
• Decode Media Latent
• Decode HDR Latents

IO

• Save Latent Tensor

ライブプレビュー (Live previews)

生成中に中間デコード画像をストリーミング表示するライブ画像プレビューを有効化できます。長時間の生成プロセスをリアルタイムで監視するのに便利です（推論速度は若干低下します）。

1. エディタで 設定 (Settings) → ライブラリ設定 (Library Settings) を開きます。
2. Modular Diffusion Library セクションまでスクロールします。
3. Enable Image Preview Intermediates を有効（ON）に切り替えます。

パフォーマンスとメモリ (Performance and memory)

Pipeline Builder は、読み込まれたパイプラインをメモリ内にキャッシュして実行間で再利用し、設定が変更された場合のみ再構築を行います。

VRAM が少ない環境向けに、ビルダーには メモリ最適化戦略 (Memory Optimization Strategy) の選択肢が用意されています：

• Automatic: 選択したモデルに応じて適切なデフォルト値を自動選択します。
• Manual: 各項目を手動で個別に調整します：
  • Quantization mode: fp8、int8、または int4（optimum-quanto / bitsandbytes 経由）— 多少の画質低下と引き換えに Transformer の重みを削減します。
  • CPU offload strategy: Model（サブモジュール全体）または Sequential（レイヤーごと）— アイドル時に重みを CPU に移動して VRAM を解放します（推論速度は低下します）。
  • Attention slicing: Attention 演算をより小さなチャンクで実行します。推論速度の低下はごくわずかで、効率的にメモリを節約できます。
  • VAE slicing: 潜在変数をバッチサイズ 1 ずつデコードします。大きなバッチサイズを扱う際に効果的です。
  • Transformer layerwise casting: Transformer を低精度で保持し、計算時にレイヤーごとにアップキャストします。

必要な項目のみを有効にしてください。いずれのオプションも速度とメモリ消費のトレードオフとなります。Pipeline Builder の各パラメータのヘルプバッジに詳細が記載されています。

Advanced Media Library と併用する場合の注意 (Using alongside the Advanced Media Library)

Diffusers Library と Advanced Media Library は、いくつかの共通のアップストリーム依存関係（diffusers、transformers、torch など）を共有しており、それぞれがメモリ内に独自のパイプラインキャッシュを保持します。同一セッション内で両方のライブラリをロードして使用すると、重複するモデルの重みが VRAM/RAM 上に二重でロードされ、メモリ不足（Out of Memory）エラーが発生する原因となります。1 回のセッションではどちらか一方のライブラリのみを使用するか、上記の最適化ノブを用いてメモリ負荷を軽減してください。

付属のワークフローテンプレート (Workflow templates included)

• Text2Image
• MultistageText2Image
• LoRAText2Image
• ControlnetText2Image
• Image2Image
• FirstAndLastFrameImage2Video
• LTX23-HDR-Text2Video-Upsample-Two-Stage

サポート (Support)

バグの報告や機能リクエストについては、Issue を作成 してください。