コンテンツにスキップ

テキスト評価 (Evaluate Text Result)

Evaluate Text Result ノードを使用すると、Griptape の評価エンジン (Eval Engine) を用いて、特定の評価基準に基づいてテキスト出力を評価できます。このノードは、AI が生成したコンテンツの検証、事実としての正確性のチェック、または出力品質の査定に役立ちます。

入力 (Inputs)

  • Examples（プロパティ）: プリセットの例から選択するか、独自の評価設定を作成します
    • 選択肢:
      • Choose a preset.. (プリセットを選択)
      • Paraphrase (言い換え)
      • Factual (事実性)
      • Analogy (類推)
  • Input（入力ピン / プロパティ）: 評価対象となる入力テキスト
    • 複数行テキスト入力に対応
  • Expected Output（入力ピン / プロパティ）: 期待される正解または参照テキスト
    • 単一行テキスト入力
  • Actual Output（入力ピン / プロパティ）: 実際に生成され評価される出力テキスト
    • 単一行テキスト入力
  • Criteria（入力ピン / プロパティ）: 適用する評価基準
    • 複数行テキスト入力に対応
    • 例: "Does the output accurately paraphrase the input without losing meaning?（出力は意味を損なうことなく入力を正確に言い換えていますか？）"

出力 (Outputs)

  • Score（出力）: 評価スコアを表す 0 から 1 までの浮動小数点数値
    • 1.0 は完全な一致または基準達成を示します
    • 0.0 は完全な不一致を示します
  • Reason（出力）: 評価結果の詳細な理由・根拠
    • そのスコアが付与された理由のフィードバックを提供
    • 検出された齟齬や問題点を説明

使用例 (Example Usage)

言い換えの評価 (Paraphrase Evaluation)

Input: "The quick brown fox jumps over the lazy dog."
Expected Output: "A swift brown fox leaps above a sleeping dog."
Actual Output: "A fast fox jumps over a dog that's not awake."
Criteria: "Does the output accurately paraphrase the input without losing meaning?"

事実性の評価 (Factual Evaluation)

Input: "The capital of France is Paris."
Expected Output: "Paris is the capital city of France."
Actual Output: "France's capital is Paris."
Criteria: "Is the output factually correct based on the input?"

類推の評価 (Analogy Evaluation)

Input: "A bird is to sky as a fish is to ______."
Expected Output: "water"
Actual Output: "concrete"
Criteria: "Does the output correctly complete the analogy?"

補足事項 (Notes)

  • このノードは評価の実行に Griptape の Eval Engine を使用します
  • 評価は指定された評価基準（Criteria）に基づいて実施されます
  • スコアは 0 から 1 の範囲に正規化されます
  • 理由は評価に関する詳細な定性フィードバックを提供します
  • プリセットのサンプルを利用することも、完全にカスタムな評価基準を定義することも可能です