Skip to content

アプリケーション内で をクリックすると、お使いのDataRobotバージョンに関する全プラットフォームドキュメントにアクセスできます。

法務やコンプライアンスに関する回答を生成

概要

特性
導入のしやすさ
インパクト
インパクトのタイプ 効率化/最適化
主なユーザー 内部
タイプ RAG
予測AIを含む いいえ

説明

法務やコンプライアンスほど大量の文書を必要とするプロセスはありません。 法律や政策に関する込み入った問題に対して答えを見つけるには、難解で複雑な文書をくまなく調べることに多くの時間を費やすことになります。 ここで少しでも不確定要素があると、業務やビジネスプロセスが止まってしまう可能性があります。 この種の作業には高賃金の専門家が必要であり、そうしたプロセスは彼らの貴重な時間の多くを占めるため、さらにコストがかさみます。

生成AIは、法務やコンプライアンスの専門家が必要とする正確なコンテキストで、文書を精査し、差し迫った問題に対する回答を見つけるという、この課題に対処できます。 これらの関連する情報チャンクを取得したら、生成AIは、ユーザーが意思決定に利用できるわかりやすい回答を構築して提供します。 この自動化のもう1つの利点は、LLMがそれらの文書からさらなるインサイトを発見できるということです。それは、文書を 「ひたすら読む」だけでは見逃してしまうようなことです。

仕組み

このプロセスでは、法務やコンプライアンスに関する文書をベクターデータベースに入力し、それをLLMが利用して、チャットボット形式でユーザーに情報を提供します。 たいていの組織は、Microsoft SharePointのような場所にすでに法的文書を保管しており、それを情報源として利用できます。 このプロセスで重要なのは、「法律用語」という特殊な性質を考慮し、LLMとベクターデータベースのすべてのパラメーターを、デプロイ前に徹底的にテストすることです。チャンキングやエンベッディングの戦略などは、厳密に確認する必要があります。

多くのRAG案件では、API経由で呼び出され、一般に公開されている標準LLMで問題ありません。 しかし、法務およびコンプライアンス目的の情報は非常に機密性が高い場合があるため、ローカルでホストされるオープンソースLLMの方が、より安全で優れた選択肢となります。

ワークフロー全体は、出力を監視し、各回答の信頼性スコアを提供するように設計された予測AIガードモデルの恩恵を受けると同時に、不要なハルシネーション出力をブロックします。 信頼性スコアが低いほど、ユーザーは回答に注意を払う必要があります。 ユーザーは回答を評価したり、編集したりすることもでき、それらは後で参照するために元のベクターデータベースに送り返すことができます。

ユーザーエクスペリエンス

このソリューションの展開には複数の方法がありますが、最も一般的なのは、Microsoft Teamsのような標準的な企業コミュニケーション環境にチャットボットを直接実装する方法です。

ベクターデータベースには、すでに必要な法的文書がほとんど保存されているので、ユーザーはチャットウィンドウを開き、質問を開始します。 たとえば 「EUのAI法における責任規定はどうなっていますか?」、「{insert_state}の控訴裁判所で民事控訴を申し立てる際の規定はどうなっていますか?」など。

これをシームレスに機能させるには、内部データパイプラインを追加構築して、新しい文書をデータベースに迅速に追加できるようにします。 たとえば、自動化ソリューションによって、法的ファイルの場所をスキャンし、新しいファイルをベクターデータベースに自動的に追加します。

回答は、指定したシステムプロンプトの設定(形式、長さなど)に従って返されます。 ここでの出力に追加される重要な点は、参照先の特定のソースドキュメントにリンクするよう、モデルに対して自動的に求めることです。 これにより、信頼性が高まり、ユーザーレビュープロセスがさらに効率化されます。

ビジネスに役立つ理由

組織は、膨大な情報ライブラリを検索するために、多くのリソースを費やしたり、さらには高い時給を支払って法務およびコンプライアンスの専門家を呼んだりしています。 生成AIチャットボットは、関連情報を見つけるのに必要な時間と労力を大幅に削減し、コストカットを実現すると同時に、その専門家をより重要な作業に集中させることができます。

また、このアプローチにより、情報が見落とされるリスクが減り、最も差し迫った法務やコンプライアンスに関する問題に対して、より迅速かつ包括的な回答が得られます。

潜在的なリスク

処理および出力される情報の機密性を考えると、このソリューションには多くのリスクが伴います。

  • 不正確な回答や的外れな回答(ハルシネーション)、有害な回答、他のステークホルダーが入手すべきでない機密情報を漏らすような出力。

  • システムプロンプトがファインチューニングされていないと、回答が従来とは異なる表現や構造になることがあり、ユーザーを満足させることができません。その結果、手作業による編集や、直接的かつ損失が大きそうなミスが数多く発生する可能性があります。

ベースライン緩和の戦術

  • 適切な回答であるように、毒性、読みやすさ(Flesch Readingスコア)、有用な回答/有用でない回答を監視するカスタム指標。 これは、ソリューションの財務的な実行可能性を確保するためのトークン/コスト監視のような、運用上のカスタム指標も該当します。

  • 回答パラメーターに基づいて、不要な生成AIの出力を防止したり、不正確な可能性のある回答がユーザーに出力されないようにするガードモデル。 法律用語が含まれる場合、正確さが最も重要であり、ガードモデルはそれを保証できます。 これは、ユーザーにツールを適切に利用してもらうためにも重要です。ガードレールを設置することで、ユーザーが無関係なプロンプトを送信し、ソリューションのコストが膨れ上がるのを防ぐことができます。

  • ユーザーが生成された回答を評価し、必要に応じて編集できるフィードバックループ。 編集されたバージョンはベクターデータベースに追加され、今後の回答に反映されるため、時間の経過とともにシステムが改善されます。

  • 回答が最小限の監視で済み、法務やコンプライアンスの基準を誤って伝える回答にならないように、LLMとそのパラメーター(システムプロンプトやベクターデータベースなど)を徹底的にテストします。


更新しました September 7, 2024