「新しいLLMが出たけど、法務文書の処理精度はどれくらいだろう…」
「複数のLLMの性能を比較したいけど、手作業での検証は膨大な時間がかかってしまう…」
このように、法務業務に最適なLLMを選定するためのベンチマークテストに、多大な工数がかかっていませんか?
もし、Google スプレッドシートにまとめた法務文書データと評価基準を基に、LLMのパフォーマンスを自動でテストし、結果を記録・比較できる仕組みがあれば、これらの悩みから解放され、客観的データに基づいたスピーディーな意思決定によって、法務業務のDXをさらに加速させることができるはず!
今回ご紹介する自動化は、ノーコードで簡単に設定できて、手間や時間もかからないので、ぜひ自動化を導入して作業をもっと楽にしましょう!
とにかく早く試したい方へ
Yoomには法務文書に対するLLMのパフォーマンスをベンチマークする業務フロー自動化のテンプレートが用意されているので、「まずは試してみたい!」という方は、以下のバナーをクリックして、すぐに自動化を体験してみましょう!
Google スプレッドシートの情報をもとに、OpenAIで法務文書のLLMパフォーマンスをベンチマークする
試してみる
■概要
法務文書に対するLLMの性能検証は重要ですが、一つひとつの情報を転記して結果を回収する作業には時間がかかります。このワークフローは、Google スプレッドシートにまとめたテストデータやプロンプトをもとに、OpenAIの回答生成を自動化します。生成された回答は元のシートに直接書き込まれるため、モデルごとの特性や精度の違いを効率的に比較できる環境を構築できます。
■このテンプレートをおすすめする方
- 法務文書に対するLLMの回答精度を、実際のデータを用いて検証したい方
- 複数のプロンプト案やモデルによる出力結果を、効率的に一覧化したい方
- Google スプレッドシートとOpenAIを用いた入出力作業を手作業で行っている方
■このテンプレートを使うメリット
- Google スプレッドシートの情報をもとにLLMの処理が自動実行されるため、大量のテストデータに対しても一括で回答を得ることができます
- すべての回答が同一のシートに記録されるため、モデル間の比較やプロンプトの調整による変化を確認しやすくなります
■フローボットの流れ
- はじめに、Google スプレッドシートとOpenAIをYoomと連携します
- 次に、トリガーで「手動で実行」を設定し、任意のタイミングでフローを起動できるようにします
- 次に、オペレーションでGoogle スプレッドシートの「複数のレコードを取得する」アクションを設定し、テスト用のデータを取得します
- 繰り返し処理(ループ)機能を追加し、取得したデータ1件ずつに対して後続の処理を繰り返すように設定します
- ループ内で、OpenAIの「テキストの生成(Chat completion)」アクションを設定し、Google スプレッドシートの情報をもとにしたプロンプトを送信します
- 最後に、Google スプレッドシートの「レコードを更新する」アクションを設定し、OpenAIから得られた生成結果を元のシートに書き込みます
※「トリガー」:フロー起動のきっかけとなるアクション、「オペレーション」:トリガー起動後、フロー内で処理を行うアクション
■このワークフローのカスタムポイント
- Google スプレッドシートの各アクションでは、使用する任意のスプレッドシートIDやシート名、データを取得・更新する範囲などを設定してください
- ループ機能では、前段のGoogle スプレッドシートで取得した情報を繰り返し処理の対象として設定します
- OpenAIのアクションでは、使用するモデルやプロンプト内容を自由に設定できます。Google スプレッドシートから取得した値を組み込んで、動的なプロンプトを作成することが可能です
■注意事項
- Google スプレッドシート、OpenAIのそれぞれとYoomを連携してください。
- トリガーは5分、10分、15分、30分、60分の間隔で起動間隔を選択できます。
- プランによって最短の起動間隔が異なりますので、ご注意ください。
- ChatGPT(OpenAI)のアクションを実行するには、OpenAIのAPI有料プランの契約が必要です。(APIが使用されたときに支払いができる状態)
- ChatGPTのAPI利用はOpenAI社が有料で提供しており、API疎通時のトークンにより従量課金される仕組みとなっています。そのため、API使用時にお支払いが行える状況でない場合エラーが発生しますのでご注意ください。
- 「同じ処理を繰り返す」オペレーション間の操作は、チームプラン・サクセスプランでのみご利用いただける機能となっております。フリープラン・ミニプランの場合は設定しているフローボットのオペレーションやデータコネクトはエラーとなりますので、ご注意ください。
- チームプランやサクセスプランなどの有料プランは、2週間の無料トライアルを行うことが可能です。無料トライアル中には制限対象のアプリや機能(オペレーション)を使用することができます。
法務文書のLLMパフォーマンスをベンチマークするフローを作ってみよう
それではここから代表的な例として、Google スプレッドシートの情報をもとに、OpenAIで法務文書のLLMパフォーマンスをベンチマークするフローを解説していきます!
ここではYoomを使用してノーコードで設定をしていくので、もしまだYoomのアカウントをお持ちでない場合は、下の無料登録フォームからアカウントを発行しておきましょう。
30秒で簡単登録!無料で始める
※今回連携するアプリの公式サイト:OpenAI/Google スプレッドシート
[Yoomとは]
フローの作成方法
今回は大きく分けて以下のプロセスで作成します。
- OpenAIとGoogle スプレッドシートをマイアプリに連携する
- テンプレートをコピーする
- OpenAI・同じ処理を繰り返す・Google スプレッドシートのアクション設定
- トリガーをONに設定しフロー稼働の準備完了
Google スプレッドシートの情報をもとに、OpenAIで法務文書のLLMパフォーマンスをベンチマークする
試してみる
■概要
法務文書に対するLLMの性能検証は重要ですが、一つひとつの情報を転記して結果を回収する作業には時間がかかります。このワークフローは、Google スプレッドシートにまとめたテストデータやプロンプトをもとに、OpenAIの回答生成を自動化します。生成された回答は元のシートに直接書き込まれるため、モデルごとの特性や精度の違いを効率的に比較できる環境を構築できます。
■このテンプレートをおすすめする方
- 法務文書に対するLLMの回答精度を、実際のデータを用いて検証したい方
- 複数のプロンプト案やモデルによる出力結果を、効率的に一覧化したい方
- Google スプレッドシートとOpenAIを用いた入出力作業を手作業で行っている方
■このテンプレートを使うメリット
- Google スプレッドシートの情報をもとにLLMの処理が自動実行されるため、大量のテストデータに対しても一括で回答を得ることができます
- すべての回答が同一のシートに記録されるため、モデル間の比較やプロンプトの調整による変化を確認しやすくなります
■フローボットの流れ
- はじめに、Google スプレッドシートとOpenAIをYoomと連携します
- 次に、トリガーで「手動で実行」を設定し、任意のタイミングでフローを起動できるようにします
- 次に、オペレーションでGoogle スプレッドシートの「複数のレコードを取得する」アクションを設定し、テスト用のデータを取得します
- 繰り返し処理(ループ)機能を追加し、取得したデータ1件ずつに対して後続の処理を繰り返すように設定します
- ループ内で、OpenAIの「テキストの生成(Chat completion)」アクションを設定し、Google スプレッドシートの情報をもとにしたプロンプトを送信します
- 最後に、Google スプレッドシートの「レコードを更新する」アクションを設定し、OpenAIから得られた生成結果を元のシートに書き込みます
※「トリガー」:フロー起動のきっかけとなるアクション、「オペレーション」:トリガー起動後、フロー内で処理を行うアクション
■このワークフローのカスタムポイント
- Google スプレッドシートの各アクションでは、使用する任意のスプレッドシートIDやシート名、データを取得・更新する範囲などを設定してください
- ループ機能では、前段のGoogle スプレッドシートで取得した情報を繰り返し処理の対象として設定します
- OpenAIのアクションでは、使用するモデルやプロンプト内容を自由に設定できます。Google スプレッドシートから取得した値を組み込んで、動的なプロンプトを作成することが可能です
■注意事項
- Google スプレッドシート、OpenAIのそれぞれとYoomを連携してください。
- トリガーは5分、10分、15分、30分、60分の間隔で起動間隔を選択できます。
- プランによって最短の起動間隔が異なりますので、ご注意ください。
- ChatGPT(OpenAI)のアクションを実行するには、OpenAIのAPI有料プランの契約が必要です。(APIが使用されたときに支払いができる状態)
- ChatGPTのAPI利用はOpenAI社が有料で提供しており、API疎通時のトークンにより従量課金される仕組みとなっています。そのため、API使用時にお支払いが行える状況でない場合エラーが発生しますのでご注意ください。
- 「同じ処理を繰り返す」オペレーション間の操作は、チームプラン・サクセスプランでのみご利用いただける機能となっております。フリープラン・ミニプランの場合は設定しているフローボットのオペレーションやデータコネクトはエラーとなりますので、ご注意ください。
- チームプランやサクセスプランなどの有料プランは、2週間の無料トライアルを行うことが可能です。無料トライアル中には制限対象のアプリや機能(オペレーション)を使用することができます。
ステップ1:OpenAIとGoogle スプレッドシートのマイアプリ連携
ここでは、YoomにOpenAIとGoogle スプレッドシートをマイアプリに連携して、操作が行えるようにしていきます。
設定方法を解説しているナビをご覧ください!
OpenAIのマイアプリ登録方法
※ChatGPTのAPI利用はOpenAI社が有料で提供しており、API疎通時のトークンにより従量課金される仕組みとなっています。
そのため、API使用時にお支払いが行える状況でない場合エラーが発生しますのでご注意ください。
Google スプレッドシートのマイアプリ登録方法
連携が完了するとマイアプリにOpenAIとGoogle スプレッドシートが登録されます。
これでマイアプリ登録が完了しました。
次は、テンプレートを使用してトリガーの設定をしましょう!
ステップ2:テンプレートをコピーする
ここから、フローの作成に入ります!
Yoomのテンプレートを利用することで簡単に業務の自動化を実現できます。
まずは、下記テンプレートページを開き、『このテンプレートを試してみる』をクリックしましょう。
Google スプレッドシートの情報をもとに、OpenAIで法務文書のLLMパフォーマンスをベンチマークする
試してみる
■概要
法務文書に対するLLMの性能検証は重要ですが、一つひとつの情報を転記して結果を回収する作業には時間がかかります。このワークフローは、Google スプレッドシートにまとめたテストデータやプロンプトをもとに、OpenAIの回答生成を自動化します。生成された回答は元のシートに直接書き込まれるため、モデルごとの特性や精度の違いを効率的に比較できる環境を構築できます。
■このテンプレートをおすすめする方
- 法務文書に対するLLMの回答精度を、実際のデータを用いて検証したい方
- 複数のプロンプト案やモデルによる出力結果を、効率的に一覧化したい方
- Google スプレッドシートとOpenAIを用いた入出力作業を手作業で行っている方
■このテンプレートを使うメリット
- Google スプレッドシートの情報をもとにLLMの処理が自動実行されるため、大量のテストデータに対しても一括で回答を得ることができます
- すべての回答が同一のシートに記録されるため、モデル間の比較やプロンプトの調整による変化を確認しやすくなります
■フローボットの流れ
- はじめに、Google スプレッドシートとOpenAIをYoomと連携します
- 次に、トリガーで「手動で実行」を設定し、任意のタイミングでフローを起動できるようにします
- 次に、オペレーションでGoogle スプレッドシートの「複数のレコードを取得する」アクションを設定し、テスト用のデータを取得します
- 繰り返し処理(ループ)機能を追加し、取得したデータ1件ずつに対して後続の処理を繰り返すように設定します
- ループ内で、OpenAIの「テキストの生成(Chat completion)」アクションを設定し、Google スプレッドシートの情報をもとにしたプロンプトを送信します
- 最後に、Google スプレッドシートの「レコードを更新する」アクションを設定し、OpenAIから得られた生成結果を元のシートに書き込みます
※「トリガー」:フロー起動のきっかけとなるアクション、「オペレーション」:トリガー起動後、フロー内で処理を行うアクション
■このワークフローのカスタムポイント
- Google スプレッドシートの各アクションでは、使用する任意のスプレッドシートIDやシート名、データを取得・更新する範囲などを設定してください
- ループ機能では、前段のGoogle スプレッドシートで取得した情報を繰り返し処理の対象として設定します
- OpenAIのアクションでは、使用するモデルやプロンプト内容を自由に設定できます。Google スプレッドシートから取得した値を組み込んで、動的なプロンプトを作成することが可能です
■注意事項
- Google スプレッドシート、OpenAIのそれぞれとYoomを連携してください。
- トリガーは5分、10分、15分、30分、60分の間隔で起動間隔を選択できます。
- プランによって最短の起動間隔が異なりますので、ご注意ください。
- ChatGPT(OpenAI)のアクションを実行するには、OpenAIのAPI有料プランの契約が必要です。(APIが使用されたときに支払いができる状態)
- ChatGPTのAPI利用はOpenAI社が有料で提供しており、API疎通時のトークンにより従量課金される仕組みとなっています。そのため、API使用時にお支払いが行える状況でない場合エラーが発生しますのでご注意ください。
- 「同じ処理を繰り返す」オペレーション間の操作は、チームプラン・サクセスプランでのみご利用いただける機能となっております。フリープラン・ミニプランの場合は設定しているフローボットのオペレーションやデータコネクトはエラーとなりますので、ご注意ください。
- チームプランやサクセスプランなどの有料プランは、2週間の無料トライアルを行うことが可能です。無料トライアル中には制限対象のアプリや機能(オペレーション)を使用することができます。
コピーすると下の画像のようにテンプレートがお使いのYoom管理画面にコピーされるので、OKを押して設定を進めていきましょう!
ステップ3:Google スプレッドシートと連携して複数のレコードを取得
(1)今回ご紹介するテンプレートにはトリガーはありません。
任意のタイミングで起動できます。
手動起動の設定方法