【プログラミング不要】OCRとMistral AIを連携してファイル内容を自動要約する方法

ストレージサービスに追加されたファイルを自動でOCR・要約する

<span class="mark-yellow">Google DriveやMicrosoft SharePointなどのストレージサービスにファイルが追加された際に、そのファイルを自動でOCR処理し、Mistral AIで内容を要約して通知します。</span>
ファイル管理と情報活用のプロセスを効率化し、チーム全体でのナレッジ共有を促進しましょう！

チャットツールで受信したファイルを自動でOCR・要約する

<span class="mark-yellow">SlackやMicrosoft Teamsなどのチャットツールでファイルを受信した際に、そのファイルを自動的にOCRでテキスト化し、Mistral AIで要約して通知します。</span>
チャットでのファイル共有が多いチーム内の情報連携を効率化し、確認漏れや対応遅れを防ぎましょう！

受信ファイルをOCR処理＆Mistral AIで要約・通知するフローを作ってみよう

それでは代表的な例として、Gmailで特定の条件に合致するメールを受信し、添付されたファイルをOCRでテキスト化、その内容をMistral AIで要約し、結果をDiscordに通知するフローを解説していきます！

ここではYoomを使用してノーコードで設定をしていくので、まだYoomのアカウントをお持ちでない場合は、こちらの登録フォームからアカウントを発行しておきましょう。

[Yoomとは]

フローの作成方法

今回は大きく分けて以下のプロセスで作成します。

• 使用するアプリ（Mistral AI・Gmail・Discord）のマイアプリ連携
• テンプレートのコピー
• トリガーとなるメールと各アクション（OCR・要約・通知）の設定
• フロー稼働の準備

前準備：テストに使用するファイルとラベルの用意

テスト用に、要約したいPDFファイル（もしくは画像ファイル）をご用意ください。
ここでは例として、下図の契約書を使用します。

また、このフローボットのトリガーとなるラベルをGmailアカウントに作成しておきましょう。
参照：ラベルを作成してGmailを整理する

ステップ1：使用するアプリのマイアプリ連携

先ずは、使用するアプリ（Mistral AI・Gmail・Discord）を「マイアプリ」に登録しましょう。
この設定は初回のみ必要です。

1. Yoomにログイン後、ワークスペースのサイドバーから「マイアプリ」を選択。
2. マイアプリ画面の右側にある「+新規接続」をクリック。

3. 「アプリ一覧」が表示されたら、右上の検索バーでMistral AIを検索して選択。

4. 「アカウント名」に任意の名称を設定。
   連携しているMistral AIアカウントが判別しやすい名称をおすすめします。
5. 「API Key」にMistral AIのプラットフォームで取得できるAPI Keyを設定。
   Mistral AIにログイン後、「La Plateforme」から「API Keys」にアクセスし、「Create new key」でAPI Keyが作成できます。
   ※ API Keyは作成時にしか確認できないため、コピーして安全な場所に保管してから画面を閉じてください。

6. 設定を終えたら、「追加」をクリック。

7. 「マイアプリ」の画面にMistral AIが追加されてることを確認してください。

8. Gmailも連携していきましょう。
   同様に「アプリ一覧」でGmailを検索して選択。
9. 「Sign in with Google」をクリック。

10. 任意のGoogleアカウントを選択してログイン。

11. 内容を確認し、「次へ」をクリック。

12. YoomからGoogleアカウントへのアクセス権限を確認し、「続行」をクリック。
    「Yoomがアクセスできる情報を選択してください」と表示されている場合には、「すべて選択」にチェックを入れてください。

13. 「マイアプリ」の画面にGmailが追加されてることを確認してください。

14. 最後に、Discordと連携します。
    「アプリ一覧」でDiscordを検索して選択。
15. 「アカウント名」に任意の名称を設定。
    連携しているDiscordアカウントが判別しやすい名称をおすすめします。
16. 「アクセストークン」にBotトークンを設定。
    BotトークンはDiscord Developer Portalから取得できます。詳細はこちらの記事をご確認ください。

17. 設定を終えたら、「追加」をクリック。

18. Discordも「マイアプリ」に追加されたら、マイアプリ連携は完了です。

ステップ2：テンプレートのコピー

Yoomのフローボットテンプレートから使用するテンプレートを選び、「このテンプレートを試す」をクリックすると、テンプレートがコピーされます。
ここでは以下のテンプレートを使うため、バナーの「試してみる」をクリックしてください。

そうしますと、Yoomのワークスペースにテンプレートがコピーされ、自動化フローの設定画面（フローボット）が開きます。
「OK」をクリックして、フローの設定に進みましょう。

ステップ3：トリガーとなるメールの設定

先ずは、フローの起点となるトリガーアクション（メール受信）を設定していきます。

1. Gmailの「特定のラベルのメールを受信したら」をクリック。

2. 「タイトル」は任意の名称に変更可能です。
   アクションの内容が分かりやすいタイトルにするとよいでしょう。
   ここでは例として、「契約書ラベルのメールを受信したら」に変更しています。
3. 連携アカウントとアクションの内容を確認し、「次へ」をクリック。

4. 「トリガーの起動間隔」のプルダウンから任意の間隔を選択。
   トリガーの起動タイミングは「5分・10分・15分・30分・60分」から選択可能です。
   そのプランの最短の起動間隔にすることで、メール受信時により早くDiscordへの通知が行えるようになります。
   ※ ご利用プランによって、設定できるトリガーの最短間隔が異なります。
   起動間隔についての詳しい説明は、こちらのヘルプページをご覧ください。

5. 「ラベル」にトリガーとなるメールのラベルを設定。
   入力欄をクリックすると、連携しているGmailアカウントのラベルから候補が表示されますので、対象となるラベルを選択してください。
   検索欄にラベル名を入れることで検索が楽になります。
   ここでは例として、テスト用に作成した「契約書」ラベルを選択しています。

6. テスト用に、前準備で用意したPDFファイルを添付したメールを、連携しているGmailアカウントに送信します。
   ※ 送信したメール

7. フローボットに戻り、「テスト」をクリック。
   ※ 直近1時間以内に指定したラベルのメールを受信していない場合はテストに失敗します。

8. テストが成功すると、「取得した値」に受信したメールの情報が追加されます。

9. テスト用に送信したメールが取得できていれば、ページ下部の「保存する」をクリック。

これで、トリガーとなるメールの設定が完了しました。
トリガーアクションのタイトルは設定したものに変更されています。

ステップ4：テキストの抽出

OCRを使って、受信したメールの添付ファイルからテキストを抽出しましょう。
※ OCRや音声の文字起こしといったAIオペレーションは、チームプラン・サクセスプラン限定の機能です。
フリープラン・ミニプランでセットするとエラーになってしまうので、ご注意ください。
チームプラン・サクセスプランなどの有料プランは、2週間の無料トライアルが可能です。
トライアル期間中は制限のあるアプリやAIオペレーションも全て使えるので、気になる機能をぜひお試しください。

1. AIオペレーションの「画像・PDFから文字を読み取る」をクリック。

2. 「タイトル」を任意で変更。
3. 目的に応じて「アクション」を選択。
   このフローで使用する「任意のPDF・画像ファイルから文字情報を読み取る」は文字数によってタスク数が変わります。
   4,000字（5タスク）・8,000字（10タスク）・12,000字（15タスク）から任意のアクションを選択してください。デフォルトでは4000字となっています。
   ※ YoomのOCR機能では、アクション記載の規定の文字数を超えるデータや、文字が小さすぎる場合に正しく読み取れないことがあります。
   文字数や文字の大きさには少し余裕を持たせてご利用ください。

4. 「次へ」をクリック。
5. OCRの対象となるファイルを設定する「ファイルの添付方法」には、デフォルトで「取得した値を使用」「添付ファイル1」が設定されています。
   これがステップ3で取得した添付ファイルになりますので、変更は必要ありません。
6. 「抽出したい項目」に、目的に応じて任意の項目を設定。
   この抽出する項目に沿った値が次のステップで利用できます。
   「全ての文字列」や「全文」と設定した場合は、ファイルから全てのテキストを抽出します。
   議事録や報告書といった定型項目のあるファイルであれば、「会議名・出席者・議題」などと設定することで、テキストを部分的に抽出することも可能です。
7. 「使用するAI」を「ChatGPT」「Claude」「Claude_v2(推奨)」から選択。
   AIモデルの違いはこちらのヘルプページで説明されています。
8. 読み取るファイルの言語に合わせて、「言語」を「日本語」「英語」から選択。
9. OCRの詳しい設定方法は、こちらのヘルプページをご覧ください。
   設定を終えたら、「テスト」をクリック。
   ここでは例として、全文を要約するため「全ての文字列」を添付ファイルから抽出します。

10. テストに成功すると、「抽出したい項目」に設定した項目の値がファイルから抽出され、「取得した値」に追加されます。
    ※ 期待する値が抽出されていない場合には、「使用するAI」を変更して再度お試しください。

11. 要約したい情報が取得されていることを確認し、ページ下部の「保存する」をクリック。

これで、添付ファイルからテキストが抽出できました。

ステップ5：テキストの要約

抽出したテキストをMistral AIで要約していきます。

1. Mistral AIのFim Completionをクリック。

2. 「タイトル」を任意で変更。
3. 連携アカウントとアクションを確認し、「次へ」をクリック。

4. 「Model」の入力欄をクリックし、表示される候補からテキスト生成に用いるモデルを選択。
   Mistral AIのModels Overviewをご参照ください。
   ここでは例として、「codestral-latest」を選択しています。

5. 「Prompt」にステップ4で抽出したテキストと、要約にあたってのプロンプトを設定。
   入力欄をクリックし、「取得した値」のOCRアクションのメニューから、要約したい項目を選択してください。
   選択した項目は{{項目名　抽出された値}}の形で追加されます。
   取得した値（アウトプット）についての詳しい説明は、こちらのヘルプページをご覧ください。

6. その他、必要に応じて各種設定が可能です。
7. 設定を終えたら、「テスト」をクリック。
8. テストが成功すると、要約されたテキストが「取得した値」の「List of Message Contents」に追加されます。

9. 期待する要約が取得できているかを確認し、ページ下部の「保存する」をクリック。

これで、テキストが要約されました。

ステップ6：要約の送信

最後に、要約したテキストをDiscordに送信しましょう。

1. Discordの「メッセージを送信」をクリック。

2. 「タイトル」を任意で変更。
3. 連携アカウントとアクションの内容を確認し、「次へ」をクリック。

4. 「チャンネルID」に、メッセージを送信するチャンネルのIDを設定。
   チャンネルIDはDiscordチャンネルのURL（discord.com/channels/{{サーバーID}}/{{チャンネルID}}）で確認できます。
5. 「メッセージ内容」に、通知する任意の内容を設定。
   入力欄クリック時に表示される「取得した値」タブから、各アクションで取得した値が選択可能です。
   ステップ5と同様に、項目を選択すると{{項目名　追加された値}}という形で追加されます。
   これらの値を用いて、通知するメッセージを作成しましょう。

　　　　他にも、「日付」タブからは各形式の日付が選択可能です。

6. 設定を終えたら、「テスト」をクリック。

7. テストが成功したら、指定したチャンネルにメッセージが送信されていることを確認し、ページ下部の「保存する」をクリックしてください。

ステップ7：フロー稼働の準備

フロー画面に戻り、「全ての設定が完了しました！」と表示されていればフローの設定は完了です。
早速フローを稼働させるのであれば、「トリガーをON」をクリックします。

あとで稼働させる場合は、フロー画面のトリガースイッチをクリックすることで、トリガーをONにできます。

トリガーをONにしたら、実際に動作することを確認しましょう。
指定したラベルのメールを送信し、メールに添付したファイルの要約がDiscordに通知されていれば成功です。

今回のフローボットをベースに、他にも様々な作業の自動化が実現できます！
是非、Yoomの便利な機能をお試しください。

OCRを使った自動化例

今回紹介したテンプレート以外にも、Yoomにはたくさんの自動化例が用意してあります。
たとえば、以下のような自動化はいかがでしょうか。

まとめ

ファイルのOCR処理とMistral AIによる要約を自動化することで、<span class="mark-yellow">これまで手作業で行っていたファイル内容の確認、テキスト化、要約といった一連の作業から解放され、ヒューマンエラーのリスクも低減できます。</span>
これにより、必要な情報を迅速かつ正確に把握し、チーム内での共有や次のアクションへの移行をスムーズに行えるようになり、業務全体のスピードアップも夢ではありませんよね！

今回ご紹介したような業務自動化を実現できるノーコードツール「Yoom」を使えば、プログラミングの知識がない方でも、直感的なインターフェースで簡単にOCRやAIを活用した業務フローを構築できます。

もし自動化に少しでも興味を持っていただけたなら、ぜひこちらから無料登録して、Yoomによる業務効率化を体験してみてください！