Mistral AIとOCRの連携イメージ
アプリ同士の連携方法

2025-05-02

【プログラミング不要】OCRとMistral AIを連携してファイル内容を自動要約する方法

k.tsukamoto

「添付されたPDFの内容を確認して要約し、チームに共有するのに時間がかかる…」
「会議で使った資料のテキストを抽出して、議事録に活用したいけど手入力は面倒…」
このように、ファイルに含まれる情報を手作業で処理し、活用することに手間や限界を感じていませんか?

<span class="mark-yellow">受け取ったファイルやアップロードしたファイルを自動でOCR処理し、その内容をMistral AIで要約して、必要なメンバーにすぐに共有できる仕組み</span>があれば、これらの手間から解放され、より迅速な情報活用や意思決定に繋げることができます!

今回ご紹介する自動化の設定は、ノーコードで簡単に設定できて、手間や時間もかからないので、ぜひ自動化を導入して作業をもっと楽にしましょう!

とにかく早く試したい方へ

Yoomには<span class="mark-yellow">OCRとMistral AIを活用してファイル内容を自動で要約する業務フロー自動化のテンプレート</span>が用意されています。
「まずは試してみたい!」という方は、以下のバナーをクリックして、すぐに自動化を体験してみましょう!

OCRとMistral AIによるファイル要約を自動化する方法

普段お使いの様々なツールで受け取ったり保存したりするファイルを自動でOCR処理し、Mistral AIで要約、その結果を通知する自動化の方法を、具体的なテンプレートを使って紹介します!
これらの自動化により、ファイル内容の確認や共有にかかる時間を削減し、情報へのアクセスを高速化できるはずです。

気になる内容があれば、ぜひクリックしてみてくださいね!

メールで受信したファイルを自動でOCR・要約する

<span class="mark-yellow">GmailやOutlookなどのメールツールでファイル添付されたメールを受信した際に、添付ファイルを自動でOCR処理し、Mistral AIで内容を要約して通知。</span>
メールでのファイル授受が多い業務における情報確認の手間を省き、迅速な対応を実現しましょう!

ストレージサービスに追加されたファイルを自動でOCR・要約する

<span class="mark-yellow">Google DriveやMicrosoft SharePointなどのストレージサービスにファイルが追加された際に、そのファイルを自動でOCR処理し、Mistral AIで内容を要約して通知します。</span>
ファイル管理と情報活用のプロセスを効率化し、チーム全体でのナレッジ共有を促進しましょう!

チャットツールで受信したファイルを自動でOCR・要約する

<span class="mark-yellow">SlackやMicrosoft Teamsなどのチャットツールでファイルを受信した際に、そのファイルを自動的にOCRでテキスト化し、Mistral AIで要約して通知します。</span>
チャットでのファイル共有が多いチーム内の情報連携を効率化し、確認漏れや対応遅れを防ぎましょう!

受信ファイルをOCR処理&Mistral AIで要約・通知するフローを作ってみよう

それでは代表的な例として、Gmailで特定の条件に合致するメールを受信し、添付されたファイルをOCRでテキスト化、その内容をMistral AIで要約し、結果をDiscordに通知するフローを解説していきます!

ここではYoomを使用してノーコードで設定をしていくので、まだYoomのアカウントをお持ちでない場合は、こちらの登録フォームからアカウントを発行しておきましょう。

[Yoomとは]

フローの作成方法

今回は大きく分けて以下のプロセスで作成します。

  • 使用するアプリ(Mistral AI・Gmail・Discord)のマイアプリ連携
  • テンプレートのコピー
  • トリガーとなるメールと各アクション(OCR・要約・通知)の設定
  • フロー稼働の準備

前準備:テストに使用するファイルとラベルの用意

テスト用に、要約したいPDFファイル(もしくは画像ファイル)をご用意ください。
ここでは例として、下図の契約書を使用します。

また、このフローボットのトリガーとなるラベルをGmailアカウントに作成しておきましょう。
参照:ラベルを作成してGmailを整理する

ステップ1:使用するアプリのマイアプリ連携

先ずは、使用するアプリ(Mistral AI・Gmail・Discord)を「マイアプリ」に登録しましょう。
この設定は初回のみ必要です。

  1. Yoomにログイン後、ワークスペースのサイドバーから「マイアプリ」を選択。
  2. マイアプリ画面の右側にある「+新規接続」をクリック。
  1. 「アプリ一覧」が表示されたら、右上の検索バーでMistral AIを検索して選択。
  1. 「アカウント名」に任意の名称を設定。
    連携しているMistral AIアカウントが判別しやすい名称をおすすめします。
  2. 「API Key」にMistral AIのプラットフォームで取得できるAPI Keyを設定。
    Mistral AIにログイン後、「La Plateforme」から「API Keys」にアクセスし、「Create new key」でAPI Keyが作成できます。
    ※ API Keyは作成時にしか確認できないため、コピーして安全な場所に保管してから画面を閉じてください。
  1. 設定を終えたら、「追加」をクリック。
  1. 「マイアプリ」の画面にMistral AIが追加されてることを確認してください。
  1. Gmailも連携していきましょう。
    同様に「アプリ一覧」でGmailを検索して選択。
  2. 「Sign in with Google」をクリック。
  1. 任意のGoogleアカウントを選択してログイン。
  1. 内容を確認し、「次へ」をクリック。
  1. YoomからGoogleアカウントへのアクセス権限を確認し、「続行」をクリック。
    「Yoomがアクセスできる情報を選択してください」と表示されている場合には、「すべて選択」にチェックを入れてください。
  1. 「マイアプリ」の画面にGmailが追加されてることを確認してください。
  1. 最後に、Discordと連携します。
    「アプリ一覧」でDiscordを検索して選択。
  2. 「アカウント名」に任意の名称を設定。
    連携しているDiscordアカウントが判別しやすい名称をおすすめします。
  3. 「アクセストークン」にBotトークンを設定。
    BotトークンはDiscord Developer Portalから取得できます。詳細はこちらの記事をご確認ください。
  1. 設定を終えたら、「追加」をクリック。
  1. Discordも「マイアプリ」に追加されたら、マイアプリ連携は完了です。

ステップ2:テンプレートのコピー

Yoomのフローボットテンプレートから使用するテンプレートを選び、「このテンプレートを試す」をクリックすると、テンプレートがコピーされます。
ここでは以下のテンプレートを使うため、バナーの「試してみる」をクリックしてください。

そうしますと、Yoomのワークスペースにテンプレートがコピーされ、自動化フローの設定画面(フローボット)が開きます。
「OK」をクリックして、フローの設定に進みましょう。

ステップ3:トリガーとなるメールの設定

先ずは、フローの起点となるトリガーアクション(メール受信)を設定していきます。

  1. Gmailの「特定のラベルのメールを受信したら」をクリック。
  1. 「タイトル」は任意の名称に変更可能です。
    アクションの内容が分かりやすいタイトルにするとよいでしょう。
    ここでは例として、「契約書ラベルのメールを受信したら」に変更しています。
  2. 連携アカウントとアクションの内容を確認し、「次へ」をクリック。
  1. 「トリガーの起動間隔」のプルダウンから任意の間隔を選択。
    トリガーの起動タイミングは「5分・10分・15分・30分・60分」から選択可能です。
    そのプランの最短の起動間隔にすることで、メール受信時により早くDiscordへの通知が行えるようになります。
    ※ ご利用プランによって、設定できるトリガーの最短間隔が異なります。
    起動間隔についての詳しい説明は、こちらのヘルプページをご覧ください。
  1. 「ラベル」にトリガーとなるメールのラベルを設定。
    入力欄をクリックすると、連携しているGmailアカウントのラベルから候補が表示されますので、対象となるラベルを選択してください。
    検索欄にラベル名を入れることで検索が楽になります。
    ここでは例として、テスト用に作成した「契約書」ラベルを選択しています。
  1. テスト用に、前準備で用意したPDFファイルを添付したメールを、連携しているGmailアカウントに送信します。
    ※ 送信したメール
  1. フローボットに戻り、「テスト」をクリック。
    ※ 直近1時間以内に指定したラベルのメールを受信していない場合はテストに失敗します。
  1. テストが成功すると、「取得した値」に受信したメールの情報が追加されます。
  1. テスト用に送信したメールが取得できていれば、ページ下部の「保存する」をクリック。

これで、トリガーとなるメールの設定が完了しました。
トリガーアクションのタイトルは設定したものに変更されています。

ステップ4:テキストの抽出

OCRを使って、受信したメールの添付ファイルからテキストを抽出しましょう。
※ OCRや音声の文字起こしといったAIオペレーションは、チームプラン・サクセスプラン限定の機能です。
フリープラン・ミニプランでセットするとエラーになってしまうので、ご注意ください。
チームプラン・サクセスプランなどの有料プランは、2週間の無料トライアルが可能です。
トライアル期間中は制限のあるアプリやAIオペレーションも全て使えるので、気になる機能をぜひお試しください。

  1. AIオペレーションの「画像・PDFから文字を読み取る」をクリック。
  1. 「タイトル」を任意で変更。
  2. 目的に応じて「アクション」を選択。
    このフローで使用する「任意のPDF・画像ファイルから文字情報を読み取る」は文字数によってタスク数が変わります。
    4,000字(5タスク)・8,000字(10タスク)・12,000字(15タスク)から任意のアクションを選択してください。デフォルトでは4000字となっています。
    ※ YoomのOCR機能では、アクション記載の規定の文字数を超えるデータや、文字が小さすぎる場合に正しく読み取れないことがあります。
    文字数や文字の大きさには少し余裕を持たせてご利用ください。
  1. 「次へ」をクリック。
  2. OCRの対象となるファイルを設定する「ファイルの添付方法」には、デフォルトで「取得した値を使用」「添付ファイル1」が設定されています。
    これがステップ3で取得した添付ファイルになりますので、変更は必要ありません。
  3. 「抽出したい項目」に、目的に応じて任意の項目を設定。
    この抽出する項目に沿った値が次のステップで利用できます。
    「全ての文字列」や「全文」と設定した場合は、ファイルから全てのテキストを抽出します。
    議事録や報告書といった定型項目のあるファイルであれば、「会議名・出席者・議題」などと設定することで、テキストを部分的に抽出することも可能です。
  4. 「使用するAI」を「ChatGPT」「Claude」「Claude_v2(推奨)」から選択。
    AIモデルの違いはこちらのヘルプページで説明されています。
  5. 読み取るファイルの言語に合わせて、「言語」を「日本語」「英語」から選択。
  6. OCRの詳しい設定方法は、こちらのヘルプページをご覧ください。
    設定を終えたら、「テスト」をクリック。
    ここでは例として、全文を要約するため「全ての文字列」を添付ファイルから抽出します。
  1. テストに成功すると、「抽出したい項目」に設定した項目の値がファイルから抽出され、「取得した値」に追加されます。
    ※ 期待する値が抽出されていない場合には、「使用するAI」を変更して再度お試しください。
  1. 要約したい情報が取得されていることを確認し、ページ下部の「保存する」をクリック。

これで、添付ファイルからテキストが抽出できました。

ステップ5:テキストの要約

抽出したテキストをMistral AIで要約していきます。

  1. Mistral AIのFim Completionをクリック。
  1. 「タイトル」を任意で変更。
  2. 連携アカウントとアクションを確認し、「次へ」をクリック。
  1. 「Model」の入力欄をクリックし、表示される候補からテキスト生成に用いるモデルを選択。
    Mistral AIのModels Overviewをご参照ください。
    ここでは例として、「codestral-latest」を選択しています。
  1. 「Prompt」にステップ4で抽出したテキストと、要約にあたってのプロンプトを設定。
    入力欄をクリックし、「取得した値」のOCRアクションのメニューから、要約したい項目を選択してください。
    選択した項目は{{項目名 抽出された値}}の形で追加されます。
    取得した値(アウトプット)についての詳しい説明は、こちらのヘルプページをご覧ください。
  1. その他、必要に応じて各種設定が可能です。
  2. 設定を終えたら、「テスト」をクリック。
  3. テストが成功すると、要約されたテキストが「取得した値」の「List of Message Contents」に追加されます。
  1. 期待する要約が取得できているかを確認し、ページ下部の「保存する」をクリック。

これで、テキストが要約されました。

ステップ6:要約の送信

最後に、要約したテキストをDiscordに送信しましょう。

  1. Discordの「メッセージを送信」をクリック。
  1. 「タイトル」を任意で変更。
  2. 連携アカウントとアクションの内容を確認し、「次へ」をクリック。
  1. 「チャンネルID」に、メッセージを送信するチャンネルのIDを設定。
    チャンネルIDはDiscordチャンネルのURL(discord.com/channels/{{サーバーID}}/{{チャンネルID}})で確認できます。
  2. 「メッセージ内容」に、通知する任意の内容を設定。
    入力欄クリック時に表示される「取得した値」タブから、各アクションで取得した値が選択可能です。
    ステップ5と同様に、項目を選択すると{{項目名 追加された値}}という形で追加されます。
    これらの値を用いて、通知するメッセージを作成しましょう。

    他にも、「日付」タブからは各形式の日付が選択可能です。

  1. 設定を終えたら、「テスト」をクリック。
  1. テストが成功したら、指定したチャンネルにメッセージが送信されていることを確認し、ページ下部の「保存する」をクリックしてください。

ステップ7:フロー稼働の準備

フロー画面に戻り、「全ての設定が完了しました!」と表示されていればフローの設定は完了です。
早速フローを稼働させるのであれば、「トリガーをON」をクリックします。

あとで稼働させる場合は、フロー画面のトリガースイッチをクリックすることで、トリガーをONにできます。

トリガーをONにしたら、実際に動作することを確認しましょう。
指定したラベルのメールを送信し、メールに添付したファイルの要約がDiscordに通知されていれば成功です。

今回のフローボットをベースに、他にも様々な作業の自動化が実現できます!
是非、Yoomの便利な機能をお試しください。

OCRを使った自動化例

今回紹介したテンプレート以外にも、Yoomにはたくさんの自動化例が用意してあります。
たとえば、以下のような自動化はいかがでしょうか。

まとめ

ファイルのOCR処理とMistral AIによる要約を自動化することで、<span class="mark-yellow">これまで手作業で行っていたファイル内容の確認、テキスト化、要約といった一連の作業から解放され、ヒューマンエラーのリスクも低減できます。</span>
これにより、必要な情報を迅速かつ正確に把握し、チーム内での共有や次のアクションへの移行をスムーズに行えるようになり、業務全体のスピードアップも夢ではありませんよね!

今回ご紹介したような業務自動化を実現できるノーコードツール「Yoom」を使えば、プログラミングの知識がない方でも、直感的なインターフェースで簡単にOCRやAIを活用した業務フローを構築できます。

もし自動化に少しでも興味を持っていただけたなら、ぜひこちらから無料登録して、Yoomによる業務効率化を体験してみてください!

この記事を書いた人
k.tsukamoto
システムエンジニアとして4年間勤務。当時は毎日Excelに手入力する勤怠管理や、領収書のデータ化作業に悩まされていたため、Yoomにもっと早く出会いたかったです。まだまだYoomは使い始めたばかりですが、皆様の「自動化できたらいいな」を叶えるための情報をお伝えしていきます!
タグ
Mistral AI
OCR
自動化
自動
連携
関連アプリ
アプリ連携
No items found.
Yoomのハイパーオートメーションとは?
従来のRPAでは単純な繰り返し作業しか自動化できず、その設定作業はとても複雑なものでした。
AI・API・RPA・OCRなど様々な技術を組み合わせた「ハイパーオートメーション」なら、これまでは実現できなかった多くの作業を、これまでよりも簡単に自動化することが可能です。
Yoomのハイパーオートメーションとは?
従来のRPAでは単純な繰り返し作業しか自動化できず、その設定作業はとても複雑なものでした。
AI・API・RPA・OCRなど様々な技術を組み合わせた「ハイパーオートメーション」なら、これまでは実現できなかった多くの作業を、これまでよりも簡単に自動化することが可能です。
Yoomについて詳しく見る
お役立ち資料
Yoomがわかる!資料3点セット
資料ダウンロード
3分でわかる!Yoomサービス紹介資料
資料ダウンロード
Before Afterでわかる!Yoom導入事例集
資料ダウンロード
お役立ち資料一覧を見る