2022年度 三菱電機ソフトウエア技術レポート
データ収集ソフトウェア「Miranda」の映像分析AIオプションの開発
1. まえがき
近年、自動車・食品などのFAの生産ラインでは、故障の予兆検知や治具交換時期の最適化など、生産設備の高機能化により生産性改善が進んでいる。一方で手作業の工程を対象とした生産性改善は、計測や分析に膨大な労力を要し、生産ラインの重要課題となっている。
この課題に対応すべく、当社製のデータ収集ソフトウェア「Miranda」と、三菱電機のAI技術「Maisart（マイサート）」を用いた作業分析ソリューション「骨紋（こつもん）」を連携させ、手作業工程の映像から特定の動作を自動検出する機能を開発し、Miranda映像分析AIオプションとして2022年6月に製品化した。
本稿では、Mirandaと骨紋の概要を紹介した後、Miranda映像分析AIオプションの機能及び特長について紹介する。
2. Mirandaの紹介
2.1 製品概要
図 1. MirandaとPLCの接続例
FAの生産ラインにおいて、製造プロセスの最適化を実現するにはデータの収集が不可欠である。
Mirandaは図1のようにMELSEC（注1）などのPLC（注2）からデータを収集し、製造プロセスの見える化を支援するソフトウェアである。ライン立ち上げ時の調整作業、稼働中の運転状態の記録、チョコ停（注3）の原因解析など、あらゆるシーンのデータ収集に活用できる。
2006年の販売開始以降、鉄鋼・自動車・食品・紙パルプといった様々な分野で導入されており、販売本数は2022年10月時点で累計2000本を超えている。
- （注1）三菱電機株式会社製の制御装置
- （注2）Programmable Logic Controllerの略称であり機器の制御に使用される制御装置
- （注3）生産設備の何らかのトラブルにより、短時間の設備停止が発生する事象
2.2 特長
図 2. 映像とデータの連携表示
本稿に関連するMirandaの特長を以下に示す。
- （1）各種MELSECから簡単にデータが収集可能
Mirandaは、MELSECの各種シリーズ（iQ-R、iQ-F、Q、QnA、A、FX、Lシリーズ）と、シリアル、USB、Ethernetなど豊富な接続方法で接続できる。
また、MELSECにユニットを増設することなくデータを収集できるため、図1に示すように、MELSECとパソコンをケーブルで接続するだけで簡単にMirandaを導入できる。 - （2）映像とデータの連携表示が可能
図2に示すように、Mirandaのオプション製品「Miranda VideoOption」により、カメラの映像をパソコンに保存し、映像とPLCのデータを同期して表示できる。
トラブル発生時の映像をすばやく表示し、トラブル発生に至る過程を映像とデータで確認できる。
3. 骨紋の紹介
3.1 技術概要
作業分析ソリューション「骨紋（こつもん）」は、カメラの映像から抽出した作業者の骨格情報をAIで分析することで、作業者の作業内容を特定し、作業時間の計測や作業ミス・ムダの検出を行うことができる。
骨紋により、これまで実現が困難であった作業分析の自動化が可能となる。
骨紋の特長と仕組みを以下に述べる。
3.2 特長
図 3. 作業ミス発見までの時間と対応コスト
- （1）作業分析に要する工数を大幅に削減
生産ラインでは、手作業工程の生産性向上の取り組みとして作業時間の計測が行われている。計測方法は、監督者が手動で計測するストップウォッチ法が主流だが、監督者の負担が大きく、計測に膨大な時間を要している。
骨紋を用いた作業時間の自動計測により、従来のストップウォッチ法で30日間を要していた作業分析工数を図4のとおり3日間に短縮できる。さらに、監督者の経験の差による、計測結果や作業ミス・ムダの判定結果のバラつきを抑制できる。 - （2）作業ミスの早期発見による対応コストの削減
ヒューマンエラーによる作業ミスは、検出が困難であるため、発見の遅れにより、不良品が流出する可能性がある。
骨紋は、作業者の骨格の動きから作業手順を特定し、正しい作業手順と比較することで、作業抜けや手順間違いなどの作業ミスを検出できる。これにより、作業ミスを早期に発見し、図3に示す対応コストを削減できる。
図 4. 作業分析ソリューション「骨紋」のイメージ
3.3 骨紋の仕組み
骨紋の処理概要を、下記（1）～（3）に示す。
図 5. 学習モデルの生成
- （1）作業者の骨格情報をAIで学習
作業者の映像から骨格情報を抽出し、部品取りやねじ締めなどの作業内容ごとに骨格の動きを学習する。
この学習により、骨格情報から作業内容を特定する作業内容特定AIの学習モデルを生成する。
図 6. 作業内容の特定
- （2）現場の作業映像から作業内容を特定
分析対象の映像から骨格情報を抽出し、骨格の動きを作業内容特定AIの学習モデルを用いて分析することで、作業内容を特定する。
図 7. 作業時間の計測と作業ミスの検出
- （3）作業時間の計測と作業ミスの検出
作業内容特定AIを用いて、特定した作業の時間を計測する。さらに、図7のように、（2）で特定した作業内容と学習モデルの作業内容の順序を比較し、手順間違いや作業抜けを検出する。
4. Miranda映像分析AIオプションの開発
4.1 開発目的
図 8. 映像の自動保存と自動分析
骨紋をFAの生産ラインに適用し運用する場合、カメラ映像の保存から作業の分析、分析結果の作業者への通知まで、一連の作業の自動化が求められる。
MirandaはカメラやMELSECと接続する機能を有していることから、Mirandaと骨紋を連携する機能を開発することで、一連の作業の自動化を図る。
自動化における主な課題と開発した機能を以下に述べる。
- （1）手作業工程のオンライン分析
骨紋を使用して作業を分析する場合、作業者の映像を、カメラや映像レコーダの録画機能を使用し、一旦映像ファイルに保存した後、映像ファイルを指定して分析を実行する必要がある。この映像ファイルの保存と骨紋の分析実行は手動で行うため、自動化の妨げとなっていた。
この問題に対し、図8のように手作業工程の映像をMiranda VideoOptionで映像ファイルに自動で保存後、今回開発したMiranda映像分析AIオプションで映像ファイルの監視と分析を行う仕組みとした。
これにより、生産ラインが稼働しているオンライン環境での作業分析が可能となった。
図 9. 作業ミス発生時の自動通知
- （2）現場への作業ミスの自動通知
骨紋による作業ミスの検出結果は、骨紋の表示機能で確認できる。しかし、作業ミスの検出結果を作業者に伝えるには、管理者が作業ミスの映像を画面に表示し、作業者に見せる必要がある。このため、管理者の負担となっていた。
この問題に対し、自動で分析した結果を直ちにMELSECへ出力する機能を開発し、図9のように回転灯やブザー、表示器などの現場機器を用いた作業者への通知を可能にした。
これにより、管理者による作業者への伝達作業が不要となり、作業ミス発生から復旧までの時間の短縮と次工程への不良流出の防止が可能となった。
図 10. 複数工程の作業分析
- （3）複数工程への対応
FAの生産ラインでは生産設備による自動化が進んでいるが、手作業の工程も多く存在する。
すべての手作業工程へ骨紋を導入する場合、機器の設置場所や導入コストの観点から、使用する機器を最小限に抑える必要がある。
そのため、1台のパソコンで複数工程の作業を分析することが求められていた。
この課題に対し、図10のように1工程に1台のカメラを設置し、工程ごとに作業内容特定AIの学習モデルを生成することで、最大4工程の作業を分析する仕組みを開発した。
4.2 システム構成
図 11. システム構成
Miranda映像分析AIオプションのシステム構成は、図11のとおり、対象工程を撮影するカメラ、Mirandaを動作させるパソコン、及びMELSECで構成される。
カメラからは作業者の映像を受信する。対象工程MELSECからは、サイクル（注4）の開始トリガやラインを流れる製品の品種など、対象工程のライン情報を受信する。
通知用MELSECは、Miranda映像分析AIオプションで分析した結果を現場へ通知する場合に使用する。
対象工程MELSECと通知用MELSECは、1台のMELSECに集約することも可能である。
- （注4）作業者が製品1個に対して行う一連の作業
4.3 開発した機能の特長
4.3.1 サイクル単位の映像保存
Miranda 映像分析AIオプションでは、図12のようにMiranda VideoOptionを使用して、カメラの映像とMELSECからのサイクル開始／終了のトリガを受信し、映像をサイクル単位に分割して保存する。
これにより、保存した複数のサイクル単位の映像から、作業ミス・ムダを含まない映像を選択して学習できるため、精度の高い学習が可能となる。
学習後は、1サイクルの作業が完了したタイミングで、直ちに映像を保存し作業分析ができる。
4.3.2 手作業工程のオンライン分析
図12のとおり、カメラで撮影した作業者の映像の保存から、骨紋技術を用いた作業時間の計測、作業ミス・ムダの判定、作業者への分析結果の通知まで、一連の作業を自動化した。
これにより、対象工程で実施したすべてのサイクルについて、作業の分析が可能となる。
図 12. Miranda映像分析AIオプションの仕組み
4.3.3 品種ごとの学習・分析
FAの生産ラインでは、1つのラインで複数品種を取り扱うケースが多く、製品の品種ごとに作業内容や手順が異なる。
図13のように品種ごとに作業内容特定AIの学習モデルを生成しておくことで、MELSECより収集した品種情報をキーに、学習モデルを自動的に切り替えて分析できるようにした。
図 13. 学習モデルの自動切り替え
4.3.4 分析結果の検索と詳細表示
過去の分析結果は、一覧画面で確認でき、対象工程や期間などの条件を指定して検索できる。また、ロット番号や製品の品種をMELSECから取得し、映像とともに保存している場合は、ロット番号や品種を検索条件とした検索も可能である。
分析結果の一覧では、図14のとおり、作業時間を示す棒グラフ、異常回数、異常回数に基づく作業品質を表示しており、作業時間や作業ミスの発生傾向を確認できる。
分析した各サイクルの詳細については、図15に示す分析結果の詳細表示により、作業ミス・ムダの詳細を映像で確認できる。
図 14. 分析結果の一覧
図 15. 分析結果の詳細表示
4.3.5 分析結果の集計表示
図 16. 品種ごとの集計表示
サイクルごとの作業の分析結果を、指定した期間で検索し集計して表示する。1か月間に発生した異常回数、作業時間の平均、最大、最小など、期間ごとに分析結果をまとめて確認できる。
保存されている映像に品種などの情報が含まれていれば、品種ごとの作業時間の差異や作業ミスの傾向を確認できる。
5. むすび
作業分析ソリューション「骨紋」と連携したMiranda映像分析AIオプションの開発により、手作業工程の作業をオンラインで分析する仕組みを構築できた。また、対象工程が完了した時点で作業ミスを検知できるため、手作業工程の手戻りや作業不良の流出を大幅に防げるようになった。これにより、課題であった手作業工程の生産性改善にかかる労力の削減と、手作業工程の品質向上を実現できた。
今後は、本開発で培った作業分析の技術を発展させ、侵入検知や体調不良者の検知、作業者の導線解析による移動ルートの最適化の実現を目指す。これにより、生産性向上だけでなく、作業安全や作業の最適化に活用できるソリューションへと発展させ、ソリューション事業のさらなる拡大につなげていきたい。
最後に、本開発を通じて技術支援を頂いた、三菱電機情報技術総合研究所並びに社内外の関係各位に深く感謝申し上げる。
| 【商標】 |
|
|---|---|
| 【参考文献】 |
|