AI推論はクラウドからデバイスへ
オンデバイスAIの未来

AI推論は今、大きな転換期を迎えています。クラウドベースのAIから、エッジ（デバイス）上でのAI推論へと移行が進んでいるのです。ハードウェア性能の向上と、より小型で高精度なAIモデルの登場により、オンデバイスAIが注目を集めています。
では、なぜこの移行が起きているのでしょうか？そして、組み込み型AIシステムを設計する際に考慮すべきポイントとは？

なぜAI推論をデバイス上で行うのか？

従来はクラウド上で複雑なAIモデルを実行するのが一般的でしたが、オンデバイスAIには以下のような魅力的な利点があります。

オンデバイスAIのメリット

• 低レイテンシ：ネットワーク遅延を排除し、リアルタイム応答が可能。

• 高い信頼性：ネットワーク品質や帯域に依存せず安定した動作。
• プライバシーとセキュリティ：ネットワークを介してのデータ漏洩リスクの軽減。
• リソース効率：通信量やストレージの削減、省電力化に貢献。

注意すべき課題

• ハードウェア制約：処理能力やメモリが限られている。
• 保守の手間：各デバイスへのモデル展開と更新が必要。
• セキュリティリスク：機器の改ざん防止。

 

オンデバイスAI設計のポイント

クラウドのようにGPUやTPU、大容量メモリ、冷却システムを備えた環境とは異なり、エッジデバイスは限られたリソースで動作します。そのため、目的を明確にし、性能要件とコストに見合ったハードウェア設計が重要です。

1. 精度と応答速度のバランスを取る

用途に応じて、モデルの種類と必要なハードウェアが変わります。

推論精度と応答性の要求に応じたAIモデルタイプ

精度	低速応答	高速応答
低精度	小型・量子化モデル	小型・量子化モデル
高精度	大型モデル（FP32など）	大型モデル（量子化による精度妥協あり）

推論精度と応答性の要求に応じたプロセッサ要件

推論精度	低速応答	高速応答
低精度	マイコンや低性能プロセッサ	NPU搭載の高性能プロセッサ
高精度	FP32対応プロセッサ	GPUや高性能NPU搭載プロセッサ

熱設計、消費電力、コストなどの制約により、妥協が必要になる場合もあります。
 

2. AI性能指標を理解する

プロセッサ選定には、単なる処理能力だけでなく、以下の指標も重要です。

• TOPS（Tera Operations Per Second）：1秒間に実行可能な演算数。一般的にInt8モデルで測定されますが、ベンダーによってスパースモデルかデンスモデルかの違いがあります。
• IPS（Inferences Per Second）：実際のモデルでの推論性能を示す指標。TOPSが同じでもIPSが異なる場合があります。
• IPW（Inference Per Watt）：電力制約下での性能比較に有効。バッテリー駆動や省電力設計において重要です。
   

3. モデルの展開方法を計画する

オンデバイスAIモデルは、量子化やプロセッサに適した形式への変換が必要です。すべてのモデルが変換可能とは限らず、独自のデータセットで再学習が必要な場合もあります。

展開に関する検討事項：

• モデルの更新頻度：固定モデルか、定期的に更新するかを決定。
• 更新方法：物理的アクセスか、OTA（Over-the-Air）による更新か。
• 接続性の要件：OTA更新やクラウドでの継続学習には安定したネットワーク接続が不可欠。

 

エッジAIの活用シーン

これらの長所と短所を踏まえて、エッジAIの活用シーンを考えてみたいと思います。

OT (Operational Technology) 機器でのAI処理

近年、IT (Information Technology)とOT (Operational Technology) を統合し、リアルタイムに情報を共有するという取り組みもある中で、高度に自動化されたシステムではOT機器にはリアルタイムに応答されることが要求されており、IT側の障害や通信遅延によって挙動が左右されることは望ましくありません。その一方で、より自動制御の精度を上げる、障害が起こった時の原因究明、解析、改善の効率を上げる等の目的のために、AIを活用していくシーンは今後増えていきます。このような用途の場合には、OT機器でのエッジAI処理が有効です。

AIが正常に稼働していると判断していて、かつ、それが正しい判断である場合には、常にセンサーで検知したデータを学習する必要はなく、ネットワーク上にAIに関する情報を流す必要はありません。AIの判断と実際の結果が食い違った場合には、そのようなケースを学習させ、学習モデルを更新する必要があるので、そのような場合には、エッジ機器から判断が誤った時のデータを抽出するために、OT通信が別途発生しますが、その通信量はクラウドAIを使うよりも圧倒的に少なくすみます。

エッジAI機器の例として、以下のようなものが考えられます。

• マテリアルハンドリングロボット
• 自動検査装置 (カメラ)
• バーコード/タグ読み取り機
• 自動運搬/搬送ロボット
• 予知保全センサーハブ

 

患者を遠隔で見守るセンサーハブのAI処理

ヘルスケア分野では、様々な用途でAIの活用が進んでいます。画像診断の補助への活用から、細胞診への活用、DNAシーケンシング等、多岐にわたります。ただ、これらの用途には、精度が求められるほか、扱うデータ量が膨大でもあり、また、数秒のうちに結果を出して次のプロセスに進むという類の用途でもないので、エッジAIよりもクラウドAIのほうが適していると言えます。

ヘルスケア分野でエッジAIが使われ始めているのは、以下のような用途です。

• 病院施設内での作業フローの改善 (病室の監視、診察室の監視、消毒済みかどうか、温度湿度管理が適正か等)
• 遠隔での患者の見守り (転倒していないか、バイタルデータが正常か、ベッド上で体位が適切に調整されているか等)
• 資産管理 (使用量と、在庫管理、投薬量の監視等)

 

これらは病院の運用にとって、ある程度リアルタイムに情報が反映されている必要があり、またこれらの情報をすべてクラウドに処理させるには情報量が膨大です。またプライバシー保護の観点で、すべての情報をクラウドに送ることは望ましくないと考えられることもあります。様々な人の動きがある中で、病院内を常にカメラで監視することに抵抗がある方もいらっしゃいます。

そのため、患者の状態を、個人を特定する情報を最小限に抑えた形で、遠隔で見守るために、AI機能を搭載したセンサーハブ機器を患者の見守りに適用する例が増えてきています。

• IRレーダーによる転倒検知
• ウェアラブル医療機器からのデータを収集し、異常を検知
• ベッドの圧力センサーデータを解析し床ずれを予防
• 加速度センサーのデータ解析による動作パターンの異常検知

 

各種センサーからのデータ単体では、推定できる状態は限られることもありますが、各種センサーの情報を統合し、解析することで、より有益な状態推定を行うことが可能となります。一般的には、センサーフュージョンといわれている概念です。​​​​​​

 

まとめ

• オンデバイスAIは、ハードウェアの進化と高精度な小型モデルの登場により、急速に普及しています。
• クラウドAIに比べて多くの利点がありますが、設計や運用面での課題も理解しておく必要があります。

サイレックスでは、オンデバイスAI組み込みシステムの開発を検討されているお客様に向けて、パートナー企業と連携しながら最適なソリューションをご提案しています。

 

 

関連製品

関連情報