AIと機械学習に対する脅威：敵対的学習とは？

2024-09-30 Terry Gaul

人工知能（AI）と機械学習（ML）技術は急速に発展しており、政府や企業、産業組織によるIT活用が拡大するにつれて、主流のシステム、デバイス、重要なアプリケーションの世界的な普及が進んでいます。また、自動運転システムや医療技術など、多様な分野において、明文化されたアプリケーションが存在します。しかしながら、IoTデバイスやIIoTシステムに潜むサイバーセキュリティリスクと同様に、AIや機械学習技術も、重大な障害や大惨事を引き起こしかねない攻撃に対して脆弱です。

米国国立標準技術研究所（NIST）は、こう述べています。「生成AIは、大きな変革・恩恵をもたらすとともに、従来のソフトウェアとは大きく異なるリスクももたらすでしょう。」2024年1月、NISTは、AIシステム特有のサイバー攻撃である敵対的機械学習に関する詳細を発表しました。敵対的機械学習とは、攻撃者が、AIシステムの学習に使用されるデータを「破損」または「汚染」することで、そのAIシステムに誤動作が起きる攻撃手法です。

敵対的機械学習は、誤分類を引き起こすような敵対的サンプルを入力することで、機械学習モデルを不正に操作することを狙っています。このような入力は、機械学習モデルに誤動作を起こし、データの漏えいや、機械学習の妨害につながる可能性があります。

プリンストン大学、カリフォルニア大学バークレー校、パデュー大学による研究で用いられたシンプルな例は、自動運転において、敵対的機械学習が悪用された場合の危険性を示しています。自動運転車は、機械学習モデルを用いて道路標識を認識しています。こうした道路標識に軽微なノイズを加えることで（例：「譲る」を意味する標識にステッカーを貼る）、機械学習モデルが誤った結果をもたらす恐れがあるのです。

NISTの報告書では、回避攻撃、データ汚染攻撃、プライバシー攻撃、悪用攻撃、これらを主要な4つの攻撃手法として紹介しています。また、それらを、攻撃者の狙いや目的、能力、知識などの複数の基準に基づき分類しています。

回避攻撃：AIシステムの展開後、攻撃者が入力を変更し、誤分類を起こさせる攻撃手法。例）自動運転車が、「停止」を意味する標識を「速度制限」と誤認するよう、標識にマーキングを付ける。車体が道路から逸脱するよう、紛らわしい車線表示を設ける。
データ汚染攻撃：AIの学習段階で、汚染されたデータを入れ込む攻撃手法。例）チャットボットが、顧客とのやりとりにおいて使用できる「適切」な表現として誤って解釈するよう、会話データに不適切な表現を多数紛れ込ませる。
プライバシー攻撃：AIシステムの展開時に、AIの悪用を目的として、AIやその学習データに関する機密情報を取得しようとする攻撃手法。チャットボットに対し、さまざまな質問を投げかけ、その答えをもとに、モデルのリバースエンジニアリングを行い、その弱点を見つけ出す。あるいは、その学習データを推測する。AIが不適切な振る舞いをするよう、学習データに望ましくないデータを加える。学習データは、AIに残り続けるという特徴を利用し、学習前の段階に戻すことを困難にさせる。
悪用攻撃：学習に使われるウェブサイトやドキュメントに不正な情報を埋め込み、それをAIに学習させる攻撃手法。前述のデータ汚染攻撃とは異なり、学習データはそのままに、その学習データ自体に不正な情報を入れ込み、AIシステムの用途を変更させようとする。

これら4つの攻撃手法は、まだ序章にしか過ぎません。AIや機械学習のユースケースが増えれば増えるほど、データに対する攻撃の種類や規模も増えていくことは間違いないでしょう。

知的財産（IP）の保護とデータセキュリティを専門とするWibu-Systemsにとって、AIと機械学習データの保護は、見逃すことのできない最優先事項のひとつです。AIは、その機能性だけでなく、独自のアルゴリズムやデータによって初めてその価値を発揮します。従って、機械学習のライフサイクルの中で使用されるデータやアルゴリズムを不正操作から保護するだけでなく、学習データからAIの仕組みが漏れる可能性も前提としたうえで、機密情報やIPも同時に保護する必要があります。そのような意味で、IPには、AIアプリケーションそのものや、特定の学習パラメーターに関連する基礎データも含めなければなりません。

市場の競争を勝ち抜くためには、AIモデルの保護は、単なるオプションとしてではなく、必須条件とすべきです。モデルには、長年にわたる研究、開発、投資というIPが詰め込まれています。こうしたIPが流出することになれば、多大な金銭的損失、評判の低下、競争上の優位性の喪失につながりかねません。

Wibu-SystemsのCodeMeterテクノロジーは、AIモデルに含まれるIPを保護するための総合的なツールセットを提供します。暗号化やライセンシングから、セキュアな配布・実装に至るまで、CodeMeterソリューションは、高性能かつ柔軟に設計されており、既存のワークフローへのシームレスな統合も可能です。

例えば、CodeMeter Protection Suiteは、AIシステムや機械学習に用いられる実行可能ファイルとデータの両方を保護するためのツールを提供しています。実行可能ファイルは、従来の「隠蔽によるセキュリティ」のメカニズムをはるかに超えた形で、改ざんやリバースエンジニアリングから保護されます。実行可能ファイルや機密性の高い関数は、実績ある暗号化アルゴリズムを使って暗号化されます。さらに、ソフトウェアとデータの整合性保護のためにも、暗号化手法が適用されます。関数やデータは、実行時に復号されます。機密性の高いコードが、復号され実行される際には、キーなどは、セキュアなハードウェアへ安全に転送・保管することもできます。これにより、キー自体が保護されるだけでなく、キーを用いた不正操作も防ぐことが可能です。

また、AIアプリケーションの多くは、オープンソースのフレームワークが豊富で、人気の高いPythonで記述されます。このPythonに特化したAxProtector Pythonは、学習に使用されるフレームワークのコードと、機械学習のライフサイクルで使用されるデータの両方を、不正操作、漏洩、不正利用から守ります。Pythonアプリケーションの保護についての詳細は、過去に開催されたウェビナー「遂にPythonに対応！コードの暗号化とライセンスビジネス」よりご覧いただけます。

■ 関連情報