セキュアAI開発トレーニング

概要 「TensorFlow models are programs」 これは、著名な機械学習プラットフォームであるGoogle TensorFlowの「Using TensorFlow Securely」の冒頭に記載されている文言である。TensorFlowには、学習済みモデルをファイルに書き出す、または、学習済みモデルをファイルから読み込む機能が備わっている。これにより、一度学習して作成したモデルの再利用や、モデルの第三者への配布を可能にしている。とても便利である。しかし、もし第三者から提供された学習済みモデルが悪意を持って作られていたらどうだろうか? TensorFlowの学習済みモデルには、学習済みの重みやバイアス、Optimizerなどを含めることができるほか、Lambdaレイヤを使用することで任意の関数をも含めることができる。当然ながら、任意の関数には任意のコードを記述することができる。このため、悪意のあるコードが埋め込まれた学習済みモデルを読み込み、実行することで、モデルが稼働するシステム上で任意のコードを実行することが可能となる。仮にモデルが高位の権限で稼働してい

1 mentions: @bbr_bbq
Date: 2020/06/04 00:52

Referring Tweets

@bbr_bbq 昨日のブログとほぼ同じ内容ですが、こちらにもブログを投稿しました。微妙に検証結果を追加しています。 #aisec #jpsecai MNISTの手書き数字を分類したらシステムが乗っ取られる話 t.co/d49damZ0aq

Related Entries

Read more Architecting for Machine Learning on AWS - Virtual
0 users, 2 mentions 2020/06/23 18:52
Read more AWS & NVIDIA Environmental Hackathon | USA Virtual | July 30 - Aug 24
0 users, 5 mentions 2020/07/11 23:21
Read more Player Chemistry in Soccer with Lotte Bransen by Open Source Sports • A podcast on AnchorGo to next ...
0 users, 1 mentions 2020/09/13 17:21
Read more GitHub - harritaylor/torchvggish: Pytorch port of Google Research's VGGish model used for extracting...
0 users, 0 mentions 2020/10/03 11:22
Read more Software Engineering, Research and Development Intern – Niantic Careers
0 users, 3 mentions 2020/11/25 23:11