AIシステムへの現実的な攻撃手法?効率的かつ高精度な攻撃手法ZO-NGDの登場! | AI-SCHOLAR

AIシステムへの現実的な攻撃手法?効率的かつ高精度な攻撃手法ZO-NGDの登場! | AI-SCHOLAR

3つの要点 ✔️その1 AIシステムの内部パラメータがわからない状況(black-box)でも、高精度にAIシステムを騙すことが可能 ✔️その2 2次の微分情報を推定する手法(ZO-NGD)により、従来手法より効率よくadversarial exampleを生成可能 ✔️その3 ZO-NGDによって生成したadversarial exampleは他のモデルにも転用可能 Towards Query-Efficient Black-Box Adversary with Zeroth-Order Natural Gradient Descent written by Pu Zhao, Pin-Yu Chen, Siyue Wang, Xue Lin (Submitted on 18 Feb 2020) Comments: accepted by AAAI 2020 Subjects: Machine Learning (cs.LG); Cryptography and Security (cs.CR); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML) はじめに 近年、深層学習の台頭により画像認識をはじめ、自然言語処理や音声処理の性能は大幅に向上しました。これからますます、深層学習を用いたサービスが世の中で使用されるようになるでしょう。 しかし、真に深層学習モデルを適用していくにはいくつかの課題が存在します。その中の一つに、深層学習モデルは簡単に騙せるという課題があり、これに関する研究はホットな分野となっています。この深層学習モデルを騙す攻撃のことをAdversarial attackと呼びます。以下の図はこの攻撃を表したものです。 上記の図には左右に二枚の画像があり、そのどちらも人間の目にはパンダにしか見えません。しかし、左の画像に真ん中のノイズのようなものを加えた右の画像に対して、モデルはテナガザルだと誤認識してしまいます。このように、人間にはわからない微小な変化を加えることで、モデルを騙すことができます。 このAdversarial attackには二つの設定があります。一つは攻撃対象のAIシステムの内部パラメータが全て分かっているWhite

2 mentions: @ai_scholar
Date: 2020/03/10 18:58

Referring Tweets

@ai_scholar AIシステムの脅威となる攻撃手法の登場!? AIシステムを少ないクエリ数で騙す手法を紹介しています。従来手法に比べ、最大98%のクエリ数の削減に成功しており、今後、AIシステムの脅威となり得る手法です。 t.co/qmLPJuPzct #AISCHOLAR

Related Entries

Read more 第43回 強化学習アーキテクチャ勉強会 - connpass
0 users, 6 mentions 2019/08/20 11:16
Read more ドメイン適応に強弱をつける?物体検出タスクに適したドメイン適応技術の登場! | AI-SCHOLAR
0 users, 3 mentions 2019/10/09 04:55
Read more NICT,東大 深層学習による超伝導体の予測技術 | AI-SCHOLAR
0 users, 6 mentions 2020/01/30 00:30
Read more カクカクした映像でもFPSを上げてぬるぬる動かせる!Depth-Aware Video Frame Interpolation  | AI-SCHOLAR
1 users, 5 mentions 2020/02/18 19:55
Read more Attention Map を活用した顔画像の超解像度技術「CAGFace」 | AI-SCHOLAR
0 users, 2 mentions 2020/03/08 18:55