논문 스터디/ML attack

[2020 EMNLP, NLP black-box attack] BERT-Attack Adversarial Attack Against BERT Using BERT

https://arxiv.org/pdf/2004.09984.pdf 시작하기에 앞서 앞서 필자는 TextFooler에 대해서 리뷰를 진행했다. 굉장히 획기적인 방법이긴 했지만 기법상 여러 tool들을 사용하다보니 의존성이 많아 아쉬움이 남았다. 하지만 BERT-Attack은 black-box attack으로서의 아쉬움을 다소 해결해주는 방법론이라고 할 수 있다. 요약 BERT모델을 finetuning하여 specific task를 수행하도록 바꾼 모델을 pretrained-BERT를 통해 공격하는 공격 방법론 Background & Motivation 사실 background의 경우에는 TextFooler에서 발전된 연구인만큼 비슷하다. 하지만 용어나 조건 등을 좀 더 다듬어서 설명한 부분이 있으니 다시 ..

[AAAI 2020, NLP black-box attack] TextFooler

https://arxiv.org/abs/1907.11932 Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models b a..

[2017 NIPS] Attention is All You Need 리뷰

Annotated Transformer: https://nlp.seas.harvard.edu/2018/04/03/attention.html Illustrated Transformer: https://jalammar.github.io/illustrated-transformer/ Original paper: https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf > 연구 문제(Motivation) : Q1. 기존의 기법들과 한계 정의 1. Seq2Seq Transformer가 등장하기 전, NLP에서 가장 많이 사용하던 구조는 Seq2Seq 모델이다. 사실 Sequence to Sequence 는 모델이..

[XAI] CAM과 Grad-CAM 논문 리뷰

이번에는 이미지 처리에 관련된 모델이 제대로 작동하고 있는지 획기적으로 파악할 수 있으며 각종 관련 모델들에 시각화로 사용하고 있는 기법인 Class Activation MAP 을 소개하고자 한다. 설명할 논문은 다음과 같으며 실험보다는 원리에 집중하여 작성하였다. CAM : (2016 CVPR) Learning Deep Features for Discriminative Localization Grad-CAM : (2017 ICCV) Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization 1. CAM 본 논문은 처음으로 class activation map을 제안하였으며 GAP(Global Average Poolin..

[AML Defence][2019 CVPR] Feature Denoising for Improving Adversarial Robustness 논문 리뷰

* AML 분야에 대해서 어느 정도 알고 있다는 전제하에 작성되었으며 개념보다는 논문 내 방식 설명에 집중했습니다. 아직 배우는 단계기 때문에 정 아니다 싶거나 궁금한 점이 있다면 댓글로 첨언해주세요. 두 번째로 리뷰할 논문은 Feature Denoising for Improving Adversarial Robustness으로 마찬가지로 AML Defense 분야의 논문이며 Denoising과 Adversarial Retraining에 관련된 적대적 방어 기법이다. Q0. Adversarial Defense의 종류 현존하는 Adversarial Defense는 크게 Adversarial Training, Defense Distillation, Denosing. 이 세 종류로 구분할 수 있다. Advera..

[AML Defence][2018 ICLR] Defense-GAN 논문 리뷰

* AML 분야에 대해서 어느 정도 알고 있다는 전제하에 작성되었으며 개념보다는 논문 내 방식 설명에 집중했습니다. 아직 배우는 단계기 때문에 정 아니다 싶거나 궁금한 점이 있다면 댓글로 첨언해주세요. 이번에 리뷰할 논문은 Defense-GAN:Protecting Classifiers against Adversarial Attacks using Generative Model. AML Defense 분야의 논문이며 기존 딥러닝 모델인 GAN(Genarative Adversarial Neetwork)를 활용한 적대적 방어 기법이다. 본 논문의 기법을 본격적으로 설명하기에 앞서 필요한 전제 정보들을 먼저 알아보겠다. (적혀있는 내용을 중심으로 서술하였으며 추가로 찾아보았던 부분은 출처를 적어두었음.) Q0. ..