cGAN (conditional generative adversarial nets)은 2014년에 나온 꽤 고전적인 생성모델 논문이다. NeurIPS에 출판된 GAN 논문과 달리, cGAN은 GAN에 conditioning을 추가한 정도의 architecture로 따로 출판된 적은 없으며 arxiv preprint로만 있다. https://arxiv.org/abs/1411.1784 물론 RoCGAN 등 cGAN의 후속 연구는 좋은 학술지나 컨퍼런스에 많이 실렸다. Conditional Generative Adversarial NetsGenerative Adversarial Nets [8] were recently introduced as a novel way to train generative model..

전통적인 XAI 방법론은 특정 input에 대한 feature importance를 분석하는 것이 주된 목표였다. 아래와 같은 saliency map이 대표적인 예시이다. 개를 classify하는 모델을 만들 때, 중요하게 보는 픽셀들을 나타내는 것이다. 하지만 이러한 feature importance는 매우 설명력이 떨어진다. 개라는 사실을 판단하는 데 중요한 것인지, 개가 아니라는 사실을 판단하는 데 중요한 것인지 불확실하며 결국 그 feature들이 어떻게 모델의 판단에 영향을 미치는지를 알 수 없도록 한다. 본 논문에서는 아주 재미있는 방법으로 explainability에 접근하는데, 특정 feature를 점진적으로 강조하거나 소멸시켜서 언제 descision boundary를 넘냐를 보는 것이다..

Mechanistic interpretability란?최근 Explainable AI(XAI)에서 가장 핫한 주제 중 하나는 mechanistic interpretability 이다. XAI는 여러 가지 분야가 있다. SHAP, LIME으로 대표되는 설명가능성은 입력 데이터의 feature에 따라 모델이 어떤 반응을 보이는지를 모델 종류에 상관없이 설명할 수 있는 방법론(model agnostic post-hoc explainability)이고, Grad-CAM 같은 방법론은 propagation을 이용해 모델에 들어오는 input 중 어디가 결과에 많은 영향을 미쳤는지 설명하는 방법론이다. 하지만, 이런 방법론은 굉장히 high-level한 설명이며 인간이 이해하는 concept와 연결짓기 어렵다는 한..

전통적인 GCN(https://cascade.tistory.com/134)은 시간적 요소가 포함되어 있지 않고, node와 edge 관계가 고정된 상태에서 사용한다. ST-GCN은 특정 시간에서의 graph 구조 (spatial graph)와 시간에 따라 변하는 graph 구조 (temporal graph)를 모두 모델에 반영할 수 있는 모델이다. 본 포스팅에서는 Stanford 컴퓨터공학과 및  의학과 공동연구로 S.Gadgil, Qingyu Zhao et al이 2021년 저술한 ST-GCN fMRI classification 논문인 "Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis"을 리뷰할 것이다. 주요한 task : Age, ..

전통적인 GCN(https://cascade.tistory.com/134) 은 고정된 adjacency matrix를 사용한다. 하지만 실제로는 그래프에서 노드 간의 관계는 가변적이다. (소셜 미디어를 예시로 들면, 새로 친구를 맺거나 친구를 끊는 이용자들이 있다). GCN에서 이러한 요소를 개선하려는 시도는 많이 있어왔는데, 대부분의 경우 계산량이 많은 행렬연산 (inversion 등)을 동반한다. ICLR 2018에 등장한 GAT (Graph Attention Networks)는 attention을 이용하여 이러한 가변적인 그래프 연결관계를 적절한 계산량으로 잘 모델링한다. GAT의 동작과 수식GAT는 가변적인 엣지를 attention vector를 통해 모델링한다. 한 번의 업데이트에는 아래 세 가..

GCN은 2016년 Kipf와 Welling의 " Semi-supervised classification with graph convolutional networks" (ICLR 2017)으로 처음 등장하였다. GCN은 일부 노드의 label과 각 노드의 연결관계가 주어진 상태에서 label이 주어지지 않은 노드를 예측하는 node classification을 목적으로 설계되었으나, 전체 그래프에 부여된 label을 예측하는 graph classification에도 사용될 수 있다. Graph classification에서는 일반적인 GCN에 pooling layer가 적용된 형태를 주로 이용한다.  Node classification과 graph classification에서는 Cross Entropy..