LambdaCourse

[권도현] Towards Robust Vision Transformer

whereami72 — Sat, 22 Aug 2026 11:48:05 +0900

https://openaccess.thecvf.com/content/CVPR2022/papers/Mao_Towards_Robust_Vision_Transformer_CVPR_2022_paper.pdf

CVPR 2022

저자 Alibaba Group

배경

ViT가 CNN보다 상대적으로 robust하다는 관찰은 있었지만 그 원인이 명확하지 않았고, 당시 ViT 변형들의 구조 설계도 주로 clean accuracy만 보고 이루어졌기 때문에, 각 architecture component가 robustness에 미치는 영향을 체계적으로 분석하고 그 결과로 robust ViT를 설계하려고 한다.

2020 ViT 등장
→ CNN 없이 Transformer만으로 이미지 분류가 잘 된다.

2021 robustness 연구들
→ “ViT가 corruption이나 distribution shift에서 CNN보다 강하다”라는 결과들이 나왔다. 그런데 다른 연구에서는 training recipe나 모델 크기를 맞추면 CNN과 차이가 줄어든다고 반박하기도 했다.

그리고 동시에 ViT 성능을 높이기 위해 많은 후속 모델이 CNN식 구조를 넣고 있었다.

Vanilla ViT

↓

convolutional stem 추가

local attention 추가

hierarchical structure 추가

relative position encoding 추가

...

↓

clean accuracy ↑

당시에는 대부분 모델을 설계할 때 I를 중심으로 판단했지, 까지 구조 요소별로 따져서 설계하지는 않았다. 따라서 이런 설계 변경들이 clean accuracy는 올리는데, robustness에도 좋은가? 에 대한 의문도 생겼었다.

모델 아키텍처

2. 3. 4.

전체 아키텍쳐

Patch Embedding

기존 ViT

기존 ViT는 이미지를 patch로 나눈 다음, 각 patch를 펼쳐서 Linear Projection으로 token으로 바꾼다.

Image -> 16×16 patches -> Flatten -> Linear Projection -> Patch Tokens

저자들은 이런 단순한 patch embedding이 edge, corner 같은 low-level visual structure를 충분히 활용하지 못할 수 있다고 봤다. 기존 ViT 변형들에서 사용하던 convolutional embedding, T2T embedding 등을 DeiT-Ti에 붙여 robustness를 비교했을때. T2T(Tokens-to-Tokens) 방식이 견고성과 정확도 면에서 가장 우수했지만, 연산 효율성을 고려해 Conv 방식을 선택했다.

Linear Projection
- 방법: 이미지를 (16 x 16) 크기의 패치로 만듦
- 연산: 각 패치를 그냥 일렬로 세운다 (16 x 16 x 3 = 768)개의 픽셀 값)
Convolutional Stem
- 방법: 패치로 쪼개기 전 작은 컨볼루션 필터를 여러 번 적용
- 연산:필터가 이미지 위를 훑으며 인접한 픽셀끼리 가중치를 곱하고 더합니다.이 과정을 거쳐 특징 맵(Feature Map)이 됨
- 변환: 이후 패치화(Patching)를 하고, 이후 Linear Projection
T2T (Tokens-to-Tokens)
- 방법: 한 번에 끝내지 않고, 계층적으로 패치를 합친다
- 연산: 매우 작은 단위(7x7)로 패치를 쪼갠다.이 작은 패치들끼리 서로 Attention을 수행.연관성 있는 패치들끼리 묶어서(Merging) 다시 하나의 토큰으로 만들고.이 과정을 2~3번 반복

Position Embedding

Transformer는 token의 순서를 원래 알 수 없기 때문에 position embedding을 더해준다.

Patch token + Position embedding -> Transformer

None: 위치 인코딩을 적용하지 않는 방식. 모델이 입력 데이터의 순서나 공간적 구조를 인식하지 못함.
Learned Absolute: 고정된 개수의 학습 가능한 벡터를 생성하고, 입력 토큰에 1:1로 더하는 방식. 각 위치(0번 패치, 1번 패치 등)에 고유한 벡터 값이 대응됨.
Sin-cos Absolute: 학습을 거치지 않고, 사인(Sine)과 코사인(Cosine) 함수로 계산된 고정 값을 위치 벡터로 사용하는 방식.
Learned Relative: 절대적인 위치가 아닌, 토큰과 토큰 사이의 거리(상대적 거리)를 학습하여 반영하는 방식.
Input-conditioned (CPE): 입력 데이터에 컨볼루션(Convolution) 연산을 적용하여, 입력의 특징에 따라 위치 값을 유연하게 계산하여 더하는 방식.

Position Encoding은 있어야 robustness가 좋아진다.

하지만 Learned Absolute / Sin-Cos / Relative 중 무엇을 선택하는지만으로는 robustness가 크게 달라지지 않는다.

CPE는 input-dependent라 오히려 조금 불리하다. CPE가 입력에 conditioned되어 있어서 입력이 perturbation되면 positional representation 자체도 같이 변하기 쉬워 robustness에 불리할 수 있다고 말한다.

Self-attention은 각 patch의 Q와 K 내적을 이용해 어떤 patch를 볼지 결정한다. 그런데 adversarial perturbation이 patch feature를 변경하면 Q와 K도 변하므로, attention logits가 달라지고 결과적으로 모델이 중요하게 보는 patch 관계가 크게 바뀔 수 있다. 따라서 attention 자체가 두 patch의 공간적 관계를 고려하도록 만들자

=> PAAS(Position-Aware Attention Scaling )

Multi-stage 구조 도입
Attention head 수 조정
Local attention은 쓰지 않고 global attention 유지
FFN을 Convolutional FFN으로 변경

Multi-stage

V2는 뒤쪽의 더 낮은 resolution stage인 S4에 2개 block를 넘겼을때 roburst 성능이 젤 좋았다. V5, V6처럼 S1과 S2의 높은-resolution stage에 block을 넣기 시작하면 robustness가 크게 떨어졌다.

고해상도 feature를 처리하는 block이 너무 많을수록 robustness가 떨어졌다.

논문이 최종적으로 선택한 stage distribution은 V2 = [0,0,10,2]

S1 56×56 : 0 blocks
S2 28×28 : 0 blocks

S3 14×14 : 10 RVT Blocks
                  ↓
             2×2 Pooling
                  ↓
S4  7×7   : 2 RVT Blocks

Attention head 수

헤드 개수가 적을 때
- 상태: 정보 처리의 '완전성'이 결여됨.견고성 영향: 입력된 패치들 사이의 관계를 소수의 헤드가 모두 처리해야 하므로, 모델이 정Coarse representation을 배우게 된다. 이 경우, 모델은 이미지의 핵심 형상보다는 특정 패치들에 과하게 의존하거나, 노이즈를 포함한 전체적인 통계치에 쉽게 낚일수있다. 그렇게 되면 공격자가 주입한 고주파 노이즈에 대한 대응 능력이 낮아 견고성이 매우 취약
헤드 개수가 증가할 때 (최적점까지: 예: 8개)
- 헤드가 늘어남에 따라 각 헤드는 입력 정보의 서로 다른 측면(다각적 관점)을 분담하여 처리. 이를 통해 모델은 사물의 미세한 구조(Fine-grained representation)를 정교하게 포착하게 된다. 공격자가 이미지의 일부분에 노이즈를 섞더라도, 8개의 헤드가 각기 다른 영역과 관계성을 감시하고 있으므로, 특정 헤드의 왜곡이 모델 전체의 판단을 바꾸게 하지 못한다. 즉, 공격에 의한 오염을 분산시키고 상쇄하는 효과가 발생하여 견고성이 높아진다.
헤드 개수가 지나치게 많을 때 (12개 이상)
- 전체 feature 차원이 고정된 상태에서 헤드 개수만 늘리면, 각 헤드가 담당하는 차원의 크기(Head dimension)가 작아진다.각 헤드가 다룰 수 있는 정보의 밀도가 낮아져서, 사물을 파악하는 정보가 파편화된다. 이는 모델이 안정적인 특징을 추출하는 데 방해가 되어서 결과적으로 견고성 정확도가 다시 떨어지게 됩니다.

Global attention

기존 ViT

P1 ↔ P2
P1 ↔ P3
P1 ↔ P100
...

멀리 떨어진 patch끼리도 직접 관계를 계산할 수 있다.

반면 Swin 스타일의 local window attention은:

[ P1 P2 P3 ]
[ P4 P5 P6 ]
[ P7 P8 P9 ]

이 안에서만 attention을 계산하고, 멀리 있는 patch와는 바로 관계를 못 보게 된다. 저자들은 이것이 ViT의 장점인 long-range dependency modeling을 손상시킬 수 있다고 본다. long-range attention은 이미지의 멀리 떨어진 여러 영역을 함께 이용해서 object의 전체 구조를 파악하는데, 한 local texture가 깨지더라도 다른 영역의 정보를 이용할 여지가 있다. Transformer가 long-range dependency를 통해 shape-biased feature를 학습하는 능력이 corruption/OOD robustness와 관계 있을 수 있다고 보고 있다.

Convolutional FFN

Transformer FFN은 각 token을 독립적으로 처리한다. FFN 내부에서는 Token 1이 Token 2 정보를 직접 보지 않는, position-wise MLP이다. conv 를 추가함으로써 convolutional FFN이 현재 token과 주변 token을 같이 encode해서 local information exchange를 만든다고 설명한다.

원래 Transformer는 token끼리 섞는 역할은 self-attention이 담당하고, FFN은 각 token feature를 더 복잡하게 변환하는 역할로 분업했다. 기존 FFN 대신 convolutional FFN 방식을 사용하는게 robustness 를 올릴수있다고 보았다.

Self-Attention → token ↔ token 정보 교환
FFN → 각 token 내부 feature 변환

Token1 → Linear → Activation → Linear
Token2 → Linear → Activation → Linear
Token3 → Linear → Activation → Linear

Linear
↓ 토큰들을 2D grid로 봄
↓ 3×3 Conv
↓ Linear

convolutional FFN은 ViT의 long-term dependency modeling ability를 손상시키지 않는다
일반 FFN은 single token representation만 encode하지만, convolutional FFN은 현재 token + 이웃 token을 함께 encode한다

RVT는 Transformer block에서 multi-stage 구조를 사용하고, 적절한 attention head 수를 선택하며, global self-attention은 유지하고, FFN 내부에는 3×3 convolution을 추가했다.

Classification Head

기존 ViT

Transformer를 여러 층 통과하면서 [CLS] token이 다른 모든 patch token과 attention을 주고받는다. 마지막에는 [CLS]가 전체 이미지 정보를 모은 representation 역할을 하고, 그걸 classifier에 넣어서 판단하는 구조

[CLS] token + patch tokens
↓
Transformer Blocks
↓
마지막 [CLS] token만 꺼냄
↓
Linear Classifier
↓
Class prediction

저자들은 CNN에서는 마지막 feature map을 global average pooling해서 여러 spatial location의 정보를 합치는데, 이 방식이 translation invariance를 활용하는 데 유리하다고 판단했다.

Translation invariance = 물체가 이미지 안에서 조금 이동해도 최종 예측이 거의 안 바뀌는 성질

예를 들어 고양이가 왼쪽 위에 있든, 오른쪽 아래로 조금 이동한 경우이든 모델이 둘다 고양이라고 판단한다면 translation invariant하다고 한다. 아래의 경우에 대해서 global average pooling은 평균갓ㅂ이 같다.

0 0 5 0
0 0 0 0
↓
0 0 0 0
0 5 0 0

실험 결과도 CLS token은 필수적이지 않고, 오히려 마지막 output tokens에 global average pooling을 적용하면 robustness가 좋아진다는 것을 확인할 수 있다.

PAAS

Position-Aware Attention Scaling, attention score를 위치 정보까지 고려해서 scaling하는 방식이다.

기존 ViT = content similarity -> Attn

PAAS = content similarity x position importance -> Attn

Attn 에서 원소는 i번째 위치의 query와 j번째 위치의 key의 content similarity를 나타내고, paas 는 여기에 N*N 행렬을 element wise 로 곱한다.

Key 위치.
1 2 3 4
Query 1 w11 w12 w13 w14.
위치 2 w21 w22 w23 w24
3 w31 w32 w33 w34
4 w41 w42 w43 w44

위치 i ↔ 위치 j 관계가 자주 유용함
→ Wp[i,j] 크게
위치 i ↔ 위치 k 관계가 별로 필요 없음
→ Wp[i,k] 작게

원래
important region → attention 큼
irrelevant region → 작음
adversarial input
important region → 일부 유지
irrelevant region → 갑자기 큼

noisy attn map 이 생성되는데, paas 가 적용된 경우 행렬 W 가 soft mask c처럼 작동해, classification 에는 작은 값을 준다. adversarial perturbation 때문에 갑자기 커진 attention을 억제하는 효과가 있다.

같은 layer 범위에 적용했을 때 PAAS가 기존 position embedding보다 항상 조금 더 좋다.
더 많은 block에 position mechanism을 적용할수록 성능이 좋아지다가 어느 정도 포화된다. 논문 본문에서는 특히 약 5개 block 이후부터 PAAS 효과가 saturation되는 경향이 있다

Patch-Wise Augmentation

기존 image-level augmentation만으로는 ViT의 patch 간 관계를 충분히 다양하게 못 만든다 → patch마다 augmentation을 따로 줘서 inter-patch diversity를 늘리자고 주장

기존

기존 image-level augmentation
[ P1 ][ P2 ][ P3 ]
[ P4 ][ P5 ][ P6 ]
↓ 전체 이미지에 동일한 변환
[flip][flip][flip]
[flip][flip][flip]

ViT는 intra-patch feature(patch 내부 특징)이고, 다른 하나는 inter-patch relation(patch끼리의 관계)를 학습한다. 그런데 전체 이미지를 한 번에 변형하면 patch 내부에는 변화가 생겨도, 모든 patch가 같은 transformation을 받으니까 patch들 사이의 변형 조합은 다양하지 않다

Patch-wise augmentation
[ P1: crop ][ P2: noise ][ P3: original ]
[ P4: flip ][ P5: crop ][ P6: noise ]

RC = Random Resized Crop : patch 하나를 받아서 그 patch 내부에서 일부 영역을 무작위로 crop한 다음, 다시 원래 patch 크기로 resize하는 augmentation
GN = Gaussian Noise : patch의 각 픽셀 값에 작은 랜덤 노이즈를 더하는 것
HF = Horizontal Flip : patch 하나를 좌우로 뒤집는 것

*논문 설정상 각 patch에 대해 각 augmentation이 적용될 확률 p를 0.1 로 두고 있다.

Gaussian noise가 robustness 개선에 가장 효과적이었다
세 방법 모두 clean/robust accuracy에 도움이 됐다.

Experiment

표 설명

robustness를 3종류로 나눠서 실험했다.

Adversarial robustness: FGSM, PGD, ImageNet-A
Common corruption robustness: ImageNet-C
Distribution shift / OOD robustness: ImageNet-R, ImageNet-Sketch

FGSM (Fast Gradient Sign Method)

= 입력 이미지에 사람이 거의 알아보기 힘든 작은 perturbation을 추가해서 모델이 오분류하도록 만드는 adversarial attack

loss를 입력 이미지 에 대해 미분해서, 각 픽셀을 어느 방향으로 바꾸면 loss가 증가하는지 찾는다.

: 원본 이미지
: 정답 label
: 모델의 loss
: 입력 이미지의 각 픽셀을 어느 방향으로 바꾸면 loss가 증가하는지 나타내는 gradient
: gradient의 크기는 버리고 증가 방향은 , 감소 방향은 로 변환
: 이미지에 추가할 perturbation의 크기

결과 분석

같은 급의 기존 ViT 대비 RVT가 훨씬 robust하다

Tiny 모델 기준으로:

DeiT-Ti: Clean 72.2 / FGSM 22.3 / PGD 6.2 / IN-C 71.1 / IN-R 32.6 / IN-SK 20.2
RVT-Ti: Clean 78.4 / FGSM 34.8 / PGD 11.7 / IN-C 58.2 / IN-R 43.7 / IN-SK 30.0
RVT-Ti*: Clean 79.2 / FGSM 42.7 / PGD 18.9 / IN-C 57.0 / IN-R 43.9 / IN-SK 30.4

DeiT → RVT에서 이미 구조만 바꿔도 robustness가 크게 올라가고, RVT → RVT*에서 PAAS + patch-wise augmentation을 추가하면 특히 FGSM/PGD가 더 크게 좋아진다.

clean accuracy가 높은 모델이 반드시 robust한 건 아니다. 예를 들어 PVT-Small은 clean accuracy 79.9로 DeiT-S와 비슷하지만 FGSM은 26.6, PGD는 3.1로 훨씬 낮아. 반면 RVT-S는 clean 81.7, FGSM 51.3, PGD 26.2로 훨씬 강하다.

RVT가 한 종류 robustness만 좋아진 게 아니라 adversarial / corruption / distribution shift 세 축에서 전반적으로 좋아졌다.

DeiT-Ti, ConViT, PiT 에도 PAAS와 Patch-wise Augmentation을 적용했더니, 모든 모델에서 견고성이 5% 이상 향상되었다.
어떤 ViT를 가져와도 견고성을 높여주는 plug-and-play 도구로서 활용할수있다ㅏ.

[김민정] Scalable Diffusion Models with Transformers

lucia-m-kim — Sat, 22 Aug 2026 11:34:41 +0900

1. Intro

- 제목: Scalable Diffusion Models with Transformers (DiT)

- William Peebles, Saining Xie / ICCV 2023 (Oral, Best Paper), IEEE 2023

-8623 Citations

- https://arxiv.org/abs/2212.09748

- 김민정, 260822 발표

One Liner

CNN을 Transformer로 변경한 뒤, 모델을 키우면 성능이 예측 가능하게 좋아짐(scalability)을 증명함.

CNN은 키워도 한계가 있는데, Transformer는 키우면 키우는 만큼 좋아진다는 게 GPT에서 이미 증명됨. 그 성질을 이미지 생성에 가져온 것.

1. 배경지식 (Diffusion / U-Net / ViT / Latent Diffusion)

2. 문제 제기

3. DiT 아키텍처

4. 실험 — 스케일링 분석

5. 결과 및 한계

6. 정리

2. Diffusion Model 수식 추가 !!

사진에 노이즈를 점진적으로 더한 결과물에서 역과정을 거치면 새로운 사진을 생성할 수 있다.

Foward process - 노이즈 더하기

원본 이미지 x_0 에 정해진 비율로 가우시안 노이즈를 섞는다.

t : 타임스텝 (0 = 원본, 1000 = 완전 노이즈). 논문에서 t_{max}=1000
bar_alpha_t : 하이퍼파라미터 (학습 안 함). 논문은 linear variance schedule, 1*10^{-4} -> 2*10^{-2}
결론: 이 식 덕분에 아무 t 나 골라서 한 번에 노이즈 이미지를 만들 수 있다 (순차적으로 1000번 안 돌려도 됨) → 학습이 효율적임

Reverse Process - 신경망을 이용해 노이즈 제거하기

신경망은 노이즈 낀 이미지에 어떤 노이즈가 섞였는지 맞추는 역할을 한다.

학습 손실함수

모델이 예측한 노이즈와 실제로 넣으 노이즈의 mean squre error로 간단하게 축약이 가능하다.

iDDPM과 샘플링

분산 (Sigma_theta)를 학습하려면 전체 KL항이 필요해서 논문은 Nichol & Dhariwal(iDDPM) 방식 채택함.

이로 인해 DiT의 출력 채널이 2C가 됨. (노이즈 C + 분산 C)로 이루어짐, 추후 디코더 설명시 연결됨.

Sampling - 이미지 생성

순수 노이즈 에서 시작하여 신경망으로 노이즈를 예측하며 차차 노이즈를 제거해나간다. x_t_max -> x_t-1이 과정을 반복한다. 논문에서는 250 DDPM steps를 사용했다. 최종적으로 x_0가 생성 이미지가 된다.

Diffusion의 특이점

GAN은 한 번에 다 만들고, Diffusion은 여러 번 반복해서 만든다. 그래서 느리지만 품질/다양성이 좋고, 샘플링 스텝 수라는 추가 연산 축이 존재한다 .

3. U-Net

U-Net (Ronneberger 2015, 원래 의료영상 세그멘테이션용): 인코더로 줄이고 디코더로 키우면서 skip connection으로 연결하는 CNN

U-Net (Ronneberger 2015, 의료영상 세그멘테이션용): 인코더로 줄이고 디코더로 키우면서 skip connection으로 연결하는 CNN
디퓨전에서 U-Net이 쓰이는 구조적 이유: 입력과 출력의 shape가 같아야 한다! (노이즈 낀 이미지 → 같은 크기의 노이즈 예측).
Ho et al. (DDPM, 2020)이 PixelCNN++에서 물려받아 처음 도입 → ResNet 블록 + 낮은 해상도에 self-attention 끼워넣기
Dhariwal & Nichol (ADM, 2021)이 세부 튜닝(adaptive norm, 채널 수 등)은 했지만 구조는 가져감.

Inductive Bias of CNN

CNN이 이미지를 다룰 때 가지고 있는 다음 가정들

Locality (지역성): 가까운 픽셀끼리 관련 있다
Translation equivariance (이동 등변성): 고양이가 왼쪽에 있든 오른쪽에 있든 같은 필터로 잡힌다
Multi-scale hierarchy: U-Net의 다운/업샘플링 구조

데이터가 적을 때는 이 가정이 도움이 되지만, 데이터·연산이 많아지면 오히려 제약이 된다는 것이 ViT 이미지 분류에서 증명됨.

논문은 U-Net의 inductive bias는 디퓨전 성능에 필수적이지 않다고 주장한다.

4. Vision Transformer

트랜스포머는 원래 1차원 토큰 시퀀스용이므로 2차원 이미지를 처리하기에 곤란하다.

ViT는 이미지를 패치로 잘라 단어처럼 취급한다.

이미지를 p* p격자로 자름 (예: 16×16)
각 패치를 flatten → linear projection → d(차원 벡터) (= 토큰)
positional embedding 더해서 위치 정보 주입 (Transformer 자체는 순서를 모름)
Transformer 블록 N개 통과

시퀀스 길이, I는 입력 해상도

Tradeoff for ViT

패치를 절반으로 줄이면 (p: 4 -> 2) 토큰 수는 4배 → 연산량(Gflops)도 최소 4배가 된다.

그런데 파라미터 수는 거의 안 변한다. (첫 linear layer만 살짝 바뀜)

결과적으로 이 논문이 파라미터 수 ≠ 성능, Gflops = 성능을 증명하는데 사용된다.

왜 파라미터 수가 아니라 Gflops인가

생성모델 논문들은 관례적으로 파라미터 수로 모델 복잡도를 표현해 왔다
하지만 파라미터 수는 해상도/토큰 수를 반영하지 못한다 → 나쁜 프록시
아키텍처 설계 연구(RegNet 등)에서 표준인 theoretical Gflops 를 쓰겠음

4. Latent Diffusion Model - Why Latent?

256×256×3 = 196,608 차원에서 디퓨전을 돌리면 너무 비싸다. 게다가 픽셀 대부분은 지각적으로 의미 없는 고주파 디테일이다.

LDM (Rombach et al. 2022, Stable Diffusion 논문)

VAE 학습 (인코더 E, 디코더 D) — 이미지를 작은 공간 표현으로 압축
latent에서 디퓨전 학습: z = E(x)에 대해 디퓨전. E를 고정함.
생성 시: 디퓨전으로 z 샘플링 → x = D(z) 로 이미지 복원

256×256×3 이미지 → 32×32×4 latent (약 48배 압축), 512×512 → 64×64×4 latent

latent 이용시 10배 저렴해진다.

hybrid-based approach — convolutional VAE + transformer DDPM

6. Conditioning

디퓨전 모델을 사용하려면 이미지 외로 다음 두 추가 정보가 필요하다.

타임스텝 t: 지금 노이즈가 얼마나 심한 단계인지 나타냄
클래스 라벨 y (or text): 무엇을 그릴지 나타냄

어떻게 Transformer 블록에 이 정보를 입력할까 고민함.

7. Classifier-Free Guidance

샘플링시 더 조건을 강하게 제시하고 싶어서 고안함.

디퓨전 모델의 출력을 score function으로 해석하면 다음과 같다.

varnothing :[조건 없음]을 나타내는 학습된 null embedding. 학습 중 라벨을 랜덤하게 drop해서 만든다
s > 1 : guidance scale. s = 1 이면 일반 샘플링
해석: 조건 있을 때의 예측 방향으로 더 과장해서 밀어라
비용: 매 스텝 forward를 2번 (조건 있음/없음) → 샘플링 2배 느려짐

Tradeoffs

s↑ ->. 충실도(fidelity)·Precision ↑, 다양성(diversity)·Recall ↓

논문 결과: DiT-XL/2 guidance 없으면 FID 9.62, cfg=1.5면 2.27. → guidance 영향이 엄청 큼

7-1. Metrics

FID (Fréchet Inception Distance)	↓	Inception 네트워크 feature 공간에서 생성 이미지 분포와 실제 이미지 분포의 거리. 품질+다양성을 함께 반영. 생성모델의 표준 지표. 낮을수록 좋음.
sFID	↓	spatial feature를 쓴 FID 변형. 공간적 구조를 더 잘 봄
IS (Inception Score)	↑	분류기가 얼마나 확신 있게, 그리고 다양하게 분류하는지
Precision	↑	생성 이미지가 얼마나 진짜같은지 (충실도)
Recall	↑	실제 분포를 얼마나 폭넓게 덮는지 (다양성)

FID-50K: 5만 장 생성해서 계산
FID-10K: 1만 장, 실험을 많이 돌려야 할 때 사용
FID는 구현 디테일(리사이즈 방식 등)에 민감 → 논문은 ADM의 TensorFlow 평가 스위트로 통일해서 공정 비교

2. 논문의 연구 질문

1. U-Net의 inductive bias는 디퓨전에 정말 필수인가?

2. Transformer로 바꾸면 어떻게 조건 정보를 넣을 것인가?

3. Transformer의 scalability를 생성 모델도 물려받을 수 있는가?

2. patch size

p= 2, 4, 8

3. 조건 4개

4-1. adaptive normalization (adaLN)

gamma=scale, beta=shift

일반 LayerNorm으로 정규화 한 뒤, scale과 shift를 고정값으로 학습하지 않고 조건 정보로부터 매번 Regress하여 갱신 계산하는 방식.

modulation: 조건에 따라 정규화 통계를 바꿔치기 한다. 조건 정보로 feature를 변조하는 방식임.

4-2. adaLN-Zero

adaLN에 추가로 residual 직전의 게이트 alpha도 regress하고,
그 alpha 를 출력하는 MLP를 0으로 초기화한다.

→ 학습 시작 시점에 alpha = 0 → 블록 출력이 0 → 블록 전체가 identity function
→ 처음엔 아무것도 안 하는 상태에서 출발함으로써 대규모 학습이 안정적이고 빠르게 수렴한다.

근거가 된 선행 연구:

Goyal et al. 2017: residual block의 마지막 BN scale gamma 를 0으로 초기화하면 대규모 학습 가속
Diffusion U-Net도 각 블록 마지막 conv를 0으로 초기화하고 있었음

구현 디테일 (from Appendix A)

timestep은 256차원 frequency embedding → 2-layer MLP(SiLU).
adaLN은 hidden size의 4배, adaLN-Zero는 6배 출력 (γ,β,α × 2세트).
core transformer는 GELU(tanh 근사).

4-3. 추가 방식

In-context conditioning: t, y 임베딩을 그냥 토큰 2개 추가. ViT의 cls token처럼 사용됨. 표준 ViT 블록 그대로 사용 가능, Gflops 증가 거의 없음
Cross-attention: self-attention 뒤에 cross-attention 층 추가, 조건을 K/V로. LDM이 텍스트 조건에 쓰는 방식. Gflops 약 15% 증가 (가장 효과가 컸음)
adaLN: Gflops 증가 가장 적음. 단점은 모든 토큰에 같은 함수를 적용해야함(토큰별 차별화 불가)

5. 실험 1 - 어떤 조건 주입이 제일 좋은가

- 400K step FID: in-context 35.24 / cross-attn 26.14 / adaLN 25.21 / adaLN-Zero 19.47

6. 실험 2- 스케일링

1행: 패치 고정하고 모델 키우기

2행: 모델 고정하고 패치 줄이기)

12개 모델 = 4 크기 × 3 패치

7. 핵심 발견 - GFlops와 FID의 상관관계

Correlation: -0.93

학습 연산량 관점 training compute 대비 FID

8. 실험 3 - 샘플링 늘려보기

DiT-L/2 (1000 steps, 80.7 Tflops, FID 25.9) vs DiT-XL/2 (128 steps, 15.2 Tflops, FID 23.7)

9. SOTA 결과

(256×256) — DiT-XL/2-G FID 2.27

Table 2

(512×512) — FID 3.04

Table 3

버블 차트에서 DiT-XL/2-G가 가장 작고 가장 낮음

Fig 2

10. 정성적 결과

12개 모델 동일 노이즈 샘플 — 대각선으로 좋아짐

11. 별첨

Table 1

Table 4

12. Review

Diffusion = 노이즈 예측 신경망 1개
    ↓ 그 신경망이 지금까지 무조건 U-Net(CNN)이었다
꼭 CNN이어야 하나? → Transformer로 교체 (ViT처럼 패치를 토큰으로)
    ↓ 타임스텝/라벨을 어떻게 넣지?
4가지 비교 → adaLN-Zero가 제일 싸고 제일 성능도 좋음
    ↓ 그리고 12개 모델 스케일링 실험
파라미터 그대로인데 패치만 줄여도 FID 매우 개선됨...
    → 결론: Gflops가 성능을 결정한다 (r = −0.93)
    ↓
FID 2.27 SOTA, ADM의 1/10 연산
    ↓
그래서 Sora / SD3의 백본이 됨

[서윤진] High-Resolution Image Synthesis with Latent Diffusion Models

tjdbswls1456 — Sat, 22 Aug 2026 04:34:48 +0900

제목: High-Resolution Image Synthesis with Latent Diffusion Models
저자: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer
학회: CVPR 2022 — IEEE/CVF Conference on Computer Vision and Pattern Recognition
발표 연도: 2022년

CVPR 2021의 Taming Transformers for High-Resolution Image Synthesis에서 VQGAN을 이용해 이미지를 latent space로 압축하고 Transformer로 생성하는 방법을 연구했다. LDM은 이러한 latent-space image generation 아이디어를 발전시켜, autoregressive Transformer 대신 diffusion model을 latent space에서 수행함으로써 생성 품질을 유지하면서 계산 효율을 크게 개선한 연구이다.

Introduction & Related Work

GAN은 이미지 품질과 sampling 속도는 좋지만 학습이 불안정하고 데이터 분포 전체를 잘 포착하지 못할 수 있으며, VAE나 flow-based model은 학습은 안정적이지만 생성 품질이 상대적으로 낮다. Autoregressive model은 density estimation 성능은 뛰어나지만 순차적으로 이미지를 생성해야 하기 때문에 계산량이 크고 고해상도 이미지에 적용하기 어렵다. Diffusion Model은 높은 생성 품질과 안정적인 학습이라는 장점을 가지지만, pixel space에서 반복적으로 denoising을 수행하기 때문에 학습과 inference 비용이 매우 크다.

기존 diffusion model은 고차원의 pixel space에서 직접 반복적으로 denoising을 수행하기 때문에 학습과 추론에 매우 많은 계산량과 시간이 필요하다.

diffusion model이 보통 pixel space에서 직접 작동한다.

이미지 하나가 개의 값으로 이루어져 있기 때문에 고해상도 이미지에서는 매우 높은 차원의 공간을 처리해야한다.

그리고 diffusion은 한 번의 forward pass로 이미지를 생성하는 것이 아니라,

처럼 여러 번 반복해서 denoising

따라서 학습뿐 아니라 inference도 비싸다.

논문에서는 당시 강력한 diffusion model을 학습하는 데 150~1000 V100 GPU-days가 들기도 했고, A100 GPU 한 장으로 50,000장의 샘플을 생성하는 데 약 5일이 걸릴 수 있다.

이에 저자들은 이미지의 모든 픽셀 정보가 생성에 똑같이 중요하지 않으며, 사람이 거의 인식하지 못하는 세부 정보까지 모두 pixel space에서 처리하는 것은 비효율적이라고 보았다. 이를 해결하기 위해 먼저 autoencoder를 사용해 이미지를 저차원의 latent representation으로 압축한 뒤, 이 latent space에서 diffusion 과정을 수행하는 Latent Diffusion Model을 제안했다. 이를 통해 이미지의 중요한 의미적 정보는 유지하면서도 diffusion이 처리해야 할 데이터의 차원을 줄여, 기존 diffusion model의 생성 성능을 유지하면서 학습과 추론 비용을 크게 줄이는 것을 목표로 한다.

기존에도 이미지 생성 모델의 단점을 보완하기 위해 이미지를 먼저 압축한 뒤, 압축된 latent representation을 생성모델이 학습하는 two-stage approach가 사용되어 왔다.

대표적으로 VQ-VAE는 이미지를 discrete latent space로 변환한 후 autoregressive model을 이용해 latent representation의 분포를 학습하며, 이러한 방식은 이후 이미지와 텍스트의 discrete representation을 함께 학습하는 text-to-image 생성으로도 확장되었다. VQGAN 역시 비슷한 two-stage 구조를 사용하지만, 첫 단계에서 adversarial objective와 perceptual objective를 활용해 더 큰 이미지에 autoregressive transformer를 적용할 수 있도록 했다. 그러나 기존 autoregressive 기반 latent model은 계산량을 감당하기 위해 latent space를 매우 강하게 압축해야 한다는 문제가 있었다. 압축을 강하게 하면 계산 효율은 높아지지만 중요한 이미지 정보가 손실되어 생성 품질이 떨어질 수 있고, 반대로 압축을 약하게 하면 이미지 품질은 잘 보존되지만 latent representation의 크기가 커져 계산 비용이 증가한다. 즉, 기존 two-stage 방법에는 압축률과 생성 품질·계산 효율 사이의 trade-off가 존재했다.

이 그림은 LDM의 학습 과정을 perceptual compression과 semantic compression으로 구분해 보여준다. 먼저 autoencoder가 사람이 거의 인식하지 못하는 high-frequency detail을 제거하면서 시각적으로 중요한 정보는 유지하는 perceptual compression을 수행한다. 이후 LDM은 압축된 latent space에서 이미지의 의미적·개념적 구조를 학습하는 semantic compression을 수행한다. 즉, 불필요한 픽셀 수준의 정보를 autoencoder가 먼저 제거하고, diffusion model은 더 작은 latent space에서 중요한 의미와 구조에 집중하도록 하여 계산 효율을 높이는 것이 핵심이다.

Method

Method는 먼저 autoencoder로 이미지를 latent space에 압축하고, 그 latent space에서 diffusion을 수행한 뒤,

cross-attention을 이용해 text 등 다양한 조건을 생성 과정에 반영하는 세 단계로 구성

1. Perceptual Image Compression
Autoencoder로 이미지를 저차원 latent space로 압축하는 단계. 사람이 거의 인식하지 못하는 세부정보는 줄이고, 중요한 시각적 정보는 보존한다.

저자들은 encoder와 decoder로 이루어진 autoencoder를 사용한다. 원본 이미지 는 encoder 를 통해 latent representation 로 변환되고, decoder 는 이를 다시 로 복원한다. 이때 encoder는 이미지의 공간 크기를 downsampling factor 만큼 줄인다. 중요한 점은 기존 autoregressive 기반 latent 모델처럼 이미지를 지나치게 강하게 압축하지 않는다는 것이다. LDM은 latent의 2차원 공간 구조를 그대로 활용해 diffusion을 수행하기 때문에 비교적 약한 압축만으로도 효율적으로 학습할 수 있으며, 그 결과 원본 이미지의 세부 정보를 더 잘 보존할 수 있다.

Perceptual Loss

먼저 perceptual loss를 사용한다. 단순한 pixel-wise L1/L2 loss는 원본과 복원 이미지의 각 픽셀 값을 직접 비교하기 때문에, 여러 가능한 세부 표현을 평균적으로 맞추는 방향으로 학습되면서 이미지가 흐릿해질 수 있다. Perceptual loss는 픽셀 자체가 아니라 pretrained network가 추출한 feature를 기준으로 원본 이미지와 복원 이미지의 차이를 비교한다. 따라서 픽셀 값이 정확히 같지 않더라도, 사람의 눈에 비슷한 구조와 형태를 가진 이미지를 복원하도록 학습할 수 있다. 논문은 이를 통해 단순 L1/L2 loss에서 발생하는 blurriness를 줄인다고 설명한다.

Patch-based Adversarial Loss

다음으로 patch-based adversarial loss를 함께 사용한다. 여기서는 discriminator가 복원 이미지가 실제 이미지처럼 자연스러운지를 판별한다. 일반적인 discriminator가 이미지 전체에 대해 하나의 진짜/가짜 점수를 내는 것과 달리, patch-based discriminator는 이미지의 여러 작은 영역을 각각 평가한다. 따라서 머리카락, 피부, 벽, 천과 같은 local texture나 세부 구조가 실제 이미지처럼 자연스러운지를 더 직접적으로 검사할 수 있다. Decoder는 discriminator를 속일 수 있을 만큼 자연스러운 복원 이미지를 만들도록 학습되고, discriminator는 실제 이미지와 복원 이미지를 구분하도록 학습되면서 adversarial training이 이루어진다. 즉, perceptual loss가 원본과 비슷하게 만들라는 역할이라면, adversarial loss는 복원 결과가 실제 이미지처럼 자연스럽고 선명해야 한다는 역할을 한다.

KL Regularization

또한 latent space가 지나치게 불규칙해지는 것을 막기 위해 KL regularization을 사용할 수 있다. Autoencoder 자체만 본다면 latent가 어떤 형태이든 decoder가 잘 복원하기만 하면 되지만, LDM에서는 이후 diffusion model이 latent distribution 자체를 학습해야 한다. 따라서 latent 값이 지나치게 크게 퍼지거나 불규칙하면 diffusion model이 그 분포를 학습하기 어려워질 수 있다.

KL regularization은 latent distribution이 표준 정규분포 에서 너무 멀어지지 않도록 약한 KL penalty를 주는 방식이다. 이 경우 latent는 연속값을 유지하며, 논문에서는 reconstruction 성능을 해치지 않기 위해 KL 항의 가중치를 매우 작게 사용한다. Appendix에서는 약 수준의 작은 regularization을 사용한다고 설명한다.

VQ Regularization

KL regularization 대신 VQ regularization을 사용할 수도 있다. VQ 방식에서는 여러 개의 대표 벡터로 이루어진 codebook을 두고, encoder가 만든 각 위치의 latent vector를 가장 가까운 codebook vector와 대응시킨다. 이 codebook은 처음부터 의미가 정해져 있는 것이 아니라 encoder와 decoder와 함께 학습되며, 학습이 진행되면서 비슷한 visual feature들이 비슷한 codebook vector에 대응하도록 정리된다.

여기서 하나의 이미지가 codebook vector 하나로 표현되는 것은 아니다. 예를 들어 latent가 라면 각 공간 위치마다 latent vector가 하나씩 존재하고, 각각이 codebook의 vector를 선택한다. 따라서 전체 이미지는 codebook vector들의 2차원 배열로 표현된다. 논문에서는 VQ 방식의 quantization layer를 decoder 내부에 포함된 것으로 해석할 수 있다고 설명한다.

왜 이런 loss와 regularization을 함께 쓰는가

결국 각각의 역할이 다르다.

Perceptual loss: 원본과 시각적으로 비슷하게 복원
Adversarial loss: 복원 이미지를 자연스럽고 선명하게 만듦
KL / VQ regularization: 이후 diffusion model이 학습하기 적합하도록 latent space를 안정적으로 구성

즉, 앞의 두 loss는 reconstruction quality를 위한 것이고, KL 또는 VQ regularization은 latent space의 구조를 정리하기 위한 것이라고 보면 된다. 논문의 전체 autoencoder objective도 reconstruction/adversarial 항과 latent regularization 항을 함께 포함하는 형태다.

2. Latent Diffusion Models
기존처럼 pixel space에서 diffusion을 하지 않고, 앞에서 만든 latent space에서 diffusion을 수행한다. 그래서 계산량을 줄이면서도 생성 품질을 유지하려고 한다.

Latent Diffusion Model(LDM)은 기존 diffusion model의 denoising 원리는 그대로 사용하되, 원본 pixel space가 아니라 autoencoder로 압축한 latent space에서 diffusion을 수행하는 모델이다. 먼저 학습된 encoder 를 이용해 이미지 를 latent representation 로 변환하고, 이 latent에 noise를 추가한 뒤 U-Net이 noise를 예측하도록 학습한다. 이렇게 하면 고차원의 픽셀 전체가 아니라 더 작은 latent에서 연산하므로 학습과 sampling의 계산량을 줄일 수 있다.

기존 Diffusion Model의 목적함수

일반적인 diffusion model의 학습 목적함수는 다음과 같다.

여기서 는 원본 이미지, 은 실제로 추가한 Gaussian noise, 는 timestep 만큼 noise가 추가된 이미지, 는 U-Net이 예측한 noise이다. 즉, 실제로 추가한 noise 과 모델이 예측한 noise 사이의 L2 오차를 최소화하도록 학습한다. 이를 반복하면 모델이 다양한 noise level에서 데이터를 어떻게 denoising해야 하는지를 배우게 된다.

LDM의 목적함수

LDM에서는 동일한 diffusion objective를 latent 에 적용한다.

여기서 는 latent 에 timestep 만큼 noise를 추가한 것이다. U-Net은 noisy latent 를 입력받아 추가된 noise 을 예측하고, 실제 noise와 예측 noise의 차이를 최소화하도록 학습된다.

두 목적함수의 학습 원리는 사실상 동일하다. 가장 중요한 차이는 diffusion을 수행하는 대상이다.

LDM의 목적함수를 학습할 때는 매번 전체 diffusion 과정을 모두 수행하는 것이 아니라, 중 하나를 uniform하게 랜덤 선택하고 해당 noise level에서만 loss를 계산한다. 논문에서도 를 전체 timestep에서 uniformly sampling한다고 명시한다. 이렇게 하는 이유는 모든 timestep의 denoising 능력을 학습하면서도 매 학습마다 전체 단계를 계산하는 비용을 피하기 위해서라고 이해하면 된다. 여러 training iteration 동안 서로 다른 가 계속 선택되기 때문에 결과적으로 모델은 낮은 noise부터 거의 순수한 noise에 가까운 상태까지 다양한 noise level을 학습하게 된다.

3. Conditioning Mechanisms
text, semantic map 같은 조건을 생성 과정에 넣기 위한 방법이다. 특히 cross-attention을 사용해서 조건 정보를 U-Net에 전달한다.

LDM은 단순히 무작위 이미지를 생성하는 것뿐 아니라, 텍스트·semantic map·layout 같은 조건 를 반영해 이미지를 생성할 수 있도록 설계된다. 즉 모델은 단순한 가 아니라 조건부 분포 를 학습한다. 예를 들어 가 “a red car”라는 텍스트라면, 생성되는 latent가 그 텍스트 내용에 맞도록 denoising해야 한다. 조건 를 바로 U-Net에 넣는 것이 아니라, 먼저 조건 전용 encoder 를 사용해 조건을 intermediate representation으로 변환한다. "예를 들어 text-to-image에서는 텍스트를 token으로 나눈 뒤 transformer가 이를 embedding으로 변환한다. Semantic map이나 다른 modality를 사용하는 경우에는 그 입력에 맞는 encoder를 사용할 수 있다. 즉 는 조건의 종류에 따라 달라질 수 있는 domain-specific encoder다. 이렇게 만들어진 condition representation은 cross-attention을 통해 U-Net의 중간 feature에 전달된다.

Cross-attention layer는 다음 식과 같이 나타나고, 이미지와 conditioning 쌍을 기반으로 다음 식을 통해 조건부 LDM을 학습시킨다.

기존 LDM과 마찬가지로 실제로 추가한 noise 과 U-Net이 예측한 noise의 차이를 최소화하지만, 이번에는 U-Net이 와 뿐 아니라 condition 도 함께 참고한다. 논문에서는 condition encoder 와 denoising U-Net 를 이 objective를 통해 함께 최적화한다.

Experiments

FID, IS, Precision, Recall 등으로 평가한다. FID는 생성 이미지 전체의 feature 분포가 실제 이미지 분포와 얼마나 가까운지를 측정하므로 낮을수록 좋고, IS는 각 이미지가 명확한 class로 인식되면서 전체적으로 다양한 이미지를 생성하는지를 보기 때문에 높을수록 좋다. Precision은 생성 이미지가 실제 데이터처럼 그럴듯한지를, Recall은 실제 데이터가 가진 다양한 모습을 얼마나 넓게 커버하는지를 나타낸다.

FID: 생성 데이터 전체 분포가 진짜 데이터 분포와 얼마나 비슷한가
IS: 생성 이미지 한 장 한 장이 명확하고, 전체적으로 다양한가
Precision: 생성한 것들이 얼마나 진짜처럼 그럴듯한가
Recall: 진짜 데이터의 다양한 종류를 얼마나 빠뜨리지 않고 커버했는가

1 . Perceptual Compression Trade-off

먼저 저자들은 얼마나 압축하는 것이 가장 좋은가를 확인한다. Downsampling factor 를 로 바꿔가며 같은 GPU, 같은 학습 step, 같은 parameter 수로 비교했다. 가 너무 작으면 latent가 충분히 줄어들지 않아 diffusion model이 여전히 많은 계산을 해야 하므로 학습이 느리고, 반대로 가 너무 크면 autoencoder 단계에서 정보가 지나치게 손실되어 생성 품질의 한계가 낮아진다. 실험 결과 LDM-4와 LDM-8이 계산 효율과 이미지 품질 사이에서 가장 좋은 균형을 보였다.

2. Image Generation with Latent Diffusion

다음으로 LDM 자체의 unconditional image generation 성능을 확인한다. CelebA-HQ, FFHQ, LSUN-Churches, LSUN-Bedrooms 등의 데이터셋에서 256×256 이미지를 생성하고, FID와 Precision/Recall로 생성 품질과 데이터 분포 coverage를 평가한다. CelebA-HQ에서는 LDM-4가 FID 5.11을 기록해 당시 여러 likelihood-based model과 GAN보다 좋은 결과를 얻었다. 또한 대부분의 데이터셋에서 기존 diffusion 기반 방법과 경쟁력 있는 성능을 내면서도 더 적은 계산 자원을 사용했다.

=> latent에서 diffusion을 해도 이미지 생성 품질이 크게 떨어지지 않고, 계산 비용은 줄일 수 있다

3. Conditional Latent Diffusion

여기서는 앞에서 제안한 cross-attention conditioning이 실제로 다양한 조건에 적용 가능한지 확인한다.

Text-to-image의 경우 1.45B parameter의 KL-regularized LDM을 LAION-400M으로 학습하고, text prompt를 transformer로 encoding한 뒤 cross-attention으로 U-Net에 전달한다. MS-COCO 평가에서는 classifier-free guidance를 사용했을 때 당시 autoregressive 및 diffusion 기반 text-to-image 모델과 경쟁력 있는 성능을 보이면서도 parameter 수는 더 적었다.

또한 text뿐 아니라 layout이나 semantic map 같은 spatial condition도 사용할 수 있음을 실험했다. 특히 256×256 이미지로 학습한 LDM을 convolutional하게 적용하면 512×1024처럼 더 큰 해상도의 semantic synthesis도 가능했다.

=> LDM의 conditioning mechanism이 text에만 한정되지 않고 다양한 modality와 고해상도 생성에도 확장될 수 있다

4. Super-Resolution

Super-resolution에서는 저해상도 이미지를 condition으로 넣어 고해상도 이미지를 생성한다. 논문에서는 ImageNet의 64→256, 즉 4배 upscaling을 실험했고, 의 autoencoder를 사용했다. LDM-SR은 기존 diffusion 기반 super-resolution 모델인 SR3와 비교했을 때 FID에서는 더 좋은 성능을 보였고, SR3는 IS에서는 더 좋은 결과를 보였다. 저자들은 PSNR이나 SSIM이 높은 것이 반드시 사람이 보기에 더 좋은 이미지라는 뜻은 아니라고 지적하며, LDM은 현실적인 texture를 생성하는 데 강점이 있다고 설명한다. User study에서도 pixel-space diffusion보다 LDM 결과를 더 선호하는 비율이 높았다.

=> 해상도를 올리는 super-resolution task에서도 LDM이 잘 작동했다.

5. Inpainting

이미지의 일부가 가려졌거나 제거된 영역을 복원하는 inpainting을 실험한다. Pixel-based diffusion인 LDM-1과 latent diffusion인 LDM-4를 비교한 결과, latent-based model이 최소 약 2.7배 빠른 속도를 보이면서 FID도 개선됐다. 또한 당시 강력한 inpainting 모델인 LaMa와 비교했을 때도 LDM이 FID 기준으로 더 좋은 이미지 품질을 보였으며, user study에서도 LDM 결과에 대한 선호도가 높았다.

=> latent diffusion이 단순 이미지 생성뿐 아니라 실제 image-to-image task에서도 계산 효율성과 품질을 동시에 확보할 수 있다.

Limitations

LDM은 pixel-space diffusion보다 계산 효율을 크게 개선했지만, 여전히 여러 번의 denoising step이 필요한 diffusion model이기 때문에 sampling 속도가 느리다는 한계가 있다. 또한 autoencoder를 이용한 lossy compression 과정에서 일부 정보가 손실되므로 pixel-level accuracy가 중요한 task에는 적합하지 않을 수 있다. 마지막으로 대규모 데이터로 학습되는 생성 모델인 만큼 학습 데이터에 존재하는 bias가 생성 결과에 반영될 가능성도 존재한다.

[정율의] SRCNN, SRGAN, ESRGAN

yule27 님의 블로그 — Sat, 22 Aug 2026 01:56:47 +0900

SRCNN

제목: Learning a Deep Convolutional Network for Image Super-Resolution
저자: Chao Dong 외 3명
학회: ECCV 2014
논문 링크: SRCNN 논문 보기

SRGAN

제목: Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
저자: Christian Ledig 외 10명
학회: CVPR 2017
논문 링크: SRGAN 논문 보기

ESRGAN

제목: ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
저자: Xintao Wang 외 7명
학회: ECCV Workshops 2018
논문 링크: ESRGAN 논문 보기

추가 소속: SRCNN — CUHK & Microsoft Research / SRGAN — Twitter / ESRGAN — CUHK-SenseTime Joint Lab et al.

https://youtu.be/unf2ziKXBP4?si=a55ZF0ql6uVeaioE\

논문 읽기 전

배경 지식이 훨씬 중요하기도 하고

오늘 신입분들이 새로 들어오기도 하기 때문에

SR의 배경부터 자세히 설명하도록 하겠습니다

제가 논문 이미지 말고 강의 자료 사용하는 것은 위 링크의 김성범 교수님의 설명 + 강의 자료를 참고했습니다!!

Super-Resolution은 단순 확대가 아니다

· Single Image Super-Resolution (SISR): 한 장의 LR 이미지로 HR 이미지를 추정하는 문제

· 핵심 질문: “없는 고주파 정보를 어떻게 그럴듯하게 복원할 것인가?”

!단순히 256×256 이미지를 1024×1024로 resize하는 것과 super-resolution은 같은 문제가 아닙니다!

LR · HR · SR 용어와 학습 데이터

· HR: 원래의 고해상도 정답 이미지

· LR: HR을 blur/downsample하여 만든 입력 이미지

· SR: 모델이 LR로부터 출력한 super-resolved 이미지

· 실험에서는 HR로부터 LR을 합성해 paired data를 만드는 경우가 많음

LR은 어떻게 만들어지는가: degradation model

Classical downsampling examples (nearest / bilinear / bicubic). OpenCV resize interpolation documentation, S. Narasimhan “Image Resampling and Pyramids”

왜 SR은 ill-posed인가: one-to-many 문제

· downsampling은 정보 손실이 있는 non-invertible operation

· 같은 LR patch를 만들 수 있는 HR texture가 여러 개 존재

· 따라서 SR은 “정답 픽셀을 계산”하는 문제가 아니라 prior를 이용한 inference 문제

전통적인 Upsampling 1: interpolation은 무엇을 하는가

· 저해상도 이미지와 고해상도 이미지의 크기가 다르기 때문에, 먼저 입력 이미지를 목표 크기에 맞춰야 함

· 크기를 맞춘 뒤에는 비어 있는 픽셀 값을 어떤 방식으로 채울 것인지가 핵심 문제

· 이 뒤에서 interpolation 기반 방법과 learning-based upsampling 방법으로 나누어 설명 가능

· Interpolation 방법 중 가장 단순한 방식

· 빈 픽셀을 가장 가까운 기존 픽셀 값으로 채움

· 연산은 간단하지만 blocky하고 계단 현상이 잘 보일 수 있음

· 빈 픽셀 값을 주변 4개 픽셀의 거리 가중 평균으로 계산

· 가까운 픽셀일수록 더 큰 가중치를 가짐

· Nearest-neighbor보다 더 연속적이고 부드러운 값을 만듦

· 다만 여전히 고정된 수학적 규칙이지, 학습을 통해 새로운 detail을 복원하는 것은 아님

· 이번에는 4개가 아니라 인접한 16개 픽셀 정보를 사용

· 거리 기반 cubic function을 이용해 값을 계산

· 먼저 세로 방향으로 1차 cubic interpolation을 수행

· 세로 방향 계산 후, 노란색 영역에 대해 가로 방향 1차 cubic interpolation을 추가 수행

· 결국 16개 주변 데이터를 활용해 보다 자연스러운 값을 생성

· 고전적 interpolation 방법들 중에서는 성능이 좋고 자주 활용되는 편

OpenCV resize interpolation documentation, S. Narasimhan “Image Resampling and Pyramids”

Upsampling 2: interpolation이 아니라 업샘플링 레이어 자체의 파라미터를 학습하는 방법

· 공간을 먼저 확장한 뒤, convolution filter를 적용해 출력값 생성

· filter weight는 사람이 정하는 것이 아니라 모델 학습으로 결정됨

궁금하면 Efficient sub-pixel convolution / periodic shuffling 개념. Shi et al., CVPR 2016 이 논문을 찾아보시는 걸 추천드려요

· LR 공간에서 convolution을 수행한 뒤, 출력 채널들을 재배열해서 HR 이미지를 생성하는 방식

· 같은 위치에서 나온 값들을 모아 최종 output 픽셀로 배치

· Transpose convolution과 마찬가지로 학습을 통해 최적 weight를 찾지만, 연산 구조가 다름

사전 지식: 알아야 하는 지표들

· PSNR = Peak Signal-to-Noise Ratio

· 예측 SR과 정답 HR의 픽셀 차이를 MSE로 계산하고, 그 MSE를 이용해 영상 복원 품질을 수치화

· MSE가 작을수록 PSNR은 커지므로, 같은 평가 조건에서는 PSNR이 높을수록 HR과 픽셀 값이 가깝다는 의미

· 보통 dB 단위로 표시

· PSNR과 SSIM은 기본적으로 평가 지표(metric)이고, MSE는 학습 loss로 직접 사용되는 경우가 많음

!참고로 이것은 SRGAN의 perceptual quality와 연결된다!

· SSIM = Structural Similarity Index

· 픽셀 하나하나의 오차만 보지 않고 luminance(휘도), contrast(대비), structure(구조)를 비교

· 평균, 분산, 공분산을 사용해 두 이미지의 국소적 구조가 얼마나 유사한지 평가

· 보통 값이 클수록 구조적으로 더 유사하며, 동일한 이미지에서는 1

· PSNR보다 인간의 시각적 구조 인식에 가까운 관점을 포함하지만 perceptual quality 전체를 완벽하게 설명하지는 못함

비교 요소	무엇을 보는가	쉽게 말하면
Luminance	평균 밝기	전체적으로 밝고 어두운 정도가 비슷한가?
Contrast	분산/표준편차	명암 차이와 대비가 비슷한가?
Structure	공분산 기반 관계	edge, texture 등 구조적 패턴이 비슷한가?

이제 본격적으로 오늘 리뷰할 세 논문으로 넘어가도록 하겠습니다.

· SRCNN: CNN으로 LR→HR mapping을 end-to-end 학습

· SRGAN: pixel fidelity만이 아니라 perceptual realism을 loss에 반영

· ESRGAN: SRGAN의 architecture · adversarial loss · perceptual loss를 모두 개선

· 입력: bicubic으로 HR 크기까지 미리 키운 LR

· Layer 1: patch extraction & representation — 기본 설정 9×9, 64 maps

· Layer 2: non-linear mapping — 1×1, 32 maps

· Layer 3: reconstruction — 5×5, 출력 1 channel (기본 Y-channel 설정)

· Loss: MSE

· 장점: 단순한 end-to-end CNN, 전통 방법보다 강한 복원 성능

· 한계 1: bicubic pre-upsampling 때문에 HR space에서 많은 연산

· 한계 2: shallow network

· 한계 3: MSE/PSNR 중심 → texture가 smooth해질 수 있음

질문 자체의 변화

“정답 픽셀에 가장 가까운 이미지”가 아니라 “사람이 봤을 때 진짜 고해상도 사진처럼 느껴지는 이미지”를 만들고 싶다면 loss를 어떻게 바꿔야 할까요?

이게 SRGAN

· SRResNet: MSE 최적화 → 높은 PSNR/SSIM, 그러나 smooth texture

· SRGAN: perceptual loss → PSNR이 낮아질 수 있지만 texture가 더 현실적으로 보임

· MOS(Mean Opinion Score)로 인간 평가도 수행

GAN 2분 복습: Generator와 Discriminator를 loss 관점에서 이해하기

· Generator G: 원 GAN에서는 z → fake sample, SRGAN에서는 LR → SR image

· Discriminator D: real sample은 1, generated sample은 0에 가깝게 판별

· 원 GAN의 핵심: min_G max_D E[log D(real)] + E[log(1−D(fake))]

· 실제 G 학습은 gradient가 강한 non-saturating 형태 −log D(fake)를 흔히 사용; SRGAN도 이 형태

암튼 여기까지 정리하고,,, G와 D가 서로 반대 목적을 갖고 번갈아 학습한다 정도만 이해하면 오케이입니다.

SRGAN도 dversarial loss 하나만으로는 “이 SR이 입력 LR과 같은 장면인가?”를 충분히 강하게 보장하지 못하기에 그 대응관계를 붙잡는 것이 paired HR와 비교하는 content loss가 존재합니다. GAN과 같은 역할 분담이 존재하는 것이지요.

다만

원 GAN의 G는 random noise z를 입력받아 아무 이미지나 생성하지만, SRGAN의 G는 LR 이미지를 입력받아 그 LR에 대응하는 SR을 만듭니다. 즉 “무엇을 만들지”가 LR에 의해 조건화됩니다. 반면 SRGAN의 discriminator는 LR을 같이 보는 것이 아니라 real HR와 generated SR 자체의 real/fake를 구분합니다.

SRGAN architecture: 깊은 residual generator + discriminator

· Generator: 16 residual blocks (B=16)

· Residual blocks: Conv–BN–PReLU–Conv–BN + skip

· 2× PixelShuffle를 두 번 사용해 4× upscaling

· Discriminator: 8 convolutional layers, feature 64→512, stride로 downsampling

출처: Introduction to deep super resolution ❘ by Hiroto Honda ❘ Medium

보조 설명: VGG19를 2분만 이해하고 SRGAN loss로 넘어가기

SRGAN의 핵심: Loss function을 정확히 분해해서 보기

식 (1): Generator가 결국 뭘 학습하는가 - N개의 학습 이미지에 대해, Generator가 만든 SR 이미지와 실제 HR 이미지 사이의 SR loss 평균이 가장 작아지도록 Generator의 parameter 식 (2): GAN을 수식으로 쓴 것 -

전체 로스

· ① Pixel/MSE loss: SR과 HR의 같은 위치 픽셀을 직접 비교 — fidelity/PSNR에 유리

· ② VGG content loss: pretrained VGG19의 φ5,4 feature에서 SR과 HR을 비교

· ③ Generator adversarial loss: L_adv = −log D(G(LR)) — D가 SR을 real이라고 믿도록

· SRGAN 논문 정의: L_SR = L_content + 10⁻³ L_adv; 여기서 “perceptual loss”는 이 전체 합

실험 결과

ESRGAN: SRGAN의 무엇이 부족했나

· SRGAN은 photo-realistic texture를 만들지만 unpleasant artifacts/hallucinated details가 생길 수 있음

· ESRGAN의 세 가지 개선축: ① network architecture( generator architecture ) ② adversarial loss ③ perceptual loss

· PIRM2018-SR Challenge region 3에서 1위

ESRGAN ① Architecture: BN 제거 + RRDB

· SRGAN residual block의 BatchNorm 제거

· Residual-in-Residual Dense Block (RRDB) 사용

· Dense connections + multi-level residual learning

· residual scaling과 작은 initialization으로 deep network 안정화

· deeper 설정: 23 RRDB blocks

ESRGAN ②③ Loss 개선: RaGAN + pre-activation VGG + L1

이 real image가 평균적인 fake image보다 더 realistic한가? 이 fake가 평균적인 real보다 덜 realistic한가?

· Standard GAN: 각 이미지를 독립적으로 real/fake 판단

· RaGAN: “real이 fake보다 상대적으로 더 real한가?”를 학습

· VGG perceptual term: activation 이후가 아니라 activation 이전 feature 사용

· Generator: L_G = L_percep + λL_G^Ra + ηL1, λ=5×10⁻³, η=10⁻²

Perceptual loss에는 VGG feature loss 사용

참고

마무리

· SRCNN: “SR도 CNN으로 end-to-end mapping을 배울 수 있다.”

· SRGAN: “높은 PSNR보다 perceptual realism을 직접 최적화하자.”

· ESRGAN: “SRGAN의 generator · GAN loss · perceptual loss를 모두 개선하자.”

[박재형] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

damifiance — Fri, 21 Aug 2026 13:06:38 +0900

논문 정보

제목: Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
저자: Ze Liu 외 7명
학회: ICCV 2021
핵심 목적: Transformer를 image classification뿐만 아니라 object detection과 semantic segmentation에도 사용할 수 있는 general-purpose vision backbone으로 만드는 것

1. 이 논문이 해결하려는 문제

기존 Vision Transformer(ViT)는 이미지를 여러 patch로 나눈 뒤, 모든 patch token 사이에 global self-attention을 계산한다.

하지만 이를 computer vision의 범용 backbone으로 사용하려면 두 가지 문제가 발생한다.

첫 번째 문제: single-scale representation

기존 ViT는 대부분 같은 spatial resolution을 유지한다.

그러나 computer vision에서는 크기가 서로 다른 object를 처리해야 한다.

작은 object를 찾으려면 high-resolution feature가 필요하다.
큰 object와 전체적인 의미를 이해하려면 low-resolution semantic feature가 필요하다.

CNN은 깊어질수록 resolution을 줄이고 channel을 늘리기 때문에 자연스럽게 hierarchical feature map을 만든다. 반면 기존 ViT는 이런 hierarchy가 부족하기 때문에 object detection이나 semantic segmentation에 바로 적용하기 어렵다.

두 번째 문제: global self-attention의 높은 계산량

입력 이미지 크기를 H × W, patch 크기를 P × P라고 하면 token의 개수 N은 다음과 같다.

N = (H/P) × (W/P) = HW/P²

Global self-attention은 모든 token pair 사이의 관계를 계산하므로 N × N 크기의 attention matrix가 필요하다.

따라서 attention 계산량은 대략 다음과 같다.

O(N²C)

여기서 C는 token의 channel dimension이다.

이미지의 가로와 세로를 각각 2배로 만들면 token 수는 4배가 되고, attention 계산량은 약 16배가 된다. 따라서 high-resolution image를 사용하는 dense prediction에서는 global self-attention이 매우 비싸다.

2. 논문의 핵심 아이디어

Swin Transformer는 두 가지 핵심 아이디어로 문제를 해결한다.

Patch Merging을 사용하여 hierarchical feature map을 만든다.
Self-attention을 local window 안에서만 계산하고, 다음 block에서는 window를 이동시키는 Shifted Window를 사용한다.

핵심 구조는 다음처럼 정리할 수 있다.

Hierarchical Representation
Window-based Self-Attention
Shifted Window
= Efficient General-Purpose Vision Transformer

즉, Swin Transformer는 Transformer의 content-dependent attention을 유지하면서 CNN의 locality와 hierarchy를 다시 도입한 구조다.

3. 전체 Architecture

3.1 Patch Partition

입력 이미지는 다음 shape을 가진다.

H × W × 3

Swin Transformer는 이미지를 겹치지 않는 4 × 4 patch로 나눈다.

하나의 patch에는 다음과 같이 48개의 RGB 값이 들어 있다.

4 × 4 × 3 = 48

각 patch를 flatten한 다음 Linear Embedding을 사용해 C-dimensional token으로 변환한다.

따라서 첫 번째 feature map의 shape은 다음과 같다.

H/4 × W/4 × C

3.2 Patch Merging

각 stage 사이에서는 Patch Merging을 수행한다.

인접한 2 × 2 token을 하나로 묶으면 네 개의 C-dimensional token이 연결되므로 feature dimension은 일시적으로 4C가 된다.

그다음 Linear Projection을 사용해 4C를 2C로 줄인다.

결과적으로 Patch Merging은 다음 변화를 만든다.

height: 절반
width: 절반
token 수: 1/4
channel dimension: 2배

Swin-T의 전체 hierarchy는 다음과 같다.

단계Spatial ResolutionChannelBlock 수Attention Heads

Stage 1	56 × 56	96	2	3
Stage 2	28 × 28	192	2	6
Stage 3	14 × 14	384	6	12
Stage 4	7 × 7	768	2	24

이 구조는 CNN의 feature pyramid와 비슷하다.

초기 stage는 정확한 spatial information을 유지하고, 깊은 stage는 넓은 영역의 semantic information을 표현한다. 따라서 FPN, Mask R-CNN, UperNet과 같은 기존 detection 및 segmentation framework에 연결하기 쉽다.

4. Window-based Self-Attention

4.1 기본 Self-Attention

일반적인 Self-Attention은 다음과 같이 계산된다.

Attention(Q, K, V) = Softmax(QKᵀ / √d)V

여기서 다음이 성립한다.

Q: Query
K: Key
V: Value
d: Query와 Key의 dimension

QKᵀ는 각 token이 다른 token과 얼마나 관련되어 있는지를 나타낸다.

Global self-attention에서는 모든 token이 모든 다른 token을 확인하기 때문에 N × N attention matrix가 만들어진다.

4.2 Global MSA의 계산량

h × w개의 token과 C-dimensional feature가 있을 때, 논문은 global Multi-head Self-Attention(MSA)의 계산량을 다음과 같이 나타낸다.

MSA complexity = 4hwC² + 2(hw)²C

첫 번째 항인 4hwC²는 Q, K, V와 output projection에서 발생한다. (C channels -> C channels)

두 번째 항인 2(hw)²C는 다음 과정에서 발생한다.

QKᵀ 계산
Attention matrix와 V의 곱

문제가 되는 부분은 (hw)²이다. Token 수가 증가하면 계산량이 quadratic하게 증가한다.

4.3 W-MSA의 계산량

Swin Transformer는 전체 feature map을 M × M local window로 나누고 각 window 내부에서만 self-attention을 수행한다.

논문에서는 기본적으로 M = 7을 사용한다. 따라서 하나의 window에는 다음과 같이 49개의 token이 있다.

M² = 7² = 49

Window-based Multi-head Self-Attention(W-MSA)의 계산량은 다음과 같다.

W-MSA complexity = 4hwC² + 2M²hwC

M이 고정되어 있다면 두 번째 항은 hw에 대해 linear하다.

따라서 global attention의 quadratic complexity를 local attention의 linear complexity로 바꿀 수 있다.

다만 Linear Projection에서 발생하는 4hwC² 항은 그대로 남는다. 따라서 “linear complexity”가 전체 Transformer block의 계산이 매우 작다는 뜻은 아니다.

5. 고정된 Local Window의 문제

모든 block이 같은 위치의 window만 사용하면 서로 다른 window에 있는 token은 절대로 직접 정보를 교환할 수 없다.

예를 들어 왼쪽 위 window에 있는 object의 일부와 오른쪽 위 window에 있는 다른 부분이 연결되어 있더라도, 두 영역은 서로 다른 window에 있기 때문에 attention을 계산할 수 없다.

Local window는 효율적이지만 window 사이의 connection이 사라진다는 문제가 있다.

Swin Transformer는 이를 Shifted Window로 해결한다.

6. Shifted Window

6.1 W-MSA와 SW-MSA의 교대

Swin Transformer는 두 종류의 attention block을 번갈아 사용한다.

W-MSA: 일반적인 non-overlapping window
SW-MSA: 이전 window에서 일정 거리만큼 이동한 shifted window

Window 크기가 M × M일 때, 다음 block의 window는 대략 다음만큼 이동한다.

shift size = floor(M/2)

기본 window 크기 M = 7에서는 가로와 세로 방향으로 각각 3 token만큼 이동한다.

첫 번째 block의 window 경계에 의해 분리되었던 token들이 두 번째 block에서는 같은 shifted window 안에 들어갈 수 있다. 이를 통해 cross-window connection이 만들어진다.

중요한 점은 Shifted Window가 한 번에 global context를 제공하는 것은 아니라는 것이다.

정보는 다음 과정을 통해 점진적으로 넓은 영역으로 전달된다.

W-MSA
→ SW-MSA
→ 반복되는 Transformer Blocks
→ Patch Merging
→ 더 넓은 Receptive Field

6.2 Cyclic Shift

Shifted Window를 그대로 구현하면 이미지 경계 부분에 작은 window가 많이 생긴다. 이 window들을 padding하면 계산량과 memory access가 비효율적이 된다.

논문은 이를 해결하기 위해 Cyclic Shift를 사용한다.

과정은 다음과 같다.

Feature map을 왼쪽 위 방향으로 cyclic shift한다.
일반적인 M × M window로 나눈다.
Window Attention을 계산한다.
계산 후 reverse cyclic shift를 수행한다.

이 방법을 사용하면 W-MSA와 같은 수의 window를 유지할 수 있으므로 GPU에서 효율적으로 batch computation을 수행할 수 있다.

출처 : https://www.youtube.com/watch?v=tFYxJZBAbE8 (8:30)

6.3 Attention Mask가 필요한 이유

Cyclic Shift를 사용하면 원래 이미지에서 서로 멀리 떨어진 양쪽 경계의 token이 같은 window 안에 들어갈 수 있다.

하지만 이 token들은 실제 spatial neighbor가 아니다.

따라서 SW-MSA에서는 Attention Mask를 추가한다.

SW-Attention은 다음과 같이 이해할 수 있다.

SW-Attention(Q, K, V)
= Softmax(QKᵀ/√d + B + Mask)V

(여기서 B는 bias:즉 token 간의 상대적인 위치관계를 나타내주기 위한 항)

Mask 값은 다음과 같다.

실제로 같은 shifted region에 속하면 0
연결되면 안 되는 token pair에는 −∞

Softmax를 적용하면 −∞가 들어간 위치의 attention probability는 0이 된다.

따라서 Cyclic Shift는 효율적인 computation을 담당하고, Attention Mask는 잘못된 spatial connection을 방지한다.

서로 다른 old window에 있었지만 실제로 인접한 token은 연결하면서, GPU 계산을 위해 함께 포장된 비인접 boundary token만 Mask로 제외하는 것이다.

7. Relative Position Bias

Swin Transformer는 Attention 계산에 Relative Position Bias를 추가한다.

Attention(Q, K, V) = Softmax(QKᵀ/√d + B)V

B는 두 token의 상대적인 위치를 나타낸다.

예를 들어 Query와 Key가 다음 중 어떤 관계에 있는지를 학습할 수 있다.

왼쪽 또는 오른쪽
위 또는 아래
가까운 위치 또는 먼 위치

M × M window에서 두 token 사이의 row 차이는 −(M−1)부터 M−1까지 가능하다. Column 차이도 동일하다.

따라서 가능한 relative position의 수는 다음과 같다.

(2M−1)²

M = 7이면 다음과 같다.

(2 × 7−1)² = 13² = 169

8. 논문의 장점

첫째, 문제 설정이 명확하다

단순히 더 좋은 classifier를 만드는 것이 아니라 Transformer를 general-purpose vision backbone으로 만드는 것이 목표다.

둘째, 핵심 아이디어가 단순하면서 강력하다

W-MSA와 SW-MSA를 번갈아 사용한다는 아이디어는 설명하기 쉽고 다양한 architecture에 적용할 수 있다.

셋째, 논문의 주장과 실험이 잘 연결된다

General-purpose backbone을 주장하면서 classification, detection, instance segmentation, semantic segmentation을 모두 평가했다.

넷째, 실제 hardware efficiency를 고려한다

단순히 FLOPs만 줄이는 것이 아니라 Cyclic Shift를 통해 batching과 memory access까지 고려했다.

9. 논문의 한계

첫째, 즉각적인 Global Context가 없다

Local attention을 사용하기 때문에 한 token이 한 block에서 전체 이미지를 볼 수 없다.

정보는 여러 W-MSA와 SW-MSA block을 거쳐 점진적으로 전달된다. 따라서 즉각적인 long-range interaction이 중요한 task에서는 단점이 될 수 있다.

둘째, Linear Complexity가 반드시 저비용을 의미하지 않는다

W-MSA는 attention mixing을 token 수에 대해 linear하게 만들지만 다음 projection cost는 여전히 존재한다.

4hwC²

Channel dimension은 깊은 stage에서 증가한다. 따라서 큰 Swin model은 여전히 상당한 computation과 memory를 요구한다.

셋째, 최고 성능에는 많은 resource가 사용된다

최고 결과에는 다음 요소가 함께 사용된다.

ImageNet-22K Pre-training
Large Model
High-resolution Input
Long Training Schedule
Strong Detection or Segmentation Head
Multi-scale Testing

따라서 가장 높은 성능을 backbone architecture 하나의 효과로만 해석해서는 안 된다.

넷째, Window Size가 고정되어 있다

기본 7 × 7 window는 사람이 정한 hyperparameter다.

Object의 모양이나 크기에 따라 window가 dynamic하게 바뀌는 구조는 아니다.

10. 최종 평가

Swin Transformer의 가장 중요한 기여는 새로운 Attention formula를 만든 것이 아니다.

핵심 기여는 Transformer가 computer vision backbone으로 작동하기 위해 필요한 다음 세 요소를 하나의 효율적인 구조로 결합한 것이다.

Hierarchy
Local Attention
Cross-window Communication

Hierarchy가 없으면 dense prediction을 위한 multi-scale feature가 부족하다.

Local Attention이 없으면 high-resolution image에서 계산량이 너무 커진다.

Shifted Window가 없으면 서로 다른 local window가 단절된다.

따라서 Swin Transformer의 성공은 하나의 독립적인 아이디어보다 세 가지 설계가 서로의 약점을 보완한다는 데 있다.

한 문장으로 정리하면 다음과 같다.

Swin Transformer는 global single-scale Transformer를 hierarchical local Transformer로 바꾸고, Shifted Window를 통해 local window 사이의 정보 전달을 가능하게 만든 vision backbone이다.

[황인성] DDIM

myblog33150 — Sat, 15 Aug 2026 12:47:13 +0900

저자: Jiaming Song, Chenlin Meng & Stefano Ermon

소속: Stanford University

학회: ICLR 2021

1. Abstract & Introduction

DDPM은 우수한 성능을 보이지만 denoising을 위해 모든 timestep을 그대로 거쳐야 해서 시간이 오래 걸린다는 단점이 존재한다. 이에 본 논문에서는 1) DDPM과 동일한 학습 과정을 거치면서, 2) forward process를 non-Markovian하게 일반화할 수 있고, 3) deterministic하고 빠른 추론이 가능한 DDIM(Denoising Diffusion Impicit Model)을 제안한다.

2. 전체 수식

DDPM의 수식:

DDPM 수식

DDPM 논문과 다른점: DDPM 논문에서는 αt로 표기한 것을 본 논문에서는 분수 꼴로 표기.

DDIM의 수식:

non-Markovian 한 부분. 현재 상태뿐만 아니라 초기 이미지에도 의지함.

3. Result

Timestep

샘플링에 소요되는 시간은 스탭 수에 비례하여 증가하며 최종 샘플의 품질은 타임스텝 20과 1000이 매우 유사하다. 따라서 타임스탭을 조절할 수 있는 DDIM의 연산 시간을 줄일 수 있는 요소로 작용한다.

Interpolation

기존의 DDPM이 Stochastic하여 이미지들 사이의 interpolation을 구할 수 없었지만 ddim의 경우 두 개 이상의 이미지 사이의 잠재적 이미지를 구할 수 있다. 예를 들어 개와 고양이 이미지 사이의 잠재적 이미지를 구해서 그 줄을 합성한 이미지를 구할 수도 있다.

4. Conclusion

[김윤수] TCN

mynote00005 — Sat, 15 Aug 2026 05:01:31 +0900

<Abstract>

대부분의 연구자들은 시간 순서가 있는 데이터 처리를 RNN/LSTM이라고 생각했음 but 최근 연구에서 recurrent network보다 더 좋은 성능을 보인다는 결과 나옴

⇒ 새로운 sequence modeling 문제나 데이터셋이 주어졌을때 어떤 architecture을 사용해야하는가?

TCN이 LSTM같은 대표적인 recurrent network보다 좋은 성능 보이고 TCN이 effective memory도 더 길게 나타남

⇒ sequence modeling에서 recurrent network를 당연한 기본 선택으로 생각하는 관점을 다시 생각할 필요가 있고, convolutional network도 고려해볼 수 있다.

<1. introduction>

기존관점: sequence modeling은 주로 RNN 계열, 특히 LSTM/GRU가 기본적인 선택으로 여겨짐

문제제기: 최근 CNN 기반 구조도 sequence task에서 좋은 성능을 보이고 있음

논문의 목적: convolution architecture와 recurrent architecture를 다양한 sequence modeling task에서 체계적으로 비교하는것이 목표임

비교방법: CNN쪽에서는 TCN을 사용하고 recurrent network 쪽에서는 LSTM,GRU등 대표적인 구조와 비교함

⇒ 다양한 task에서 TCN이 일반적인 recurrent architecture 보다 전반적으로 좋은 성능을 보였고, 실제로 과거 정보를 유지하는 effective memory도 더 길게 나타남

TCN이란? Temporal Convolution Network (task에서 사용할 기본 convolution 구조를 정리해서 TCN이라고 부르기로함)

<기본 개념>

RNN : 이전 시점의 정보를 hidden state에 저장해서 다음 시점으로 넘기면서 순서대로 처리함. sequence가 길어지면 오래전 정보를 잘 기억하지 못하고 vanishing/exploding gradient 문제가 생길 수 있음 → basic RNN은 학습하기 어려워서 LSTM과 GRU 같은 구조를 많이 사용함.

LSTM (Long Shor-Term Memory): RNN의 장기 기억 문제를 개선한 구조, 중요한 정보를 얼마나 기억하고 버리고 출력할지 gate로 조절

GRU (Gated Recurrent Unit): GRU는 LSTM의 단순한 구조 모델. LSTM은 Cell State + Hidden State 두 종류의 상태를 유지하고 정보 흐름을 조절하기 위해 forget gate, input gate, output gate 3개를 사용하지만 GRU는 구조를 줄여서 Hidden State 하나만 사용하고 input gate와 forget gate를 합쳐서 update gate를 사용하여 총 2개의 gate 정보 사용함.

TCN ( Temporal Convolutional Network): RNN 계열과 달리 recurrent connection을 사용하지 않고 시간축에 1D convolution을 적용하여 sequence를 처리하는 CNN 기반의 모델임.

<2. Background>

CNN도 사실 sequence에 오래전부터 사용됐음
기본 RNN은 학습하기 어려워서 sequence를 잘 처리할 수 있는 LSTM, GRU가 일반적으로 사용됨
여러 연구들이 많이 있었는데 convolution approach와 recurrent approach를 sequence modeling에서 체계적으로 비교한 연구는 충분하지 않았음.

<3-1. Sequence Modeling>

sequence modeling 정의 : 입력 sequence 전체를 함수 f에 넣어서 출력 sequence를 만든다.

조건: 미래를 보면 안된다.

Autoregressive prediction: 과거 값을 이용해 다음 값을 예측하는 문제도 이 정의에 포함 가능 (일반적인 sequence-to-sequence 문제에는 이 정의가 그대로 적용되는것이 아니지만 확장해서 사용가능)

<3-2. Causal Convolution>

TCN은 2가지 조건 만족해야함

입력과 출력 sequence 길이가 같아야함 → 1D Fully Convolution Network (FCN)
미래 정보가 과거로 새면 안됨 → Causal Convolution

Causal Convolution이란? : 일반 convolution이라면 현재 위치 주변을 볼 수 있음 → 현재랑 과거만 사용하도록

문제!! : effective history가 network depth에 대해 linear하게 증가함 (엄청 먼 과거까지 보고 싶으면 network를 엄청 깊게 만들거나 kernel을 엄청 크게 만들어야함)

⇒ Dilated Convolution 등장

<3.3 Dilated Convolutions>

깊이가 조금만 증가해도 먼 과거까지 receptive field가 넓어짐

Receptive Field : 현재 출력을 하나 계산할 때 영향을 줄 수 있는 입력의 범위

왜 dilation을 1,2,4처럼 늘리나? : 지수적으로 증가시켜서 network가 조금만 깊어져도 먼 과거까지 빠르게 볼 수 있도록

<3.4 Residual Connections>

TCN이 긴 과거까지 보기 위해 network를 깊게 쌓을 수 있는데 너무 깊어지면 학습이 불안정해질 수 있음 → Residual Connection을 넣음

Activation function : 활성화 함수 - 신경망의 계산 결과에 비선형성을 추가하는 함수

ReLU 사용함 - x=3이면 3, x=-2이면 0 출력

왜 이용? : 선형 연산만 계속 반복하면 복잡한 패턴을 학습하는데 한계가 있어서 비선형성 추가

<3.5 Discussion>

장점

parallelism 가능 : RNN은 앞 시점 계산이 끝나야 다음 계산이 가능하지만 TCN은 동시에 계산할 수 있다.
Flexible Receptive Field : layer를 더 쌓거나 dilation factor d를 키우거나 kernel size를 키우는 방식으로 가능, memory 범위를 설계할 수 있다는 장점
Stable Gradients : RNN은 시간 방향으로 계속 연결되어 있어서 gradient가 점점 0에 가까워지거나 gradient가 너무 커질 수 있는 문제가 발생할 수 있는데 TCN은 convolution layer 방향으로 이루어져서 이런 문제를 덜 겪음 (temporal recurrent path가 없어서)
학습할때 메모리 사용량이 적다
길이가 달라도 처리 가능 : 1D convolution kernel을 sequence 위에서 sliding하면 되기 때문에 임의 길이의 입력 sequence를 처리할 수 있다

단점

추론할 때 과거 데이터를 저장해야한다 :

RNN은 h_t-1에 과거 정보가 요약되어 있어서 raw input을 전부 들고 있을 필요가 없지만 TCN은 convolution 할 때 receptive field 안에 있는 실제 과거 입력들을 다시 참조해야한다. 따라서 inference시에 effective history 길이만큼의 데이터를 저장해야할수도 있어서 training에서는 TCN이 메모리 효율적일 수 있지만, evaluation/inference에서는 TCN이 오히려 더 많은 history storage를 요구할 수도 있음.

2. 도메인을 바꾸면 receptive field가 부족할 수 있다 : RNN은 이론적으로 hidden state를 계속 전달하지만 TCN은 receptive field가 구조적으로 정해져있다.

<4. Sequence Modeling Tasks>

TCN과 RNN 계열을 어떤 문제들로 비교했는가?

Adding Problem : 긴 sequence 에서 중요한 두 값을 기억해서 더할 수 있는지 보는 문제
sequential MNIST : MNIST 숫자 이미지인데 784개의 픽셀을 하나의 긴 sequence로 만들어서 순서대로 입력
P-MNIST : 784개 픽셀 순서를 랜덤하게 섞어버림
Copy Memory : 랜덤한 숫자 10개가 나온 다음 긴 구간 0만 계속 나오고 마지막 근처에서 특별한 delimiter인 9가 나온 다음 맨 처음 숫자 출력하도록 함
음악데이터 : JSB Chorales - 4성부 합창곡 382곡으로 구성된 dataset, 88-bit binary vector로 표현, Nottingham - 1200곡을 이용한 dataset이고 NLL로 평가함
언어 모델링 : PTB - character-level과 word-level

<5. Experiments>

MNIST 에서 TCN이 recurrent 모델보다 높은 정확도 보임

copy memory에서 큰 차이남 TCN은 거의 0에 가까운 loss로 학습함 -> 장기 기억 문제에서 큰 성능 차이

Word-level LAMBADA -> 긴 문맥 활용 능력이 우수

다만 모든 결과가 더 좋게 나온것은 아님

<6. Conclusion>

TCN이 다양한 sequence modeling task에서 더 좋은 성능 보임
같은 정도의 모델 capacity에서 TCN이 LSTM/GRU보다 더 긴 effective memory 보임
sequence modeling이면 일단 RNN/LSTM부터 생각하는 관점을 다시 생각해야

[한서연] WRN

sianaci — Thu, 13 Aug 2026 21:08:10 +0900

제목: Wide Residual Networks
저자: Sergey Zagoruyko, Nikos Komodakis
소속: Université Paris-Est, École des Ponts ParisTech
학회지: BMVC 2016

0. Abstract

Deep residual network는 수천 층까지 확장 가능하고 층을 늘릴수록 성능이 계속 좋아진다고 알려져 있었다. 하지만 정확도를 조금 올리기 위해 층수를 거의 두 배로 늘려야 하는 비효율이 있었고, 이는 diminishing feature reuse 문제와 맞물려 학습 속도를 크게 떨어뜨렸다. 본 논문은 ResNet block의 구조에 대한 상세한 실험적 연구를 수행하고, 이를 바탕으로 깊이를 줄이고 너비를 늘리는 새로운 아키텍처인 Wide Residual Network(WRN)를 제안한다. 16층에 불과한 WRN이 1000층짜리 deep ResNet을 정확도와 학습 효율 모두에서 능가함을 보이며, CIFAR, SVHN, COCO에서 state-of-the-art를 달성하고 ImageNet에서도 유의미한 개선을 나타냄을 보인다.

1. Introduction

AlexNet → VGG → Inception → ResNet으로 이어지는 CNN 발전 흐름 속에서, ResNet은 2015년 ImageNet/COCO 대회에서 큰 성공을 거두며 residual connection(identity mapping)을 도입해 매우 깊은 네트워크의 학습을 가능하게 했다.

저자들은 이 identity mapping 구조가 깊은 네트워크 학습을 가능하게 한 동시에 약점이기도 하다고 지적한다. Gradient가 굳이 residual function F를 거치지 않고 identity 경로로 흘러갈 수 있어서, 많은 block이 실제로는 학습에 거의 기여하지 못하는 상태가 될 수 있다는 것이다. 이 문제를 다룬 선행 연구인 stochastic depth가 효과적이었다는 사실이, 이 가설을 뒷받침하는 근거로 제시된다.

이런 배경에서 저자들은 residual network의 힘은 block 자체에 있고, 깊이는 부차적이라는 방향을 제안한다. 기존 최고 성능 모델 대비 50배 적은 층수로, 2배 이상 빠르게 학습되는 wide 네트워크를 제시하며, 16층 WRN이 1000층 thin ResNet과 동등한 정확도를 훨씬 빠르게 달성함을 보인다.

논문의 4가지 기여

ResNet block 구조에 대한 상세한 실험적 연구
성능을 크게 개선하는 새로운 widened block 아키텍처 제안
Residual network 내 dropout을 올바르게 활용하는 새로운 방법 제안
CIFAR-10/100, SVHN, COCO에서 SOTA, ImageNet에서도 유의미한 개선 달성

2. Wide Residual Networks

2.1 기본 구조

기존 ResNet의 두 block 타입:

basic: conv3×3 → conv3×3
bottleneck: conv1×1 → conv3×3 → conv1×1 (채널을 줄였다가 다시 늘려 계산량을 줄이는 구조)

네 가지 block 구조 비교

본 논문은 원본 ResNet의 conv-BN-ReLU 순서 대신, 후속 연구에서 더 나은 성능을 보인 pre-activation 순서(BN-ReLU-conv)를 기본으로 채택한다. 또한 너비 연구가 목적이므로, 채널 수를 일부러 좁혔다 넓히는 bottleneck은 배제하고 basic block에 집중한다.

Block의 표현력을 늘리는 세 가지 방법으로 ① block당 conv layer 수 증가(deepening factor l), ② conv layer의 채널 수 증가(widening factor k), ③ 필터 크기 증가를 제시하는데, 작은 필터(3×3)의 효과가 이미 입증되어 있으므로 필터 크기는 3×3으로 고정하고 l, k 두 변수만 조절한다.

2.2 전체 네트워크 구조

conv1~conv4 그룹 구조표

네트워크는 초기 conv1 뒤에 conv2, conv3, conv4라는 3개의 block 그룹(각 N개의 block)이 이어지고, 마지막에 average pooling과 분류 layer가 붙는 구조다. Widening factor k가 conv2~4의 채널 수(16k, 32k, 64k)를 조절하며, k=1이면 원본 ResNet과 동일하다. 표기법 WRN-n-k는 전체 conv layer 수 n, 너비 배율 k를 의미한다 (예: WRN-40-2는 40층, 폭 2배).

2.3 Dropout in residual blocks

파라미터가 늘어난 wide network의 과적합을 방지하기 위해, 저자들은 dropout을 block 내부, conv 사이에 삽입하는 방식을 제안한다. 선행 연구에서 identity 경로에 dropout을 넣었을 때는 오히려 부정적 효과가 있었는데, conv 사이에 넣으면 이런 부작용 없이 일관된 성능 향상을 얻는다.

3. Experimental results

3.1 블록 내부 conv 종류 비교

block type별 비교 결과

파라미터 수가 비슷하면 block 종류(B(3,3), B(3,1), B(1,3) 등) 간 성능 차이는 크지 않았으며, 기본 B(3,3)이 근소하게 가장 우수했다.

3.2 Block당 conv 개수(l) 비교

l에 따른 CIFAR-10 오류율

l=2가 최적으로 나타났다. l이 3, 4로 커질수록 오히려 성능이 나빠지는데, block당 residual connection이 상대적으로 줄어들어 최적화가 어려워지기 때문으로 저자들은 추정한다.

3.3 너비(k) 비교 — 핵심 실험

depth/k에 따른 CIFAR-10, CIFAR-100 결과

대체로 너비를 늘릴수록 성능이 개선되지만, depth 22·28에서는 k를 특정 지점 이상으로 늘렸을 때 CIFAR-10 오류율이 오히려 소폭 상승하는 예외도 관찰된다. 이는 파라미터가 지나치게 커지면 추가적인 정규화 없이는 오히려 과적합 경향이 나타날 수 있음을 시사한다.

Thin vs Wide 직접 비교 (ResNet-1001 vs WRN)

WRN-40-4(8.9M 파라미터, 40층)는 ResNet-1001(10.2M 파라미터, 1001층)과 비슷한 파라미터 수임에도 두 데이터셋 모두 더 나은 정확도를 낸다.

P ∝ l · d · k²

l, d(block 개수)에는 파라미터 수가 선형으로 비례하지만, k(너비)는 입력·출력 채널 두 곳에 동시에 곱해지기 때문에 제곱(k²)으로 비례한다.

3.4 Dropout 효과

dropout 유무 비교

thin/wide 네트워크 training curve, CIFAR-10/100

SVHN training curve, dropout 효과

WRN-28-10 기준 dropout이 CIFAR-10/100 오류율을 각각 0.11%p, 0.4%p 낮췄고, data augmentation을 전혀 쓰지 않는 SVHN에서는 효과가 더 뚜렷했다(1.85% → 1.64%).

3.5 ImageNet / COCO 및 연산 효율성

ImageNet 결과

thin vs wide 연산 시간 비교 막대그래프

WRN-50-2-bottleneck은 ResNet-152보다 3배 적은 층수로 더 나은 성능을 냈다. 연산 효율 측면에서, WRN-28-10은 thin ResNet-1001보다 1.6배, 정확도가 비슷한 WRN-40-4는 8배 빠르다.

4. Conclusion

너비를 늘리는 것은 모든 깊이에서 일관되게 성능을 개선한다.
깊이와 너비를 함께 늘리는 것은 파라미터가 지나치게 커지기 전까지는 도움이 되지만, 그 이상은 강한 정규화가 필요하다.
매우 높은 깊이 자체가 정규화 효과를 주지는 않으며, 같은 파라미터 수라면 넓은 네트워크가 얇은 네트워크만큼 혹은 더 잘 학습할 수 있다.
결국 residual network의 핵심 힘은 block 자체에 있고, 극단적인 깊이는 필수가 아니다.

[권도현] YOLOv5, YOLOv9, YOLOv11

whereami72 — Sat, 1 Aug 2026 11:54:47 +0900

모델	논문	제3자 분석 논문	핵심 의미
YOLOv5	❌ 없음	✅ 있음	PyTorch 기반의 사용하기 쉬운 실용 YOLO 생태계를 널리 확산
YOLOv9	✅ 있음, ECCV 2024	✅ 추가 분석 논문도 있음	PGI와 GELAN을 통해 학습 중 정보 손실과 gradient 문제를 연구
YOLO11	❌ 없음	✅ 있음	C3k2, C2PSA, 가벼운 head로 YOLOv8의 정확도·효율·배포성을 개선

YOLOv5

YOLOv5는 backbone에서 다중 해상도 특징을 추출하고, FPN–PAN neck에서 이를 융합한 뒤, anchor-based head에서 객체 위치와 클래스를 동시에 예측하는 one-stage detector

https://arxiv.org/pdf/2407.20892

https://github.com/ultralytics/yolov5

GitHub - ultralytics/yolov5: Ultralytics YOLOv5 in PyTorch for object detection, instance segmentation, classification, training

Ultralytics YOLOv5 in PyTorch for object detection, instance segmentation, classification, training, and export. - ultralytics/yolov5

github.com

Backbone–Neck–Head

YAML 문법 참고

[from, number, module, args]

[-1, 6, C3, [256]]

-1: 바로 이전 layer 출력을 입력으로 사용
6: 기준 반복 횟수
C3: 사용할 module
256: 기준 출력 channel.

* YOLOv5s의 width_multiple 의 설정 = 0.5, 각 layer의 feature map을 몇 채널로 만들지를 조절

Backbone : 입력 이미지를 탐지에 사용할 여러 단계의 feature map으로 바꾸는 부분

- Stride-2 Conv : 공간 해상도 줄이고 채널 수 늘림

- C3: 공간 해상도 유지하고 특징 학습만 진행

[-1, 1, Conv, [64, 6, 2, 2]]

해석 : 직전 입력을 받는다. Conv 모듈을 사용한다. 기준 출력 채널은 64다. Kernel은 6×6이다. Stride는 2다. Padding은 2다. YOLOv5s width scaling 후 실제 출력은 32채널이다.

[-1, 6, C3, [256]]

해석 : 직전 layer 출력을 받는다. C3를 사용한다. 기준 Bottleneck 반복은 6회다. depth 0.33 적용 후 실제 반복은 2회다. 기준 출력 채널은 256이다. width 0.5 적용 후 실제 출력은 128채널이다.

단계	연산	stride	실제 출력
Input	입력	1	([B,3,640,640])
Layer 0	Conv, s=2	2	([B,32,320,320])
Layer 1	Conv, s=2	4	([B,64,160,160])
Layer 2	C3	4	([B,64,160,160])
Layer 3	Conv, s=2	8	([B,128,80,80])
Layer 4	C3	8	P3: ([B,128,80,80])
Layer 5	Conv, s=2	16	([B,256,40,40])
Layer 6	C3	16	P4: ([B,256,40,40])
Layer 7	Conv, s=2	32	([B,512,20,20])
Layer 8	C3	32	([B,512,20,20])
Layer 9	SPPF	32	P5: ([B,512,20,20])

Neck

- FPN : P5를 upsampling하여 P4와 합치고, 다시 P3와 합침. 이를 통해 깊은 층의 강한 의미 정보를 고해상도 특징에 전달

P5 → P4 → P3로 올라갈수록 공간 크기는 커지고, 채널 수는 줄어드는 방향

- PAN : 융합된 P3를 stride-2 convolution으로 줄여 P4와 P5에 다시 전달. 이를 통해 세밀한 위치 정보를 깊은 scale에도 전달.

Head

Neck에서 출력한 P3,P4,P5 특징맵에서 여러 anchor를 기준으로 bounding box, objectness, class score를 예측

C3와 SPPF

C3

- 첫 번째 경로는 cv1 이후 여러 Bottleneck을 통과해 특징을 깊게 변환 두 번째 경로는 cv2만 통과하는 짧은 경로

- 마지막으로 두 결과를 channel 방향으로 concatenate하고 cv3로 융합

- C3는 모든 특징을 동일한 깊은 연산에 통과시키지 않고, 깊게 변환된 특징과 비교적 짧게 전달된 특징을 함께 사용하는 CSP 계열 구조

SPPF

- 동일한 5*5 max pooling 을 직렬적으로 세번 적용

- 첫번째는 5*5 -> 두번째는 9*9 -> 세번째는 13*13 의 범위를 반영하게 됨 (Stride가 1이기 때문에 pooling 창들이 한 칸씩 겹치며 이동하므로, 범위는 5배로 곱해지는 것이 아니라 한 번마다 양쪽으로 두 칸씩 확장)

- 위 결과를 합침 -> 서로 다른 범위의 주변 문맥을 함께 보도록 하는 모듈

순차 pooling

y1 = MaxPool(x)
   = [B,256,20,20]
   = 원래 x 기준 5×5 문맥

y2 = MaxPool(y1)
   = [B,256,20,20]
   = 원래 x 기준 9×9 문맥

y3 = MaxPool(y2)
   = [B,256,20,20]
   = 원래 x 기준 13×13 문맥

Concat

torch.cat((x, y1, y2, y3), 1)

[B,256,20,20] × 4
        ↓ 채널 방향 Concat
[B,1024,20,20]

최종 융합

[B,1024,20,20]
→ cv2, 1×1 Conv
→ [B,512,20,20]

최종적으로 공간 크기는 유지되지만, 정보가 달라짐

- kernel_size = 5, padding = 2, stride = 1 이라 20×20 입력이 들어가면 20×20 출력

YOLOv9

Ultralytics 계열	YOLOv5, YOLOv8, YOLO11
WongKinYiu 연구팀 계열	YOLOv4 일부, YOLOv7, YOLOv9

Learning What You Want to Learn Using Programmable Gradient Information

https://arxiv.org/pdf/2402.13616

Problem

학습이 잘 안되는것은 gradient vanishing 때문인가?

과거 신경망에서는 gradient vanishing이나 saturation이 중요한 문제였지만, 현대 네트워크에서는 normalization, activation function, residual connection 등의 발전으로 이 문제들이 상당히 완화되었다. 그런데도 여전히 느린 수렴이나 좋지 않은 수렴 결과가 나타난다.

=> 전달되는 gradient가 정말 정답을 배우는 데 필요한 정보를 담고 있고 있을까?

information bottleneck

층이 깊어질수록 원본 입력에 관한 정보는 새로 증가할 수 없고 감소할 수 있다

배경의 미세한 무늬나 카메라 노이즈를 버리는 것은 바람직하나, 정답 관련 정보 손실이 문제가 된다.

최종 feature에 정답 관련 정보가 부족하다면, 그걸로 계산된 gradient 가 입력과 정답의 올바른 관계를 충분히 반영하지 못한다.

기존 해결책들의 trade off

접근법	방식	문제
큰 모델	더 많은 용량으로 정보 보존	계산량 증가, 근본 해결 아님
Reversible architecture	입력 정보를 반복 전달·복원	inference 비용 증가, 고수준 의미 변환 제한 가능
Masked modeling	reconstruction으로 입력 정보 유지	target loss와 충돌 가능, 작은 모델의 용량 부족
Deep supervision	얕은 feature에 직접 target 신호 제공	error accumulation, broken information, 작은 모델에 불리
단순 residual/skip	정보와 gradient 경로 보존	깊은 변환에서 target 정보 손실을 완전히 방지하지 못함

Method

YOLOv9은 GELAN이라는 효율적인 검출 네트워크를 사용하고, 학습할 때만 PGI라는 보조 경로를 추가해 더 신뢰할 수 있는 gradient로 학습시키는 실시간 객체 검출 모델

GELAN: 이미지 특징을 효율적으로 추출하고 합치는 실제 모델 구조
PGI: 학습 과정에서 중요한 정보가 사라지지 않도록 gradient를 보강하는 방법

PGI

Programmable Gradient Information

main network에 더 신뢰할 만한 gradient를 전달하는 auxiliary supervision framework

1. Main branch

실제 inference에서 사용하는 객체 검출 네트워크, GELAN 기반

2. Auxiliary reversible branch

학습할 때만 존재하는 보조 네트워크

Figure 3(b)의 RevCol 구조처럼, main branch를 reversible network로 만들면 정보 보존엔 유리하나 실시간 검출에 너무 무거움
deep-to-shallow 추가 연결을 넣으면 inference time이 약 20% 증가
입력을 고해상도 계산층에 반복적으로 넣으면 inference time이 두 배를 넘을 수도 있음

3. Multi-level Auxiliary Information

일반 deep supervision의 multi-scale 정보 단절 문제를 해결하고자 함

P3: 높은 해상도 → 작은 물체에 상대적으로 유리
P4: 중간 해상도 → 중간 물체에 상대적으로 유리
P5: 낮은 해상도 → 큰 물체에 상대적으로 유리

P3 → Head → Loss
P4 → Head → Loss
P5 → Head → Loss

이런 경우에 P3 은 작은 물체는 주요하게 보고 큰 물체는 배경처럼 취급할 수 있음

각 level 의 특징이 특정 크기가 주는 정보에만 지배될 수 있음

각 단계에서 정보가 손실이 되면, 뒤의 단계로 갈 수록 오류가 누적되거나 정보가 끊길 수 있음

Broken information: level마다 target 정보가 조각나거나 단절됨
Error accumulation: 앞 단계에서 생긴 불완전한 supervision이 뒤 단계까지 누적됨

=> 다른 크기의 물체 정보를 완전히 배경으로 버리지 않도록 gradient 정보를 공유하자

auxiliary supervision의 feature pyramid hierarchy와 main branch 사이에 integration network를 삽입

GLEAN

Generalized Efficient Layer Aggregation Network

GELAN=CSPNet의 분할 구조+ELAN의 다중 깊이 집계

1. CSP식 분할

입력 feature를 여러 partition으로 나눔 -> 효율성

일부 feature → 짧은 경로
일부 feature → 깊은 계산 경로

2. ELAN식 다중 깊이 집계

계산 경로의 마지막 출력만 쓰지 않고 중간 단계 출력도 최종 concatenation에 전달

짧은 특징
+ 한 단계 깊은 특징
+ 더 깊은 특징
→ Concat

* gradient path planning

일반적 : 입력 → Block 1 → Block 2 → Block 3 → 출력 → Loss

block 1 이 gradient 를 받기 위해서는 앞의 블록을 거쳐야함, Loss → Block 3 → Block 2 → Block 1

각 중간 출력이 concatenation에 직접 연결되므로 gradient는 서로 다른 길이의 경로를 통해 전달

Loss → Concat → Block 1 출력
Loss → Concat → Block 2 출력
Loss → Concat → Block 3 출력

3. Conv만 쓰지 않고 임의의 block 사용

기존 ELAN에서는 연산 경로가 주로 convolution stack으로 구성

기존 ELAN:
Conv → Conv → Conv

GELAN에서는 이 부분을 일반화해서 다음과 같은 block을 사용 -> Generalized

Conv block
ResNet block
DarkNet block
CSP block
기타 computational block

실험 결과

YOLOv9-S는

YOLOv8-S보다 파라미터가 적고 FLOPs도 조금 적으며 AP는 1.9 높음
YOLO-MS-S보다 파라미터가 적고 FLOPs가 적으며 AP는 0.6 높음

PGI의 auxiliary branch가 학습할 때만 사용되고 추론에서는 제거되기 때문에 파라미터 증가에 영향을 안줌

PlainNet: 물체 정보가 많이 사라짐
ResNet: 물체 위치는 어느 정도 남아 있지만 일부 정보 손실
CSPNet: 물체 구조가 상대적으로 잘 유지됨
GELAN: 물체 위치와 경계가 가장 명확하게 남아 있음

반응이 실제 물체 영역에 더 집중됨
target 위치가 더 명확하게 나타남

CSP 블록이 좋은 성능
GELAN 이 하나의 block 에 종속되지 않는다
PGI 의 성능 상승폭이 더 크다.

YOLOv11

https://arxiv.org/pdf/2410.17725

큰 흐름을 보여주는 표

YOLOv1: 단일 단계 탐지 시작

YOLOv2–v3 : Anchor와 multi-scale detection 강화

YOLOv4–v5 : CSP, PAN, 실용적인 학습·구현 발전

YOLOv6–v8 : 효율성과 anchor-free 구조 발전

YOLOv9 : PGI + GELAN

YOLOv10 : NMS-free end-to-end detection

C3k2: YOLO11에서 YOLOv8의 C2f를 대신해 사용
C2PSA: YOLO11에서 새로 추가된 attention
SPPF: 이전 YOLOv5·YOLOv8부터 쓰던 모듈을 그대로 유지

YOLOv8 대비 세 가지 변화

C2f를 C3k2로 교체
SPPF 뒤에 C2PSA 추가
classification branch를 depthwise-separable convolution으로 경량화

CSP

Cross Stage Partial Network

한 stage의 입력 feature를 모두 똑같이 무거운 연산에 통과시키지 않고 일부는 깊게 처리하고, 일부는 비교적 직접 전달한 뒤 마지막에 합치는 것

-> 얘가 구현된 모듈이 C3, C2f,,,,

YOLOv5의 대표 CSP 블록
입력을 두 경로로 나눔
한 경로는 Bottleneck을 연속으로 통과
다른 경로는 Bottleneck을 우회
마지막에는 Bottleneck 경로의 최종 출력 하나와 우회 경로 하나, 총 2개만 합침

C3k

C3와 전체적인 분기 구조는 동일
차이는 내부 Bottleneck의 convolution kernel 크기 k를 지정할 수 있다는 것
경로가 더 많아지는 것은 아님

C2f

YOLOv8의 대표 CSP 블록
Bottleneck은 순차적으로 연결됨
다만 각 Bottleneck의 모든 중간 출력을 저장했다가 마지막에 한꺼번에 합침
C3보다 feature reuse가 많음

** 중간 출력을 합치는 이유?

깊이에 따라 feature의 성격이 조금씩 달라질 수 있는데, C3는 가장 깊은 결과와 우회 결과만 합침

하지만 C2f는 중간 깊이의 feature도 전부 사용할 수 있게 함

C3k2

YOLO11의 대표 블록
바깥 구조는 C2f
내부 반복 단위를 일반 Bottleneck 또는 C3k로 선택할 수 있음
c3k=False: 내부에 일반 Bottleneck
c3k=True: 내부에 C3k 사용

C2PSA

Backbone 끝에서 공간적 self-attention 수행

입력 feature를 두 경로로 분리하고, 한쪽은 그대로 보존하며 다른 쪽에는 multi-head self-attention과 FFN으로 구성된 Transformer-like PSABlock을 적용한 뒤 다시 합치는 모듈

multi head Self-Attention

입력
 ↓
1×1 Conv로 Q, K, V 생성
 ↓
Multi-head Self-Attention
 ↓
Depthwise 3×3 positional encoding 추가
 ↓
1×1 projection Conv
 ↓
Residual Add

공식 Attention 코드에는 다음 convolution들이 포함

qkv: Q·K·V를 생성하는 1×1 Conv
pe: 위치 정보를 보강하는 depthwise 3×3 Conv
proj: attention 결과를 정리하는 1×1 Conv

FFN 부분

Attention 뒤에는 channel feature를 변환하는 FFN, 두 개의 Conv가 Transformer의 MLP/FFN 역할

C channels
   ↓ 1×1 Conv
2C channels
   ↓ 1×1 Conv
C channels

Depthwise-separable convolution

classification head에서 일반 convolution이 동시에 수행하던 공간 처리와 채널 혼합을 각각 Depthwise 3×3과 Pointwise 1×1 convolution으로 분리 -> 분류에서만 경량화

Box regression branch: 일반 3×3 Conv 유지
Classification branch: Depthwise 3×3 + Pointwise 1×1로 경량화

일반 convolution

출력 채널마다 입력 채널별 공간 kernel을 전부 따로 가진다.

출력 채널 1
├─ 입력 채널 1용 2×2 kernel
└─ 입력 채널 2용 2×2 kernel

출력 채널 2
├─ 입력 채널 1용 또 다른 2×2 kernel
└─ 입력 채널 2용 또 다른 2×2 kernel

Depthwise-separable convolution

공간 kernel은 입력 채널마다 하나만 둔다.

입력 채널 1 → 공간 kernel 1 → Z₁
입력 채널 2 → 공간 kernel 2 → Z₂

그 뒤 Pointwise convolution에서

출력 채널 1 = Z₁과 Z₂의 조합 1
출력 채널 2 = Z₁과 Z₂의 조합 2

입력 256채널, 출력 256채널, 3×3 kernel 이라 하면

일반 convolution 은 출력 채널 하나를 위해 256 * 3* 3 이 필요, 전체에 대해 256*256*3*3

Depthwise-separable convolution은 depthwise 에서 256 * 3* 3 , pointwise 에서 256*256 필요

결과

가로 : Latency T4 TensorRT10 FP16 (ms/img)
- NVIDIA T4 GPU에서 TensorRT 10과 FP16을 사용했을 때 이미지 한 장을 처리하는 데 걸리는 시간
세로 : COCO mAP50–95
- 객체 탐지의 정확도 지표.
- 물체의 클래스가 맞는지
- 예측 박스가 실제 박스와 얼마나 잘 겹치는지

[서정우] U-Net/U-Net++

idealam — Sat, 1 Aug 2026 07:49:24 +0900

U-Net: Convolutional Networks for Biomedical Image Segmentation

저자: Olaf Ronneberger, Philip Fischer, and Thomas Brox

소속: University of Freiburg

학회: MICCAI 2015

http://arxiv.org/abs/1505.04597

U-Net: Convolutional Networks for Biomedical Image Segmentation

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated

arxiv.org

MOTIVATION

당시 딥러닝은 대규모 데이터셋에서 뛰어난 성능을 보이고 빠르게 발전했지만, 대부분 ImageNet과 같은 대규모 데이터셋을 기반으로 이루어졌습니다. 하지만,의료영상 분야는 충분한 수의 라벨링 데이터를 확보하기 어려웠습니다

즉, 의료영상 분야는 딥러닝이 가장 잘 작동하는 조건과는 정반대의 환경이었다.

학습 데이터는 적고
라벨링 비용은 매우 높으며

이러한 배경에서 저자는 적은 수의 의료 영상만으로 학습할 수 있으면서, 이미지 전체의 문맥과 정확한 위치 정보를 동시에 활용하는 segmentation network를 만들고자 하였습니다.

INTRODUCTION

기존 방식의 문제점

CNN은 Classification 분야에서 뛰어난 성능을 보였지만, 의료 영상처럼 픽셀 단위 예측이 필요한 Segmentation 문제에는 그대로 적용하기 어려웠습니다.
Sliding Window 방식은 예측하려는 픽셀 주변의 작은 패치를 CNN에 입력하여 해당 픽셀의 클래스를 예측하는 방식으로, 픽셀 단위 분할이 가능하다는 장점이 있었습니다. 하지만 이미지 전체를 처리하려면 수많은 패치를 반복적으로 계산해야 했기 때문에 속도가 매우 느렸고, 넓은 문맥 정보를 활용하면 위치 정확도가 떨어지고, 위치 정확도를 높이면 문맥 정보를 충분히 활용하지 못하는 한계가 있었습니다.
FCN : 이미지를 한 번에 입력 받아 픽셀 단위 예측을 수행하는 방식을 제시하였고, 이는 U-Net에서 기반으로 삼는 구조입니다.

U-Net

U-Net은 FCN을 기반으로 합니다. FCN이 이미지 전체를 한 번에 입력받아 픽셀 단위 예측이 가능하다는 가능성을 보여주었기에, U-Net은 여기에 보다 정확한 위치 정보를 복원하는 구조를 추가했습니다.

ARCHITECTURE

Contraction Path

먼저, 입력 이미지를 받아서 3×3 합성곱 두 번과 2×2 맥스 풀링을 한 묶음으로 네 번 반복하며 이미지를 점점 작게 압축합니다. 이 과정에서 해상도는 절반씩 줄어들지만 채널 수는 두 배씩 늘어납니다. 즉 "정확히 어디인지"는 흐려지는 대신 "이 영역이 대체로 무엇인지"에 대한 정보가 응축된다. 572×572로 들어온 이미지는 이 과정을 거쳐 28×28까지 줄어듭니다.

하지만 해상도를 계속 줄이면 위치 정보가 점점 손실된다는 문제가 발생합니다. U-Net은 이러한 한계를 해결하기 위해 각 contraction level에서 생성된 고해상도 Feature Map을 저장해 두었다가, Expansive Path에서 업샘플링된 Feature와 결합하는 Skip Connection을 도입했습니다. 즉, Encoder는 문맥 정보를 학습하고, Skip Connection은 잃어버린 위치 정보를 Decoder로 전달하는 다리 역할을 수행한다.

Expansive Path

매 단계마다 2×2 업 합성곱(up-convolution)으로 해상도를 두 배로 늘리고 채널은 절반으로 줄인 뒤, 여기에 압축 단계에서 미리 복사해둔 feature를 채널 방향으로 이어붙입니다. 압축 전의 사본에는 흐려지기 전의 세밀한 경계 정보가 그대로 남아 있으므로, 아래에서 올라온 "무엇인지"에 대한 판단과 옆에서 건너온 "어디인지"에 대한 정보가 같은 좌표에서 만나게 됩니다. 다만 합성곱을 padding 없이 쓰기 때문에 두 feature의 크기가 어긋나 있고, 그래서 복사해온 쪽의 가장자리를 잘라내 크기를 맞추는 crop 과정이 함께 들어간다. 이어붙인 뒤에는 다시 3×3 합성곱을 두 번 적용하는데, 실제로 두 정보를 어떻게 결합할지를 학습하는 것은 이 합성곱입니다. 이 왕복을 네 번 반복하고 마지막에 1×1 합성곱으로 각 픽셀의 특징 벡터를 클래스 개수만큼의 점수로 바꾸면 최종 분할 결과가 나옵니다.

Overlap-Tile Strategy & Mirror-extrapolation

Unpadded convolution 때문에 572² 입력이 388² 출력이 되는데, 이를 뒤집어 말하면 어떤 영역을 예측하려면 그보다 각 변 92픽셀 넓은 입력이 필요하다는 뜻입니다. 이를 해결하기 위해서, Overlap-tile과 mirroring을 사용합니다.

Overlap-tile은 있는 데이터를 어떻게 나눌지에 대한 전략이고, mirroring은 모자란 픽셀을 어떻게 지어낼지에 대한 방법입니다. Mirroring extrapolation 기법 사용하여 입력 이미지의 가장자리를 거울 반사된 형태로 확장하고, Overlap-tile은

Overlap-tile은 기준을 입력이 아니라 출력에 둡니다. 388²씩 잘라 격자처럼 배치하면 출력 타일끼리는 겹치지 않고 딱 맞물립니다. 반면 각 타일의 입력은 572²여야 하므로 이웃 타일과 184픽셀씩 겹칩니다. Mirror extrapolation은 그 다음 문제를 맡습니다. 맨 가장자리 타일은 필요한 92픽셀이 이미지 바깥이라 아예 존재하지 않습니다. 원본을 경계 너머로 반사시켜 그 간극을 채웁니다.

TRAINING

학습은 Caffe의 stochastic gradient descent 구현으로 이루어집니다. 출력이 입력보다 일정한 테두리 폭만큼 작으므로 타일마다 고정된 손실이 발생하고, 이 오버헤드를 줄이려면 타일을 크게 써야 합니다. 그래서 저자들은 한정된 GPU 메모리를 배치가 아니라 타일 크기에 몰아주고, 대신 배치가 1이어서 요동치는 gradient를 높은 momentum(0.99)으로 보상했습니다.

손실 함수는 최종 feature map에 픽셀 단위 soft-max를 적용하고 cross entropy를 결합해 계산합니다. $E$ 함수를 $\sum w(x)g(x)$이라고 하면, $g(x)$는 확률의 로그 값에 weight를 곱한 값들의 합이라고 볼 수 있습니다. 참고로, 이 식을 살펴 보면, 정답 확률이 높을수록, $E$ 도 커지기 때문에 loss function 보다는 최대화의 특징을 보여줍니다.

다음으로, 가중치 $w(x)$에 대해 살펴보면,

$w_c(x)$는 클래스 빈도 불균형을 보정하는 항이고, $d_1$은 가장 가까운 개체까지의 거리, $d_2$는 두 번째로 가까운 개체까지의 거리입니다. 결국은, $d_1(x)+d_2(x)$가 0이 되는 두 개체가 맞닿는 접촉 경계에서 커지는 것을 확인할 수 있습니다.

DATA AUGMENTATION

U-Net은 Shift, Rotation, 그리고 Random Elastic Deformation을 활용하여 제한된 학습 데이터를 효과적으로 확장하였습니다. 특히 Random Elastic Deformation은 조직과 세포가 실제 생체 환경에서 다양한 형태로 변형되는 특성을 모사하는 기법으로, 적은 수의 학습 이미지만으로도 다양한 형태의 변형에 대한 강인성을 학습할 수 있도록 합니다. 논문에서 이러한 Data Augmentation이 의료영상 분할에서 매우 중요한 요소이며, 특히 Elastic Deformation이 적은 수의 Annotation만으로도 높은 성능을 달성할 수 있었던 핵심 요인이라고 강조하였습니다.

EXPERIMENTS

Warping Error는 객체의 연결 구조를 얼마나 정확하게 복원했는지를 평가하는 지표이며, Rand Error는 예측된 분할 결과와 정답 사이의 유사도를 측정합니다. Pixel Error는 전체 픽셀 중 잘못 분류된 비율을 나타내는 가장 직관적인 오차 지표입니다.

실험 결과, U-Net은 Warping Error에서 가장 낮은 오차를 기록하며 1위를 달성하였습니다. 또한 Rand Error와 Pixel Error에서도 기존 최고 성능과 비슷하거나 더 우수한 결과를 보이며, 당시 대표적인 Sliding Window 기반 CNN을 포함한 기존 방법들을 뛰어넘었습니다. 이는 U-Net이 정확한 객체 경계와 구조를 효과적으로 복원할 수 있음을 보여주는 결과입니다.

Table 2는 ISBI Cell Tracking Challenge에서 U-Net의 성능을 평가한 결과입니다. PhC-U373은 Phase Contrast 현미경 영상으로 촬영한 세포 데이터셋이며, DIC-HeLa는 Differential Interference Contrast(DIC) 현미경으로 촬영한 HeLa 세포 데이터셋입니다. 표의 성능은 평균 Intersection over Union(IoU) 으로 평가되며, 여기서 U-Net은 두 데이터셋 모두에서 기존 방법보다 높은 성능을 기록하였습니다. 특히 DIC-HeLa 데이터셋에서는 기존 최고 성능인 46%에서 77.56%까지 크게 향상되었으며, PhC-U373 데이터셋에서도 가장 높은 IoU를 달성하였습니다.

CONCLUSION

U-Net은 FCN을 기반으로 Contraction-Expansive Path 구조와 Skip Connection을 결합하여 문맥 정보와 위치 정보를 동시에 활용할 수 있도록 설계하였습니다. 또한 의료영상의 특성을 고려하여 Overlap-Tile, Mirror Padding, Elastic Deformation 기반의 Data Augmentation, 그리고 Weighted Loss를 함께 제안함으로써 정확한 분할 성능과 우수한 일반화 성능을 달성하였습니다.

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

논문저자: Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang (Arizona State University)

제출학회: DLMIA 2018 (MICCAI Workshop)

논문링크: https://arxiv.org/abs/1807.10165

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

In this paper, we present UNet++, a new, more powerful architecture for medical image segmentation. Our architecture is essentially a deeply-supervised encoder-decoder network where the encoder and decoder sub-networks are connected through a series of nes

arxiv.org

Motivation

U-Net(2015)과 FCN(2015) 이후 segmentation 모델의 표준형은 encoder-decoder 구조가 되었고, 그 성공의 핵심은 skip connection이었습니다.

그런데 저자는 같은 문장을 읽고 다른 결론을 냅니다. 앞서 expansive와 contraction feature가 "의미론적으로 다르다"는 것이 곧 문제라는 것입니다. 차이 나는 두 표현을 채널 방향으로 그대로 이어붙이는 것이 plain skip connection입니다. 본 논문은 이 상태에서 optimizer가 푸는 문제가 불필요하게 어렵다는 것입니다.

논문은 이 지점에서 자연영상과 의료영상을 구분합니다. 자연영상 segmentation은 이미 만족스러운 수준에 도달했지만, 의료영상은 요구되는 정확도의 기준이 다르다는 것입니다. 결절(nodule) 주변의 미세한 침상 패턴(spiculation)은 악성 여부를 시사하는 소견인데, 이것이 segmentation mask에서 빠지면 임상적 신뢰도가 떨어집니다.

UNet++의 아이디어 - 붙이기 전에 격차를 줄인다

핵심 가설은 한 문장으로 요약됩니다. encoder의 고해상도 feature map을 decoder의 의미론적으로 풍부한 feature map과 융합하기 전에 점진적으로 풍부하게(gradually enriched) 만들면, 전경 객체의 세부를 더 잘 포착할 수 있습니다. U-Net처럼 고해상도 feature를 곧장 decoder로 넘기지 않고, 중간에 처리 단계를 두겠다는 것입니다. 검정이 원래 U-Net, 초록은 skip pathway 위의 convolution block, 파랑은 dense skip connection, 빨강은 deep supervision입니다.

1) Re-designed skip pathways

U-Net에서 encoder feature는 decoder로 직행합니다. UNet++에서는 그 사이에 dense convolution block을 통과하며, 블록 안의 convolution layer 수는 피라미드 레벨에 따라 달라집니다. 논문이 든 예시로, X0,0X^{0,0} 과 X1,3X^{1,3} 사이의 skip pathway에는 convolution layer 세 개가 놓입니다. 그리고 각 convolution 앞에는 concatenation layer가 있어, 같은 블록 내 이전 convolution의 출력과 아래 블록에서 up-sampling된 출력을 합칩니다.

형식적으로는 식 (1)로 정의됩니다. xi,jx^{i,j} 는 노드 Xi,jX^{i,j} 의 출력이고, ii 는 encoder를 따라 내려가는 down-sampling 층의 인덱스, jj 는 skip pathway를 따라 오른쪽으로 가는 convolution layer의 인덱스입니다.

j=0인 노드는 encoder의 이전 층에서 입력 하나만 받습니다. 이 열이 곧 원래 U-Net의 encoder입니다.
j=1인 노드는 입력 둘을 받습니다. 둘 다 encoder에서 오지만 연속된 두 레벨에서 옵니다.
인 노드는 입력 개를 받습니다. 그중 개는 같은 skip pathway 위 이전 노드들의 출력이고, 나머지 하나는 아래쪽 skip pathway에서 up-sampling된 출력입니다.

원본 해상도의 가장 세밀한 정보가 네 번 모두 재사용되며, 그때마다 조금씩 더 의미론적인 신호와 섞입니다. DenseNet의 dense connectivity를 skip pathway 위에 옮겨놓은 형태이고, 논문도 이를 dense convolution block이라 부릅니다.

그럼, U-Net의 Skip과 뭐가 다른가

U-Net의 skip은 encoder에서 복사해 crop한 뒤 곧장 concat하는, 연산이 없는 통로였습니다. UNet++의 skip pathway는 그 자체가 학습되는 서브네트워크입니다. 이 차이가 파라미터 증가로 이어지고, 그래서 저자들이 뒤에서 wide U-Net이라는 별도 baseline을 만들게 됩니다.

2) Deep supervision

nested skip pathway 덕분에 UNet++는 여러 의미 수준에서 전체 해상도 feature map {x0,j, j∈{1,2,3,4}}\{x^{0,j},\ j \in \{1,2,3,4\}\} 을 만들어냅니다. 최상단 행의 노드 넷이 모두 원본 해상도를 갖는다는 뜻이고, 따라서 각각에 loss를 걸 수 있습니다. 구현상으로는 각 목표 노드에 1×1 convolution과 sigmoid를 붙여 segmentation map 네 장을 얻습니다.

손실 함수는 binary cross-entropy와 dice coefficient의 조합입니다.

U-Net이 픽셀별 soft-max와 가중 cross-entropy를 썼던 것과 달리 앞항이 cross-entropy, 뒷항이 dice입니다. 접촉 개체 분리를 위한 가중치 맵은 사라지고, 클래스 불균형에 강한 dice 항이 그 자리를 대신합니다. deep supervision이 주는 실질적 이득은 두 가지 운용 모드입니다. 출력 네 개를 평균 내는 정확 모드(accurate mode)와, 하나만 골라 쓰는 빠른 모드(fast mode)입니다. 후자에서 어느 분기를 고르느냐가 곧 모델을 어디서 잘라낼지를 결정합니다.

Experiment

데이터셋

네 개의 의료영상 데이터셋을 씁니다. cell nuclei(670장, 96×96, 현미경), colon polyp(7,379장, 224×224, RGB 비디오), liver(331장, 512×512, CT), lung nodule(1,012장, 64×64×64, CT)입니다. modality와 크기가 모두 다르고 3D 데이터도 포함되어 있어, 특정 도메인에 맞춘 결과가 아님을 보이려는 구성입니다.

wide U-Net이라는 대조군

UNet++는 skip pathway에 convolution을 추가했으므로 파라미터가 늘어납니다. 그러면 성능 향상이 구조 때문인지 파라미터가 많아져서인지 구분할 수 없습니다. 저자들은 이를 차단하기 위해 채널 수만 늘린 wide U-Net을 따로 설계했습니다.

wide U-Net은 U-Net보다 일관되게 낫지만 그 폭이 작고(liver에서는 오히려 소폭 하락) 파라미터 증가로 설명됩니다. 반면 UNet++는 deep supervision 없이도 U-Net 대비 평균 2.8점, wide U-Net 대비 3.3점의 IoU 향상을 얻습니다.

1. deep supervision이 항상 이롭지는 않습니다

표를 자세히 보면 deep supervision이 cell nuclei에서 92.63 → 92.52, colon polyp에서 33.45 → 32.12로 오히려 떨어집니다. 논문은 이를 인정하고, 폴립과 간은 비디오 프레임과 CT 슬라이스에서 다양한 스케일로 나타나므로 모든 분기를 활용하는 multi-scale 접근이 필요한 반면 다른 두 과제는 그렇지 않다고 설명합니다. 사후 해석에 가깝지만, 결과를 감추지 않고 제시한 점은 평가할 만합니다.

2.Model pruning

deep supervision으로 학습해두면 추론 시점에 모델을 잘라 쓸 수 있습니다. 는 레벨 ii 에서 가지친 모델을 뜻하며, 파라미터가 0.1M부터 9.0M까지 분포합니다. 은 추론 시간을 평균 32.2% 줄이면서 IoU 손실이 0.6점에 그칩니다. 더 공격적으로 가지치면 속도는 더 빨라지지만 정확도 하락이 커집니다.

Pytorch 코드

[조민재] DCGAN, Cycle GAN, LSGAN

whalswo0503 — Sat, 1 Aug 2026 06:43:06 +0900

UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

논문명: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
저자: Alec Radford, Luke Metz, Soumith Chintala
소속: Indico Research (Alec Radford, Luke Metz), Facebook AI Research (FAIR) (Soumith Chintala)
학회: ICLR 2016 (International Conference on Learning Representations 2016, Poster)
arXiv: https://arxiv.org/abs/1511.06434

1. 배경 및 문제제기

1-1. 선행연구

Unsupervised Representation Learning

이미지의 좋은 Feature를 라벨 없이 학습하려는 연구

Generative Models

GAN, VAE, LAPGAN 등 여러 생성 모델이 등장

CNN Visualization

CNN 내부 Feature를 해석하고 시각화하는 연구

1-2. 문제제기

GAN은 학습이 너무 불안정하다.

GAN 자체는 매우 아이디어가 좋았지만, 학습이 잘 안 되고, 쉽게 발산하고, Mode Collapse가 발생하고, 하이퍼 파라미터에 매우 민감하는 등, 학습이 불안정했다. 이 논문에서는 CNN 구조를 활용하여 GAN을 더 안정적으로 학습시키도록 설계하였다.

GAN이 의미 있는 Representation을 학습하는가?

당시에는 GAN의 목적이 그저 랜덤 벡터로 이미지 생성한다 뿐이었다. 그래서 GAN 내부에 정말 의미 있는 특징을 배우는지 몰랐다. 이 논문에서는 GAN도 좋은 Feature와 의미 있는 Latent Space를 학습한다는 것을 처음으로 보여줬다.

2. 핵심 아이디어

Pooling 대신 Strided Convolution 사용 (Discriminator)
Upsampling 대신 Fractionally-strided (Transposed) Convolution 사용 (Generator)
Batch Normalization 적용
Fully Connected Hidden Layer 제거
Generator : ReLU, 마지막은 Tanh
Discriminator : LeakyReLU

3. 연구 방법론

3-1. APPROACH AND MODEL ARCHITECTURE

기존에는 CNN 기반 GAN을 고해상도로 확장하는 데 실패하였고, 이를 해결하기 위해 LAPGAN은 여러 개의 GAN을 순차적으로 사용하는 구조를 제안하였다. 한번에 큰 이미지를 만드는 것이 아니라, 작은 이미지를 먼저 만들고, 여러 개의 GAN을 순차적으로 붙임으로써, 고해상도로 복원하는 구조이다.

참고) LAPGAN 이미지 생성과정

하지만 DCGAN은 CNN 구조를 재설계하여 하나의 GAN으로도 고해상도 이미지 생성을 가능하게 했다.

논문에서 제시하는 핵심은 다음과 같다.

pooling function을 모두 stride convolutions로 대체

그저 고정된 규칙만으로 움직이는 pooling이 아닌, 파라미터를 가지고 직접 학습할 수 있는 stride convolution을 활용했다. Discriminator에서는 Pooling 대신 Strided Convolution을 사용하여 Downsampling 과정을 학습하도록 하였고, Generator에서는 Fractionally-strided(Transposed) Convolution을 사용하여 Upsampling 과정 역시 학습하도록 설계하였다.

Fully Connected Layer 제거

FC layer를 제거하기 위한 방법 중 하나로 제기된 Global Average Pooling(GAP)은 너무 느리다는 단점이 있다. 그래서 이 논문에서는 두 방법의 절충안으로 최종 Feature를 바로 출력에 연결하는 구조를 제안한다. 하지만 FC layer를 완전히 없애는 것은 아니다. generator의 첫 layer에서 입력을 CNN에 맞는 크기의 tensor로 변환하는 것과, discriminator의 마지막 layer에서 flatten 한 후에 sigmoid 출력층으로 연결하는 것은 FC layer가 담당한다.

Batch Normalization 적용

BN을 활용해서 더 깊은 모델에서도 gradient가 잘 흐르게 만든다.

activation function 변경

generator에서는 마지막 층을 tanh로 변경했다. 그 이유는 명시적으로 다루지는 않지만, tanh의 출력이 [-1, 1] 인데, 이미지도 [-1, 1]로 정규화 한다는 점에서 출력 범위가 같아서 정확도가 더 올랐다고 추측할 수 있다. 그리고 discriminator에서는 LeakyReLU를 사용하였다. 이것은 음수 영역에서도 gradient가 흐르게 하기 위함이라고 추측할 수 있다.

3-2. DETAILS OF ADVERSARIAL TRAINING

Dataset : LSUN, Faces, ImageNet-1K

Input Normalization : [−1,1]

Batch Size : 128

Weight Initialization : Normal(0, 0.02)

Activation : LeakyReLU (slope = 0.2)

Optimizer : Adam (LR = 0.0002, β₁ = 0.5)

LSUN 300만장의 데이터셋로 학습 하였고, 중복 이미지 제거를 통해 암기가 아닌 실제 생성 능력을 검증했다.

4. 실험 결과

4.1 Feature Representation 성능 검증

학습된 Discriminator를 Feature Extractor로 활용하여 이미지 분류 성능을 평가하였다. ImageNet으로 비지도학습한 Discriminator의 Feature를 이용해 CIFAR-10과 SVHN에서 Linear SVM을 학습했다. 이를 통해 일반화 능력을 검증 할 수 있다.

또한 숫자 데이터셋에서는 지도 학습된 CNN 보다 정확도가 더 높았다는 점에서 CNN 구조 때문만이 아니라 GAN으로 학습한 점의 의의를 알 수 있다.

4.2 Latent Space 분석

잠재벡터(z)를 연속적으로 변화시키며 생성 이미지를 관찰한 결과, 이미지가 급격히 변하지 않고 침대 위치, 조명, 창문 등의 속성이 자연스럽게 변화하였다. 이는 Generator가 단순히 학습 이미지를 암기한 것이 아니라 의미 있는 연속적인 Latent Space를 학습하였음을 보여준다.

4.3 Discriminator Feature 시각화

Guided Backpropagation을 이용하여 Discriminator의 Feature를 시각화한 결과, 침대, 창문, 가구 등 의미 있는 객체에 반응하는 Feature를 학습함을 확인하였다. 반면, 랜덤 초기화된 CNN에서는 이러한 의미 있는 Feature가 나타나지 않았다.

4.4 Generator Representation 분석

Generator 내부에서 창문과 관련된 Feature Map을 제거한 결과, 생성된 이미지에서 창문이 자연스럽게 사라지고 다른 객체로 대체되었다. 이를 통해 Generator 내부에도 객체 수준의 의미 있는 표현이 학습되어 있음을 확인하였다.

4.5 Vector Arithmetic

잠재공간에서 Word2Vec과 유사한 벡터 연산이 가능함을 확인하였다. 예를 들어, 안경이나 웃음과 같은 속성을 나타내는 벡터를 다른 얼굴의 잠재벡터에 더하면 해당 속성이 자연스럽게 추가되었으며, 얼굴의 자세 역시 선형적으로 조작할 수 있었다. 이는 Latent Space가 의미론적 구조를 형성하고 있음을 보여준다.

5. 의의 및 한계

의의

안정적인 CNN 기반 GAN 아키텍처 제안
GAN의 Feature Representation 학습 능력 입증
의미 있는 Latent Space 형성 확인

한계

Mode Collapse 등 학습 불안정성은 여전히 존재

Least Squares Generative Adversarial Networks (LSGAN)

논문명: Least Squares Generative Adversarial Networks
저자: Xudong Mao, Qing Li, Haoran Xie, Raymond Y. K. Lau, Zhen Wang, Stephen Paul Smolley
소속:
- City University of Hong Kong (Xudong Mao, Qing Li, Raymond Y. K. Lau)
- The Education University of Hong Kong (Haoran Xie)
- Northwestern Polytechnical University (Zhen Wang)
- CodeHatch Corp. (Stephen Paul Smolley)
학회: ICCV 2017 (IEEE International Conference on Computer Vision 2017)
arXiv: https://arxiv.org/abs/1611.04076

1. 배경 및 문제제기

1-1. 선행 연구

초기 생성 모델인 RBM, DBM, VAE 등은 확률 분포를 직접 모델링하기 위해 계산이 매우 복잡하거나 근사 추론이 필요한 문제가 있었다.

이후 Generative Adversarial Network(GAN) 가 제안되면서 Generator와 Discriminator의 적대적 학습을 통해 복잡한 확률 분포를 효과적으로 학습할 수 있게 되었다.

이후 DCGAN은 GAN에 Convolutional Neural Network(CNN)를 적용하여 학습 안정성을 높이고 이미지 생성 품질을 크게 향상시켰으며, GAN의 표준 네트워크 구조를 제시하였다.

그러나 기존 GAN은 Binary Cross Entropy(BCE) Loss를 사용하기 때문에 학습이 불안정하며, Gradient Vanishing과 Mode Collapse 문제가 여전히 존재하였다. 또한 WGAN은 Wasserstein Distance를 도입하여 학습 안정성을 개선하였지만, Weight Clipping과 같은 추가적인 제약이 필요하다는 한계가 있었다.

1-2. 문제 제기

학습 안정성 문제

기존 GAN은 Binary Cross Entropy(BCE) Loss를 사용하여 Generator와 Discriminator를 학습한다. 그러나 BCE Loss는 학습 과정에서 Gradient Vanishing이 발생하기 쉽고, Generator가 충분한 학습 신호를 받지 못해 학습이 불안정해질 수 있다. 또한 Generator가 일부 데이터 모드만 생성하는 Mode Collapse 문제가 자주 발생하여 실제 데이터 분포를 충분히 학습하지 못한다.

2. 핵심 아이디어

LSGAN은 기존 GAN의 Binary Cross Entropy Loss를 Least Squares Loss(MSE)로 대체하였다.

기존 GAN은 Discriminator의 출력이 어느 정도 목표에 가까워지면 Gradient가 급격히 감소하는 반면, LSGAN은 목표 출력 값과의 제곱 오차를 끝까지 최소화하므로 지속적으로 Gradient를 제공한다.

이를 통해

Gradient Vanishing 완화
학습 안정성 향상
Mode Collapse 감소
더 높은 품질의 이미지 생성

을 달성하였다.

또한 이론적으로 특정 파라미터 설정에서는 LSGAN이 Pearson χ² Divergence를 최소화함을 증명하였다.

G가 발전할 수록, p_{data}=p_g 이므로 D가 진짜와 가짜를 구별을 잘 못한다.

논문에서는 결정 경계가 반드시 진짜 데이터의 분포를 가로질러야 한다고 말한다. 만약 결정 경계가 매우 명확하다면, D가 너무 잘 맞추기 때문에, G가 학습을 잘 못하는 학습 포화가 일어나게 되기 때문이다.

3. 연구 방법론

3-0. 문자 정리

x : 실제 이미지
z : 랜덤 노이즈
G(z) : 생성 이미지
D(x) : Discriminator 출력
p_{data} : 실제 데이터 분포
p_g : 생성 데이터 분포

3-1. GAN 목적 함수

첫번째 항: 진짜 이미지를 얼마나 잘맞추는지

두번째 항: 가짜 이미지를 얼마나 잘 구별하는지

3-2. LSGAN 목적 함수

BCE를 MSE로 대체한 목적함수

a: fake label, b: real label, c: Generator가 원하는 출력값

대표적인 예시: a = 0, b = c = 1

3-3. LSGAN의 장점

기존 GAN은 정답 영역에 있으면 loss가 거의 0으로 수렴한다. 이 때문에 정답이라고 판별된 이미지에 대해서는 학습을 거의 못한다.

반면에, LSGAN은 정답 영역에 있더라도 거리를 측정하기 때문에 계속해서 안정적인 학습을 할 수 있다.

3-4. Pearson χ² Divergence와의 관계

논문는 먼저 b−c=1, b−a=2 조건에서 LSGAN이 Pearson χ² divergence를 최소화함을 이론적으로 증명한다. 그러나 실제 실험에서는 보다 직관적인 a=0, b=1, c=1 설정을 사용하였으며, 논문에 따르면 두 설정의 성능은 거의 차이가 없었다.

3-5. Model Architecture

기본 아키텍처

네트워크는 DCGAN 구조를 거의 그대로 사용하였다.

VGG가 같은 해상도에서 conv를 여러번 사용하는 아이디어를 참고했다.

stride = 1인 layer는 upsampling의 역할을 하지는 않지만, 특징을 더 많이 학습할 수 있게 해준다.

특수한 상황(클래스 수 매우 많을 때)

3740개의 중국어 문자 생성 문제를 위해 Conditional LSGAN을 제안하였다.

기존 One-hot Label(3740차원)을 그대로 사용하면 메모리 사용량이 매우 크므로, Φ(y) 라는 Linear Mapping Layer를 이용하여 3740차원 → 256차원으로 압축한 후 Generator와 Discriminator에 입력하였다. 이를 통해 원하는 문자(Label)를 지정하여 생성할 수 있다.

4. 실험 결과

LSGAN은 제안한 Loss Function이 실제로 학습 안정성과 이미지 생성 품질을 향상시키는지 검증하기 위해 다양한 데이터셋과 실험 환경에서 기존 GAN과 비교하였다.

4-1. Scene Dataset 생성 성능

기존 GAN도 실제와 비슷한 이미지를 생성하지만 일부 이미지에서는 구조가 무너지거나 노이즈가 발생한다.
LSGAN은 물체의 형태와 배경을 더 자연스럽게 생성하며 이미지 품질이 전반적으로 향상되었다.
특히 건물이나 침실처럼 구조가 복잡한 데이터에서도 안정적인 생성 결과를 보였다.

4-2. 학습 안정성 비교

실험 조건

논문에서는 일부러 학습을 어렵게 만들었다.

$BN_G$: Generator의 Batch Normalization 제거
$BN_{GD}$: Generator와 Discriminator 모두 Batch Normalization 제거

Optimizer도 Adam, RMSProp 두 가지를 사용하였다.

결과

기존 GAN

BatchNorm을 제거하면 학습이 쉽게 실패한다.
Mode Collapse가 자주 발생한다.
생성 이미지 품질이 크게 떨어진다.

LSGAN

BatchNorm이 없어도 안정적으로 학습된다.
Generator가 지속적으로 개선된다.
RMSProp 환경에서는 거의 모든 경우에서 안정적인 생성 결과를 보였다.

4-3. Gaussian Mixture 실험

기존 GAN

초기에는 여러 모드를 생성한다.
약 15k iteration 이후 Mode Collapse가 발생한다.
결국 하나의 Gaussian만 생성한다.

LSGAN

모든 Gaussian 모드를 계속 유지한다.
실제 데이터 분포와 거의 동일한 형태를 학습한다.

4-4. Conditional LSGAN

사람이 읽을 수 있는 수준의 손글씨를 생성하였다.
같은 Label을 입력하면 해당 문자를 안정적으로 생성하였다.
3740개의 많은 클래스에서도 정상적으로 동작하였다.

5. 의의 및 한계

논문에서는 기존 GAN의 Binary Cross Entropy Loss를 Least Squares Loss(MSE) 로 대체하는 매우 간단한 방법만으로도 GAN의 성능을 크게 향상시킬 수 있음을 보였다.

이론적으로는 특정 파라미터 설정에서 LSGAN이 Pearson χ² Divergence를 최소화함을 증명하였고, 실제 실험에서는 보다 직관적인 파라미터를 사용하더라도 유사한 성능을 얻을 수 있음을 확인하였다.

실험 결과를 통해 다음과 같은 장점을 확인하였다.

기존 GAN보다 학습이 안정적이다.
Mode Collapse가 감소하여 데이터 분포를 더 잘 학습한다.
생성 이미지의 품질이 향상된다.
Conditional GAN 환경에서도 효과적으로 동작한다.

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

논문명: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
저자: Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
소속: Berkeley AI Research (BAIR), University of California, Berkeley
학회: ICCV 2017 (IEEE International Conference on Computer Vision 2017)
arXiv: https://arxiv.org/abs/1703.10593
프로젝트 페이지: https://junyanz.github.io/CycleGAN/

1. 배경 및 문제제기

1-1. 기존 연구

GAN의 발전으로 자연스러운 이미지 생성이 가능해졌으며, 이를 이미지 변환(Image-to-Image Translation)에 적용한 대표적인 모델이 pix2pix이다. pix2pix는 입력 이미지와 정답 이미지가 1:1로 대응되는 Paired Dataset을 이용하여 높은 성능을 보였다.

1-2. 문제점

하지만 실제 환경에서는 Paired Dataset을 구축하기 어렵다.

예를 들어

말 ↔ 얼룩말
여름 ↔ 겨울
사진 ↔ 모네 그림

처럼 입력과 정확히 대응되는 정답 이미지를 만드는 것은 거의 불가능하다. 따라서 실제 환경에서는 Unpaired Dataset처럼 도메인별 이미지 집합만 존재한다.

1-3. 기존 GAN만 사용할 경우의 문제

GAN Loss만 사용하면 Generator는 "출력이 목표 도메인처럼만 보이면 된다." 고 학습한다.

모든 입력을 같은 출력으로 보내도 Discriminator는 이를 구분하지 못한다.

결과적으로

입력 정보가 유지되지 않고
Mode Collapse가 발생하며
의미 있는 Image Translation이 어렵다.

2. 핵심 아이디어

논문의 핵심 아이디어는 Cycle Consistency이다.

즉, 이미지를 다른 도메인으로 변환한 후 다시 원래 도메인으로 복원했을 때 원래 이미지와 같아야 한다는 제약을 추가한다.

이를 위해

Generator G : X → Y
Generator F : Y → X

를 동시에 학습하며, Cycle Consistency Loss를 추가하여 입력 이미지의 구조와 의미를 유지하도록 한다.

3. 연구 방법론

(1) 전체 구조

CycleGAN은

Generator 2개
Discriminator 2개

를 사용한다.

각 Generator에는 각각의 Discriminator가 존재한다.

Dy : Zebra 판별
Dx : Horse 판별

(2) Adversarial Loss

기존 GAN Loss를 그대로 사용한다.

목적은 생성된 이미지가 목표 도메인의 실제 이미지처럼 보이도록 하는 것이다.

G는 D를 속이도록 학습하고
D는 진짜와 가짜를 구분하도록 학습한다.

논문에서는 실제 구현 시 BCE 대신 LSGAN(Least Squares Loss) 를 사용하여 학습 안정성을 향상시켰다.

(3) Cycle Consistency Loss

기존의 GAN으로도 기능은 하지만, 입력과 무관한 출력을 만들 가능성이 있다. 왜냐하면 D는 출력이 진짜 같은지만 확인하고 입력이 무엇인지는 확인하지 않기 때문이다.

첫번째 항(forward cycle consistency): horse와 horse'이 같은지

두번째 항(backward cycle consistency): zebra와 zebra'가 같은지

또한, L1 norm이 아니라 GAN처럼 또 하나의 D를 생성해보았지만 더 성능이 좋지 않았다.

(4) Full Objective

최종 Loss는 다음과 같다.

Generator는 이 전체 Loss를 최소화하고, Discriminator는 GAN Loss를 최대화하도록 학습한다.

논문에서는 이 모델이 특별한 autoencoder라고 지칭한다. 그 이유는 입력과 출력이 같고, 중간층의 표현이 우리가 원하는 Y도메인의 사진이기 때문이다.

또한 GAN loss와 Cycle loss 중 하나만 쓰게 되면 충분하지 않다는 사실도 밝혔다.

(5) Identity Loss

Painting → Photo 실험에서 색감이 불필요하게 변하는 문제를 해결하기 위해 Identity Loss를 추가하였다.

색감이 변형되는 이유는 GAN과 Cycle은 색감을 신경쓰지 않는다. 예를 들어, 낮 그림을 넣고 노을 사진이 나와도 loss가 크게 증가하지 않는다.

이 손실함수는 목표 도메인 이미지가 들어오면 변형을 하지 않도록 설계 되어있다. 이 손실함수는 G의 습관을 바꿔서 더 정확한 결과를 얻을 수 있게 해준다.

예를 들어, 어떤 G가 horse를 노을 빛나는 zebra로 바꿔주는 특징을 가지고 있다고 하자. 만약 이 G에 zebra를 넣으면 노을 빛나는 zebra가 출력될 것이고, identity loss로 인해서 노을 빛으로 색감을 바꾸는 습관을 없앨 수 있다.

4. 실험 결과

(1) 기존 방법과 비교

CycleGAN은 CoGAN, SimGAN, BiGAN, Feature Loss + GAN보다 더 자연스러운 결과를 생성하였다.

또한 Paired 방식인 pix2pix와도 유사한 수준의 품질을 보였다.

(2) 정량적 평가

AMT 평가에서는 사람들이 약 25% 정도의 경우 CycleGAN이 생성한 이미지를 실제 이미지로 착각하였다. 또한 FCN Score와 Semantic Segmentation Metric에서도 기존 방법보다 우수한 성능을 보였다.

(3) Ablation Study

GAN Loss만 사용할 경우

Mode Collapse 발생
입력 정보 유지 실패

Cycle Loss만 사용할 경우

목표 도메인처럼 보이는 이미지를 생성하지 못함

Forward 또는 Backward Cycle만 사용할 경우

학습 불안정
Mode Collapse 발생

5. 의의 및 한계

의의

Pair 데이터 없이 Image-to-Image Translation을 성공적으로 수행한 대표적인 연구이다.
Cycle Consistency Loss를 제안하여 입력 이미지의 구조와 의미를 유지하는 문제를 해결하였다.

한계

1. 색상과 질감 변화에는 강하지만 형태(Geometry) 변화에는 약하다.

예를 들어 Dog → Cat과 같이 형태 변화가 큰 문제에서는 실패하였다.

2. 훈련 데이터의 분포에 크게 의존한다.

훈련 데이터에 존재하지 않는 상황에서는 성능이 크게 저하된다.

3. Paired 방식(pix2pix)과는 여전히 성능 차이가 존재한다.

특히 의미적인 정보(Label 등)를 정확히 대응시키는 작업에서는 Paired 학습보다 성능이 낮은 경우가 존재한다.

[최윤호] GAN, Conditional GAN

uno42430 — Sat, 25 Jul 2026 11:53:22 +0900

https://satin-warbler-474.notion.site/GAN-Conditional-GAN-3a4eb78d94768015b302c8e0f2eda83d?source=copy_link

[정광민] CornerNet & CenterNet

kwangmin8932 — Sat, 25 Jul 2026 01:18:59 +0900

논문제목: CornerNet: Detecting Objects as Paired Keypoints

논문저자: Hei Law, Jia Deng

제출학회: ECCV 2018

논문링크: https://arxiv.org/abs/1808.01244

CornerNet: Detecting Objects as Paired Keypoints

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network. By detecting objects as paired keypoints, we

arxiv.org

논문제목: CenterNet: Keypoint Triplets for Object Detection

논문저자: Kaiwen Duan, Song Bai, Lingxi Xie, Honggang Qi, Qingming Huang, Qi Tian

제출학회: CVPR 2019

논문링크: https://arxiv.org/abs/1904.08189

CenterNet: Keypoint Triplets for Object Detection

In object detection, keypoint-based approaches often suffer a large number of incorrect object bounding boxes, arguably due to the lack of an additional look into the cropped regions. This paper presents an efficient solution which explores the visual patt

arxiv.org

1. Motivation - Anchor box의 한계

2018년까지 object detection의 표준 답안은 anchor box였다. 다양한 크기와 종횡비의 후보 박스를 이미지에 촘촘히 깔고 각각을 분류하고 좌표를 회귀하는 방식이다. SSD, RetinaNet, Faster R-CNN 계열이 전부 이 구조를 공유했다.

CornerNet 저자들은 여기서 두 가지 문제를 지적한다.

첫째는 극심한 양성/음성 불균형이다. Ground truth와 충분히 겹치는 anchor를 확보하려면 anchor를 아주 많이 깔아야 한다. DSSD는 4만 개 이상, RetinaNet은 10만 개 이상을 쓴다. 그런데 실제로 GT와 겹치는 anchor는 극소수라서 압도적인 negative가 학습을 비효율적으로 만든다.

둘째는 하이퍼파라미터 폭발이다. 몇 개를 쓸지, 어떤 크기로 할지, 어떤 종횡비로 할지가 전부 ad-hoc heuristic으로 결정된다. 게다가 multi-scale 구조와 결합되면 스케일마다 별도의 anchor set을 설계해야 해서 복잡도가 더 커진다.

핵심은 anchor가 데이터에서 나오는 값이 아니라 사람이 설계해야 하는 값이고, 그것이 성능을 좌우한다는 점이다.

2. CornerNet의 아이디어 - 박스를 두 개의 점으로

박스는 결국 좌상단 좌표와 우하단 좌표로 결정된다. 그렇다면 두 개의 keypoint를 검출하고 짝지으면 되지 않을까. 이것이 CornerNet의 출발점이다.

1) Backbone - Hourglass Network

논문의 전체적인 구조를 보면, 입력 511×511 이미지가 Hourglass-104를 통과하고, 그 출력에 두 개의 prediction module이 붙으며(좌상단 코너용, 하나는 우하단 코너용) 각 모듈은 세 가지를 예측하게 된다.

Overview of CornerNet

먼저, Bacbone으로 Hourglass Network는 원래 사람의 자세를 추정하는 human pose estimation 과제를 위해 만들어진 구조다. 동작 방식은 먼저, 입력 이미지를 받아서 여러 번의 합성곱과 풀링을 거치며 이미지를 점점 작게 압축한다(다운샘플링). 이 과정에서 이미지는 작아지지만 "이 영역에 대략 뭐가 있는지"에 대한 전반적인 정보는 응축된다. 그다음엔 반대로 이 압축된 결과를 다시 원래 크기로 점점 키워나간다(업샘플링). 압축했다가 다시 펼치는 이 왕복 구조와 함께, 압축 과정에서 손실된 세부 정보를 보완하기 위해, 압축 단계의 feature를 복원 단계로 직접 연결해주는 skip connection(건너뛰기 연결)도 쓴다. 이렇게 하면 "전체적인 맥락"과 "세밀한 디테일"을 하나의 구조 안에서 동시에 다루게 된다. 이런 특성 때문에, Hourglass Network 하나(hourglass module)를 여러 개 쌓아서 반복적으로 처리하면 이미지에 대한 이해가 점점 더 정교해져 human pose estimation뿐 아니라 물체 검출에도 잘 맞는 구조라는 것이 이 논문의 판단이다.

2) Detecting Corners

Heatmap의 구조

네트워크는 두 종류의 heatmap을 예측한다. 좌상단 코너용 heatmap과 우하단 코너용 heatmap이다. 각 heatmap은 C개의 채널을 갖는데, C는 검출하려는 클래스 개수다. 크기는 H×W이고 background 채널은 따로 두지 않는다. 각 채널은 해당 클래스 코너의 위치를 나타내는 일종의 확률 지도라고 보면 된다.

원칙적으로 각 코너마다 정답 위치는 딱 한 픽셀이고, 나머지 모든 픽셀은 오답(negative)으로 취급한다.

GT 근처의 페널티 축소

원칙적으로 코너마다 positive는 정확히 한 픽셀이고 나머지는 전부 negative다. 그런데 살짝 빗나간 코너 쌍이라도 GT와 IoU가 충분히 높은 박스를 만들어낼 수 있다. 그런 위치를 똑같이 강하게 벌주는 것은 비합리적이다.

그래서 물체 크기에 따라 반경 r을 정한다. 기준은 "반경 안의 두 점으로 만든 박스가 GT와 IoU 0.7 이상을 보장할 것"이다. 그 반경 안의 negative에는 정규화하지 않은 2D Gaussian만큼 페널티를 깎아준다. Gaussian의 중심은 positive 위치이고 σ는 반경의 1/3이다.

이를 반영한 detection loss는 다음과 같다.

\[
L_{det} = \frac{-1}{N} \sum_{c=1}^{C} \sum_{i=1}^{H} \sum_{j=1}^{W} \begin{cases} (1-p_{cij})^{\alpha} \log(p_{cij}) & \text{if } y_{cij} = 1 \\ (1-y_{cij})^{\beta} (p_{cij})^{\alpha} \log(1-p_{cij}) & \text{otherwise} \end{cases}
\]

여기서 $N$은 이미지 내 객체의 수이며, $\alpha$와 $\beta$는 각 지점의 기여도를 제어하는 하이퍼파라미터이다(모든 실험에서
$\alpha$는 2, $\beta$는 4로 설정) α=2 항은 원래 focal loss와 동일하게 쉬운 샘플을 다운웨이팅하는 역할이다. 이 논문의 변형점은 β=4인 (1−y) 항이다. GT에 가까울수록, 즉 y가 1에 가까울수록 negative 페널티가 급격히 줄어든다.

즉, RetinaNet에서 쓰던 focal loss를 기본 틀로 가져오되, 정답 근처의 오답 픽셀일수록 벌점을 크게 줄여주는 항을 하나 추가한 것으로 이 아이디어는 이후 CenterNet을 비롯한 여러 후속 연구에서도 그대로 가져다 쓴다.

Offset - 정밀도 보정

네트워크는 다운샘플링을 여러 번 거치기 때문에, 최종 출력의 해상도는 원본 이미지보다 작다. 예를 들어 원본이 511×511이면 출력 heatmap은 128×128 정도로 줄어든다. 문제는 이 줄어든 heatmap 위의 좌표를 다시 원본 이미지 크기로 되돌릴 때 오차가 생긴다는 점이다. 특히 작은 물체일수록 이 오차가 IoU에 미치는 영향이 크다.

그래서 네트워크는 heatmap과 별도로 offset(보정값)도 함께 예측한다. 코너의 실제 원본 좌표와, 다운샘플링된 좌표를 다시 원본 크기로 단순 복원했을 때의 좌표 사이의 차이를 학습해서, 최종적으로 위치를 미세 조정하는 역할이다. 이 offset은 클래스별로 따로 두지 않고, 좌상단 코너 전체가 하나를 공유하고 우하단 코너 전체가 또 하나를 공유한다. 학습에는 smooth L1 loss라는, 오차가 작을 때는 부드럽게 크면 좀 더 강하게 벌주는 손실 함수를 쓰고, 정답 코너 위치에서만 이 loss를 적용한다.

3) Grouping Corners

여러 개의 좌상단 코너와 여러 개의 우하단 코너가 검출되면 어떤 쌍이 같은 물체인지 알아야 한다. 저자들은 Newell et al.의 associative embedding을 가져온다. 원래는 사람의 관절 여러 개를 검출한 뒤, 그 관절들이 어느 사람에게 속하는지 묶는 데 쓰이던 방법인데, CornerNet은 이걸 "관절을 사람별로 묶기"에서 "코너를 물체별로 묶기"로 그대로 옮겨왔다.

검출된 코너마다 embedding이라는 1차원 값을 함께 예측한다. 임베딩의 숫자 자체는 의미가 없고 두 코너의 emnbedding 값이 서로 얼마나 가까운지가 중요하다. 같은 물체에 속하는 좌상단-우하단 코너 쌍은 embedding 값이 비슷하게 나오도록, 서로 다른 물체에 속하는 코너들은 embedding 값이 멀어지도록 학습시킨다.

$$
L_{pull} = \frac{1}{N}\sum_k \left[(e_{t_k}-e_k)^2 + (e_{b_k}-e_k)^2\right]
$$

$$
L_{push} = \frac{1}{N(N-1)}\sum_{k}\sum_{j\neq k} \max(0,\ \Delta - |e_k - e_j|)
$$

이를 위한 loss로, Pull loss는 같은 물체의 두 코너를 당기고, push loss는 다른 물체를 최소 Δ(=1)만큼 떨어뜨린다.

이 방식은 한계점을 가지는데, 숫자하나로 이미지 안의 모든 인스턴스를 구분해야해 객체가 많아지면 임베딩 공간이 포화될 수밖에 없는 구조이다. 실제로 이 지점이 후속 논문인 CenterNet이 정면으로 지적하는 CornerNet의 약점이 된다.

4) Corner Pooling

위 사진을 보면 스키 타는 사람, 피자, 비행기 박스의 코너는 대개 물체 바깥의 빈 공간에 있다. 그 픽셀만 봐서는 아무 정보가 없다.

이런 경우 사람의 판단 과정은 좌상단 코너인지 알기 위해 오른쪽 수평 방향을 훑어서 물체의 최상단 경계를 찾고, 아래쪽 수직 방향을 훑어서 최좌측 경계를 찾을 것이다. 이 사전지식을 아키텍처에 직접 박아넣자는 것이 corner pooling이다.

좌상단 코너를 예로 들면, 두 개의 feature map을 입력으로 받는다. 하나는 "아래 방향으로 훑는" 용도, 다른 하나는 "오른쪽 방향으로 훑는" 용도다. 각 픽셀 위치에서, 그 지점부터 아래쪽 끝까지 값들 중 최댓값을 뽑고, 그 지점부터 오른쪽 끝까지 값들 중 최댓값을 뽑은 뒤, 두 최댓값을 더한다. 우하단 코너는 방향만 반대로(위쪽과 왼쪽) 뒤집어서 똑같이 계산한다.

이 연산을 각 픽셀마다 매번 "끝까지 훑어서 최댓값 찾기"로 처리하면 느리다. 하지만 실제로는 이 계산이 동적 계획법(dynamic programming) 구조를 갖고 있어서 효율적으로 처리할 수 있다.

$$
t_{ij} = \max\left(f_{t_{ij}},\ t_{(i+1)j}\right), \qquad
l_{ij} = \max\left(f_{l_{ij}},\ l_{i(j+1)}\right)
$$

이미지의 가장자리부터 반대쪽으로 한 번만 훑으면서, "지금까지 본 값 중 최댓값"을 계속 갱신해 나가면 전체 feature map을 한 번의 선형 스캔으로 처리할 수 있어 훨씬 빠른 연산이 되는 것이다.

Corner pooling은 단독 레이어가 아니라 modified residual block 안에 들어간다. 기존 residual block의 첫 3×3 conv를 corner pooling 모듈로 갈아끼운 형태다.

즉, Hourglass 네트워크에서 나온 특징을 두 번의 합성곱 연산으로 처리한 뒤 corner pooling을 적용하고, 그 결과를 다시 합성곱 연산에 통과시킨 뒤 원래의 입력(shortcut)과 더한다. 이렇게 만들어진 특징이 이후 heatmap, embedding, offset을 각각 예측하는 세 갈래의 브랜치로 나뉘어 들어간다.

3. CornerNet의 실험 결과

Corner pooling ablation

큰 물체일수록 코너에서 경계까지의 거리가 멀고, 그래서 멀리 훑어보는 연산의 가치가 크다. 작은 물체는 +0.1로 사실상 의미가 없다.

Penalty reduction ablation

베이스라인 대비 +5.6 AP다. Corner pooling(+2.0)보다 기여가 크다. 논문의 핵심 novelty는 corner pooling이지만 실질적으로 성능을 만든 것은 loss 설계임을 시사한다.

Error analysis

heatmap을 정답으로 교체했을 경우 38.5에서 74.0으로 향상되는 것을 통해 grouping은 이미 꽤 잘 작동하고 있고, 진짜 병목은 heatmap 코너를 정확히 검출하는 일임을 알 수 있다. 여기에 GT offset까지 넣으면 87.1까지 오르는데, 남은 12.9가 embedding 그룹핑 오류의 몫이라고 볼 수 있다.

SOTA 비교

COCO test-dev 결과다.

Method	AP	AP50	AP75	AR100
DSSD513	33.2	53.3	35.2	46.2
RefineDet512 (multi)	41.8	62.9	45.7	–
CornerNet511 (multi)	42.1	57.8	45.3	60.0

AP는 CornerNet이 가장 높다. 42.1로 당시 모든 one-stage detector를 앞섰다. 그러나 AP50은 RefineDet이 62.9인데 CornerNet은 57.8로 오히려 낮은것을 확인할 수 있다. 반면 AR100은 또, 압도적으로 높다.

AP50이 낮다는 것은 느슨한 기준에서조차 틀린 박스가 많다는 뜻이며 AR이 높다는 것은 놓치는 물체는 거의 없다는 뜻이다. 즉, CornerNet은 재현율은 최고인데 정밀도가 나쁘다는 얘기다. 박스를 많이 만들어내는데 그중에 쓰레기가 상당히 섞여 있다.

CornerNet 논문은 이 패턴을 분석하지 않았지만 이어지는 CenterNet에서 이 문제를 파고든다.

4. CenterNet의 문제 정량화

CenterNet 저자들이 가장 먼저 한 일은 이 문제에 이름과 숫자를 붙이는 것이었다. FD(false discovery) rate라는 지표를 도입한다.

$$
\text{FD} = 1 - \text{AP}\big|_{\text{IoU}=[0.05:0.05:0.5]}
$$

이 지표를 해석하면 IoU 0.05만 넘으면 맞다고 쳐주는데도 100개 중 32.7개가 오답이고, 작은 물체는 60.3%가 오답이다. 이것은 정밀도가 좀 낮다는 수준이 아니라 구조적 결함에 가까운데 그 원인은 CornerNet이 박스의 경계만 보고 내부를 전혀 보지 않는다는 점에 있다.
코너 쌍을 embedding 거리로만 묶기 때문에, 공교롭게 임베딩이 비슷한 엉뚱한 두 코너가 만나면 말도 안 되는 종횡비의 박스가 생겨도 걸러낼 방법이 없다. 아래의 사진들이 이 문제를 보여준다.

5. CenterNet의 핵심 아이디어 - Pair에서 Triplet으로

Central region exploration : 코너 쌍으로 만든 후보 박스를, 중심점이 있는지 확인해서 검증하는 절차 자체

저자들의 핵심 아이디어는 "예측된 박스가 GT와 IoU가 높다면 그 박스의 중심 근처에 같은 클래스의 center keypoint가 검출될 확률이 높고, 역도 성립한다."는 것이다.

그래서 추론 절차가 이렇게 바뀐다.

CornerNet 방식으로 코너 쌍을 만들어 후보 박스를 생성한다
top-k center keypoint를 뽑고 offset으로 원본 해상도에 re-mapping한다
각 후보 박스에 대해 중심 영역(central region)을 정의한다
그 안에 같은 클래스의 center keypoint가 있으면 유지하고 없으면 제거한다
유지된 박스의 점수는 세 점(좌상단, 우하단, 중심)의 평균으로 교체한다

이 방법은 central region을 어떻게 설정할지도 중요한데, cental region이 너무 작으면 작은 박스에서 중심점을 놓쳐 recall이 떨어지고, 너무 크면 큰 박스에 엉뚱한 중심점까지 들어와 precision이 떨어진다. 그래서 작은 박스에는 상대적으로 큰 중심 영역을, 큰 박스에는 상대적으로 작은 중심 영역을 주는 방법을 채택하였다.(box scale이 150 미만이면 n=3, 초과면 n=5)

$$
\text{ctl}_x = \frac{(n+1)\text{tl}_x + (n-1)\text{br}_x}{2n}, \qquad
\text{cbr}_x = \frac{(n-1)\text{tl}_x + (n+1)\text{br}_x}{2n}
$$

y 성분도 같은 형태다. 기하학적으로 보면 박스를 n×n 격자로 나눴을 때 가운데 한 칸이 중심 영역이 된다.

6. CenterNet의 아키텍처 - Center pooling과 cascade corner pooling

Center pooling : 중심점을 더 잘 찾기 위한 pooling 연산

물체의 기하학적 중심에 특징적인 시각 패턴이 있으리라는 보장이 없다. 사람의 경우 얼굴에 강한 패턴이 있지만 박스의 중심은 대개 몸통 한가운데다. 그래서 어떤 픽셀이 중심점인지 판단할 때 그 픽셀의 가로 방향 최댓값과 세로 방향 최댓값을 더해서 쓴다. 구현은 CornerNet의 corner pooling을 방향만 바꿔 조합하면 된다. 가로 방향 최댓값은 left pooling과 right pooling을 직렬로 연결하고, 세로 방향은 top pooling과 bottom pooling을 직렬로 연결한다.

Cascade corner pooling : 코너를 더 잘 찾기 위한 pooling 연산

기존 corner pooling은 경계 방향으로만 최댓값을 찾기 때문에 엣지에 지나치게 민감하다. 배경의 강한 엣지에 반응해버리는 문제가 있다.

그래서 2단으로 바꾼다. 먼저 경계 방향으로 훑어 boundary maximum 위치를 찾고, 그 위치에서 물체 내부 방향으로 다시 훑어 internal maximum을 찾은 뒤, 두 값을 더한다. 구현은 기존 top corner pooling 앞에 left corner pooling을 하나 추가하는 것으로 끝난다.

CornerNet의 corner pooling이 경계 정보만 담았다면 cascade 버전은 경계와 내부 시각 패턴을 함께 담는다. "내부를 보자"는 이 논문의 주제가 코너 쪽에도 일관되게 적용된 셈이다.

(a) Center pooling (b) Corner pooling (c) Cascade corner pooling

7. CenterNet의 실험 결과

COCO test-dev

Method	Backbone	AP	AP50	AP_S	AR100
CornerNet511 (single)	HG-104	40.5	56.5	19.4	59.1
CenterNet511 (single)	HG-104	44.9	62.4	25.6	63.3
CornerNet511 (multi)	HG-104	42.1	57.8	20.8	60.0
CenterNet511 (multi)	HG-104	47.0	64.5	28.9	64.8

동일 backbone에서 +4.4, +4.9 AP으로 앞서 던진 문제가 여기서 해결된다. CornerNet의 약점은 AP50이 유독 낮다는 것(56.5)이었는데 CenterNet은 이를 62.4로 끌어올렸다. AP 상승분(+4.4)보다 AP50 상승분(+5.9)이 더 크다. 또한, AP_S가 20.8에서 28.9로 +8.1 올라 작은 물체에서의 개선이 가장 크게 나타났다. 저자는 이를 틀린 박스가 작을수록 그 중심 영역에서 center keypoint가 검출될 확률이 더 낮으니 작은 오답 박스가 특히 잘 걸러진다는 것이라고 설명하였다.

FD rate를 통한 검증

모든 기준에서 FD가 감소했고 작은 물체에서 9.6%p로 가장 크게 줄었다. AP_S 개선과 정확히 같은 방향을 가리킨다.

Ablation

CRE는 central region exploration, CTP는 center pooling, CCP는 cascade corner pooling이다.

CRE(+2.3) 가 세 요소 중 압도적으로 기여가 크다. 특히 AP_S가 18.5에서 23.1로 +4.6 오른 반면 AP_L은 +0.1로 사실상 변화가 없다. 확률적으로 작은 물체의 중심점이 큰 물체보다 위치를 특정하기 쉽기 때문이라는 설명이다.

CTP(+0.9) 는 반대로 AP_L에서 +1.4로 큰 물체에 유리하다. 큰 물체일수록 내부에 활용 가능한 시각 패턴이 많기 때문이다.

CCP 는 CornerNet 위에 단독으로 얹으면 AP_L은 52.2에서 52.2로 변화가 없는데 AR_L은 74.0에서 75.8로 +1.8 오른다. 저자는 내부 패턴 덕에 물체를 더 많이 "보게" 되었지만 그 풍부한 패턴이 오히려 경계 인식을 방해해서 부정확한 박스가 늘었다는 것이다. 재현율은 올라도 정밀도가 안 따라온 셈이다. 그런데 CenterNet의 중심점 검증이 붙으면 그 부정확한 박스가 제거되면서 AP_L이 53.6에서 55.8로 +2.2 뛴다.

8. 남은 한계

같은 클래스의 밀집 상황. 사람 군집이나 접시 위 broccoli처럼 같은 클래스 객체가 겹쳐 있으면 A의 중심점이 B의 중심 영역에 들어갈 수 있다. 클래스만 확인하므로 이 경우 잘못된 박스가 그대로 살아남는다.

새로 들어온 하이퍼파라미터. n ∈ {3, 5}, 임계값 150, top-70. Anchor-free의 명분과 어긋나는데 민감도 실험도 없다.

후처리 필터라는 본질. 이중심점 검증은 학습에 관여하지 않고 추론 시에만 작동한다. 즉 잘못된 코너 쌍이 애초에 생기지 않도록 만드는 것이 아니라 생긴 뒤에 걸러낸다. 앞에서 복선으로 깔았던 1차원 embedding 그룹핑이라는 CornerNet의 근본 약점은 그대로 남아 있고 그 위에 필터를 하나 얹은 구조다.

여전한 무게. Hourglass-104에 480K iteration, V100 8장, 340ms. 실용성 측면에서는 같은 시기의 Objects as Points나 FCOS가 훨씬 매력적이다.

9. 계보 속 위치

Stacked Hourglass (2016) ─┐
Associative Embedding (2017) ─┼→ CornerNet (2018)
Focal Loss (2017) ────────────┘        │
                                       │
        ┌──────────────────────────────┼──────────────────────────┐
        ↓                              ↓                          ↓
CornerNet-Lite (2019)      CenterNet-Triplets (2019)      ExtremeNet (2019)
   속도 개선                   중심점으로 FP 검증            극점 4개 + 중심

                     ┌─────────────────────────────┐
                     ↓                             ↓
        Objects as Points (2019)              FCOS (2019)
        코너·그룹핑 통째로 제거              per-pixel + centerness

[강민혁] Transformer_Attention Is All You Need

m0419902 — Fri, 24 Jul 2026 22:37:58 +0900

논문정보

제목: Attention Is All You Need

저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin

학회: NIPS 2017

Attention Is All You Need는2017년 Google연구진의 논문으로, RNN과 CNN을 없애고 attention만을 사용하여 더 좋은 모델을 만들고자 쓴 논문이다. 이는 구조를 극단적으로 단순화하여 병렬 처리를 가능하게 했고, 이로 인하여 모델의 크기를 엄청나게 키울 수 있는 기반을 마련하였다. 이 기술을 통하여 오늘날의 GPT나 BERT같은 거대한 언어 모델이 탄생했다.

1. 논문 배경

1.1 기존 모델(RNN, CNN)의 문제점

각 단어 입력마다 hidden state가 갱신되고 입력된 정보가 고정된 크기의 context vecoer로 정리되어 출력으로 연결됨.

- 순차적 연산(Sequential Computation)의 병목: RNN 계열(LSTM, GRU)은 은닉 상태(hidden state) h_t를 계산하기 위해 이전 상태 h_{t-1}과 현재 입력 x_t를 사용합니다. 이는 문장을 왼쪽에서 오른쪽으로 하나씩 처리해야 함을 의미하며, 훈련 시 병렬 처리를 원천적으로 불가능하게 만든다.

- 장기 의존성(Long-range Dependencies) 문제: 문장이 길어질수록, 정보가 전달되는 경로가 길어져 처음 입력된 단어의 의미가 소실되거나 기울기 소실 문제가 발생한다.

- 합성곱(CNN)의 한계: ByteNet이나 ConvS2S 같은 CNN 기반 모델은 병렬 처리는 가능하지만, 멀리 떨어진 단어 간의 관계를 파악하려면 수많은 층을 쌓아야 하므로 연산 비용이 크다.

1.2 해결책 제안

- 연구진은 순환과 합성곱을 완전히 배제하고, 오로지 어텐션 메커니즘으로만 전역적 의존성을 계산하는 Transformer를 제안했다.

이는 기존RNN의 가장 큰 문제인 '앞 단어를 다 읽어야 뒷 단어를 읽을 수 있다.'는 점 때문에 GPU가 아무리 좋아도 순차적으로 연산했어야 하는데 트랜스포머는 문장 내 모든 단어를 '동시에' 펼쳐 놓고 서로의 관계를 한 번에 계산하는 발상의 전환을 이뤄냈다.

2. 모델 아키텍처(인코더-디코더)

트랜스포머는 d_model = 512의 고정된 차원을 사용하는 인코더-디코더 스택 구조를 가진다.

2.1 인코더 스택 (Encoder Stack)

-총 N = 6개의 동일한 계층으로 구성된다.

-2개의 하위 계층 (Sub-layer)

(1) 멀티 헤드 셀프 어텐션 (Multi-Head Self-Attention): 문장 내의 단어들이 서로 어떤 문법적/의미적 연관성을 가지는지 파악한다.

(2) 위치별 피드포워드 네트워크 (Position-wise FFN): 어텐션 층에서 모인 정보를 바탕으로 비선형적인 특징을 추가로 가공하고 학습한다.

잔차 연결 및 정규화{LayerNorm(x +Sublayer(x))}: 층이 깊어져도 학습이 안정적으로 진행되도록, 하위 계층을 통과하기 전의 원본 데이터(x)를 통과 후의 데이터에 더해주고(잔차 연결) 스케일을 맞춰주는(정규화) 안전장치이다.

2.2 디코더 스택 (Decoder Stack)

- 총 N = 6개의 동일한 계층으로 구성된다.

- 3개의 하위 계층

(1) 마스크드 멀티 헤드 셀프 어텐션 (Masked Self-Attention): 번역을 할 때는 단어를 순차적으로 생성(Auto-regressive)해야 하므로, 미래에 나올 정답 단어를 미리 훔쳐보는 것을 방지해야 합니다. 이를 위해 아직 생성되지 않은 미래 위치의 어텐션 점수를 마이너스 무한대로 처리하여 확률을 0으로 만들어 버린다.(마스킹).

(2) 인코더-디코더 어텐션 (Encoder-Decoder Attention): 디코더가 현재 단어를 만들어낼 때, 인코더가 분석해둔 원본 문장의 요약본 중 어느 부분에 가장 집중(Attention)해서 참고할지를 결정한다.

(3) 위치별 피드포워드 네트워크 (Position-wise FFN): 인코더와 마찬가지로 취합된 정보를 최종적으로 가공한다.

인코더는 원문을 완벽하게 이해하는 요약본을 만들고 그 요약본을 참고하여 한 단어씩 번역을 수행한다. 디코더에만 있는 '마스크드 어텐션'은 뒤 페이지 정답을 미리 보지 못하게 가리는 역할이다,

3. 핵심 기술:어텐션 (Attention) 메커니즘

3.1 스케일드 내적 어텐션 (Scaled Dot-Product Attention)

- Q, K, V 개념

Query (Q): 현재 해석하고자 하는 기준 단어.

Key (K): 문장 내 모든 단어들이 가진 특성(이름표).

Value (V): 각 단어가 실제로 가진 의미 값.

동작과정

1. 현재 단어에서 Query를 만들고, 문장 내 다른 단어들에서 Key를 만듭니다.

2. Query와 Key를 비교하여 단어 간의 유사도 점수를 계산합니다.

3. 이 유사도 점수에 Softmax를 적용하여 가중치로 변환합니다.변환된 가중치 비율만큼 Value 값을 섞어줍니다(가중합).

4. 결과: 현재 단어는 문장 내에 있는 다른 단어들의 정보를 가중 평균(Weighted Average) 하여 전달받게 됩니다.

softmax를 통한 가중치 산출

-A_ij의 의미: Attention Weight(어텐션 가중치)를 뜻하며, i번째 토큰이 j번째 토큰의 정보를 얼마나 가져올지 결정하는 지표입니다.

-수식

d_k는 d_model/head로 벡터의 차원수를 의미한다.

스케일링{(d_k)^1/2}로 나누는 이유: d_k값이 클 경우,Q와K의 내적 값이 극단적으로 커진다. 이렇게 되면 소프트맥스 함수의 기울기가 0으로 수렴하는 '포화'현상이 일어나 학습이 멈춘다. 따라서 이를 방지하기 위하여 분산을 줄여주는 역할을 한다.

3.2 멀티 헤드 어텐션 (Multi-Head Attention)

-512차원 하나로 어텐션을 한 번만 수행하면 다양한 문맥적 특징이 뭉개진다.

-전체 차원을 h = 8개의 헤드로 나누어(d_k = d_v = 64) 병렬로 어텐션을 수행한다.

- 각 헤드는 '문법적 관계', '의미적 관계' 등 서로 다른 부분 공간(Representation subspaces)의 정보를 나누어 포착한 후 이 결과들을 다시 병합(Concat)한다.

이 부분의 핵심은 '나(Query)와 가장 연관성 높은 단어(Key)를 찾아서 그 단어의 정보를 많이 가져온다'는 원리이다. 또한 스케일링에 대하여 정리하자면 '기울기의 소실을 막는 안전장치' 이다.

4. 디테일 완성: FFN, 임베딩, 그리고 위치 인코딩

4.1 위치별 피드포워드 네트워크 (Position-wise FFN)

-수식

-어텐션(Attention)이 문장 내 단어들끼리 서로 정보를 교환하며 '문맥적 관계'를 파악하는 역할이라면, FFN은 그렇게 모인 정보를 바탕으로 각 단어(위치)별로 복잡한 '비선형적 특징'을 학습하는 역할을 한다.

- 내부적으로 차원을 512에서 2048로 크게 확장했다가 다시 512로 압축하는 과정을 거치는데 이 과정을 통해 모델의 표현력이 비약적으로 높아진다.

4.2 가중치 공유 (Weight Sharing) 및 임베딩

- 트랜스포머는 파라미터(가중치)의 낭비를 막기 위해 '가중치 공유'라는 기법을 사용한다.

공유하는 3가지 계층:

1. 인코더의 입력 토큰을 벡터로 바꾸는 인코더 임베딩

2. 디코더의 입력 토큰을 벡터로 바꾸는 디코더 임베딩

3. 디코더 최종 출력부에서 다음 단어를 예측하기 위해 사용하는 소프트맥스 이전 선형(Linear) 층

이 세 곳에서 완전히 동일한 가중치 행렬을 재사용함으로써, 모델이 학습해야 할 파라미터 수를 획기적으로 줄이고 학습 과정을 훨씬 안정적으로 만든다.

4.3 위치 인코딩 (Positional Encoding)

-수식

-어텐션 자체는 단어의 순서를 모른다. 따라서 입력 임베딩에 단어의 위치에 따른 주기 함수 값을 더해준다. 이 방식을 사용하면 모델이 보지 못했던 더 긴 문장이 들어와도 대응하기 쉽다.

단어들을 그냥 모델이 들이 부으면'A가 B를 때렸다' 와 'B가 A를 때렸다'를 구분하지 못한다. 그래서 각 단어에 순서 번호표를 붙여주는 작업이 바로 Positional Encoding이다. 학습 파라미터를 늘리지 않고도 사인/코사인 함수의 주기를 이용하여 해결했다.

5. 학습(Training) 환경 및 기법 (구현 디테일)

- Batching (배치 처리)는 훈련의 효율성을 극대화하기 위해 배치를 '문장의 개수'가 아닌 '토큰의 개수(약 25,000개)'를 기준으로 유동적으로 묶는 방식이다. 길이가 비슷한 문장들끼리 묶어 불필요한 빈 공간(Padding)을 줄이고 연산 효율을 높였다.

- Adam Optimizer (최적화)는 모델이 정답을 찾아가는 방향과 보폭을 결정하는 최적화 알고리즘으로, 논문에서는 구체적인 하이퍼파라미터(beta_1 = 0.9, beta_2 = 0.98, epsilon = 10^{-9})를 명시하여 빠르고 안정적인 학습을 도모했다.

- Warm-up 스케줄링 (학습률 조절)은 학습 초기(처음 4,000 스텝)에는 학습률을 선형적으로 빠르게 끌어올리고, 그 이후부터는 스텝 수의 역제곱근에 비례하여 서서히 낮추는 독자적인 공식이다. 학습 초기의 불안정성을 잡고 후반부에는 미세한 조정(최적화)이 가능하도록 돕는다.

- Label Smoothing (레이블 스무딩)은 모델이 특정 정답에 대해 지나치게 확신(Over-confidence)을 갖는 것을 막아주는 정규화 기법이다. 이를 적용하면 모델의 헷갈림 정도(Perplexity) 지표는 다소 나빠지지만, 정답 외의 주변 단어들도 유연하게 고려하게 되어 결과적으로 최종 번역 품질인 BLEU 점수를 향상시키는 핵심 디테일이다.

트랜스포머는 초반에 학습률을 확 올렸다가 천천히 떨어뜨리는 Warmup 스케줄링을 썼고, 레이블 스무딩을 통해 모델의 과적합을 낮추는 디테일을 가진다.

6. 성과 및 실험 결과 (Results & Ablation)

6.1 번역 성능 및 추론(Inference) 디테일

- SOTA 달성: WMT 14 영어-독일어에서 28.4 BLEU, 영어-프랑스어에서 41.8 BLEU로 기존 앙상블 모델까지 모두 꺾었습니다. 학습 시간은 P100 GPU 8대로 단 3.5일밖에 걸리지 않았다.

- 추론(Inference) 세팅: 예측 시 빔 서치(Beam Search)를 사용했으며, 빔 크기는 4, 길이 페널티(Length Penalty) alpha = 0.6을 주었다.

6.2 모델 변형 실험 (Ablation Study )

연구진은 트랜스포머의 각 부품이 얼마나 중요한지 빼보거나 바꿔보는 실험을 진행했다.

- 헤드 수 변화: 헤드가 1개일 때 성능이 크게 하락(-0.9 BLEU)했고, 반대로 32개로 너무 많아져도 성능이 떨어졌다. (8개나 16개가 최적)

- Key 차원 축소: Key 차원(d_k)을 줄이면 모델 품질이 저하되었다. 어텐션 점수를 매기는 호환성(Compatibility) 과정이 꽤 고차원적인 계산임을 방증한다.

- 위치 인코딩 변경: 제안한 사인파 인코딩 대신 학습형 임베딩을 썼을 때 결과가 거의 똑같았. (단, 외삽을 위해 사인파를 최종 채택)

결론적으로 이 논문이 주는 강력한 메시지는 제목 그대로"Attention Is All You Need"즉 복잡한 구조 필요 없이 어텐션만 있으면 된다는 것이다. 구조를 극단적으로 단순화하여 병렬 처리를 가능하게 했고, 이로 인하여 모델의 크기를 엄청나게 키울 수 있는 기반을 마련하였다.

예시1)하나의 단어가 입력되는 경우

하나의 단어:

어텐션을 위해 쿼리(Query), 키(Key), 값(Value)이 필요하다.

각 단어의 임베딩(Embedding)을 이용해 생성할 수 있다.

임베딩 차원(d_model)->Query, Key, Value 차원(d_model/h)

이 때 d_model=4, h(head)=2라고 가정하면 4X2메트릭스가 만들어진다. (4차원의 데이터르 2차원의 데이터로 매핑해야 되기 때문에)

love라는 단어가 4차원으로 구성되어 있으면 Query, Key, Value 모두 2차원 데이터로 표현 될 수 있다.

예1-2)

이런식으로 Query, Key, Value를 다 구했으면 Attention공식을 사용해서 실제 attention value를 구할 수 있다.

I love you라는 문장이 들어왔다고 하면 I에 해당Query를 I에 해당하는 Key, love에 해당하는 Key, you에 해당하는 Key값과 곱해져서 Attention energy값을 구할 수 있다.

이 후에 softmax를 취하여 실제로 각각의 키에 대하여 어떤 가중치를 가지는지를 구할 수 있다.

{그림에서는 I라는 단어는 I라는 단어와 72%, love와는 15%, you와는 13%의 가중치를 가진다.}

각각의 가중치 값에 value값을 곱하여 전부 더하면 결과적인 attention value값을 만들어 낼 수 있다.

예2)

전체 문장이 한번에 입력되는 경우

I love you라는 문장이 입력되고 임베딩 차원이 4차원이라고 했을 때 3*4 매트릭스로 구성된다.

각각의 Query값, Key값, Value값이 만들어진다.

각 Query값을 Key값과 곱해져서 attention value를 구할 수 있다.

이 때 attention energies값은 각각의 단어가 각각의 Key값에 대하여 얼마나 높은 연관성을 표현하는 수치를 구할 수 있다.

이 행렬의 softmax를 취하여 각각의 행마다 각 Key에 대한 값들을 확률값으로 구할 수 있다.

그 후 구한 가중치 값과 value의 값을 곱하여 실제 attention value매트릭스를 구할 수 있다.

[황인성] Semi-Supervised Classification with Graph Convolutional Networks

myblog33150 — Sat, 18 Jul 2026 12:04:14 +0900

제목: Semi-Supervised Classification with Graph Convolutional Networks

저자: Thomas N. Kipf(현재 구글 딥마인드 선임 수석 연구 과학자), Max Welling

소속: University of Amsterdam

학회지: ICLR 2017

0. Abstract

본 논문은 그래프 구조의 데이터에서 반지도 학습을 수행할 수 있는 확장성 높은 모델을 제안한다. 해당 모델은 Spectral Graph Convolution을 국소적인 1차 근사를 통해 도출한다. 논문 인용 네트워크와 Knowledge Graph 데이터셋에서 여러 실험을 수행하여 기존의 다른 방법들보다 뛰어난 성능을 보였다.

1.Introduction

semi-supervised learning: 반지도 학습-데이터는 많지만 정답 라벨은 일부 데이터에만 있는 학습 방식.

GCN 이전 모델의 loss function. 분류에 대한 예측값뿐만 아니라 그래프의 구조도 loss에 포함시킴.

위 수식은 GCN 이전의 모델( Zhu et al., 2003; Zhou et al., 2004; Belkin et al., 2006; Weston et al., 2012 )의 loss function이다. 예측의 정확도뿐만 아니라 그래프에서 서로 연결된 edge 사이에 긴밀한 연관성이 있을 것이라는 가정 하에 그 유사도도 loss에 포함시킨다. 하지만 본 논문에서는 엣지끼리 반드시 유사성을 포함하지는 않으며 모델 성능을 제한할 수 있다고 반박한다.

이에 본 논문에서는 그래프 구조를 loss function이 아닌 모델에 포함시켰다.

2. Fast Approximate Convolutions on Graphs

GCN의 최종 수식

g: 필터

x: 인풋 feature

U: 그래프 라플라시안의 고유벡터

Hammond et al.(2011)

Chebyshev polynomials K차 근사 다항식

3. Semi-Supervised Node Classification

4. Experiments & Results

실험에 사용된 데이터

에폭 당 학습 시간. 엣지 수에 대해 선형적으로 증가함.