CLIP: Learning Transferable Visual Models From Natural Language Supervision

CLIP (Contrastive Language-Image Pre-training)

Before we go any further…

Motivation

NLP Model

• BERT, GPT의 모델은 자연어를 기반으로 한 모델이며, 이러한 모델은 자연어의 특정 label이 필요 없이 raw text만을 가지고 학습이 가능.

• Raw text만 가지고 학습했음에도 불구하고 NLI benchmark (e.g. GLUE), zero-shot task에 SOTA를 달성하는 등 뛰어난 성능을 보임.
결론: Semi-supervised learning을 사용하여 학습했음에도 불구하고 fine-tuning 등을 통해 여러 task에 훌륭한 성능을 내어줌.

Vision Model

• Motivation
• NLP 모델을 학습하는 방식들은 현재까지도 NLP 분야에서 task-agnostic한 모델 연구로 이어지고, ChatGPT 등은 이러한 task-agnostic 모델의 대표적인 예시.
결론: (ChatGPT가 나오기 전이지만) 저자들은 supervised learning을 벗어나서 학습할 수 있는 방법을 CV 분야에서도 적용할 수 없을까 고민함.

• Issues
• 낮은 zero-shot task 성능
기존 CNN 기반의 vision 모델은 강력한 성능을 보였지만 zero-shot task에 대해서 낮은 성능을 보여줌.
• 당시 ImageNet SOTA: 88.4%
• Zero-shot task: 11.5%
 
• 정보의 빈약성
많은 이미지 데이터셋은 labeling 되어있는 데이터들인데, 이는 단순히 이미지가 어떠한 카테고리로 분류되는지만 나타내기 때문에 이미지 전체를 나타내기에는 그 정보량이 빈약하다는 문제점이 존재.
 
• Labeling의 수고로움
Labeling 자체는 어려운 task가 아니지만, 수백만장의 데이터를 하나씩 labeling을 하는 것은 많은 비용이 듦.

• Approach
• Natural Language Supervision
• 이미지와 자연어를 이용한 multi-modal learning이 image representation에 뛰어나다는 연구는 많이 진행 되어왔음 → Label 보다 비교적 많은 정보량 함축.
• 이미지와 자연어 쌍은 비교적 Web상에서 구하기 쉬움.
• Web 상의 많은 이미지는 caption과 설명이 같이 있기 때문.
• 자연어와 이미지의 representation을 동시에 학습할 수 있음.
• 자연어(prompt)를 조정하여 다양한 task에 쉽게 적용 가능하고, 확장성이 용이함.
 
• 대용량 데이터 수집
Image-Text task로 여러 데이터가 고려될 수 있음.
• MS-COCO, Visual Genome 처럼 지식 그래프, 객체 정보 등을 설명하고 있고 quality가 좋은 데이터들은 데이터의 크기가 작음.
• YFCC100M은 데이터는 크지만 quality가 낮음.
결론: Web crawling을 통해 직접 4억개의 image-text 쌍 데이터인 WebImageText (WIT) dataset을 제작함.
 

CLIP Pre-training & Architecture

Pre-raining

• Image Captioning?
• 원래 저자들은 VirTex 모델처럼 CNN 기반 image encoder와 transformer 기반 decoder를 이용하여 image captioning 방법으로 학습을 수행하고자 함.
• Transformer 언어모델은 아래 그림처럼 같은 accuracy를 확보하는 데 다른 모델에 비해 그 효율성이 엄청 낮음.
• Image captioning 방식으로 모델을 학습할 때, decoder는 정확한 단어를 예측하려고 하고 비슷한 이미지에 다양한 텍스트가 올 수 있기 때문에 학습이 상당히 느림.
• 하나의 이미지에 여러 텍스트가 올 수 있다는 점을 생각해보면, text decoder를 통해 이렇게 정확한 단어를 예측하고자 하는 것은 'representation하는 데 과한 task.
결론: 최종 선택한 CLIP 모델이 image captioning을 위한 baseline 보다 효율적임.

• Contrastive Learning
• 효율적인 contrastive learning을 사용하여 representation을 적용.
• 의 batch에서 에서 의 negative, 개의 positive 정보를 얻을 수 있고 총 의 정보를 얻을 수 있음.

img_f = image_encoder(image)
text_f = text_encoder(text)

"""
img_f
text_f EOS feature
"""
img_f = F.normalize(img_wts(img_f))
text_f = F.normalize(text_wts(text_f))

cos_sim = torch.mm(img_f, text_f.transpose(0, 1))
sim_output = cos_sim * temperature.exp()

Architecture

• Image Encoder
• ResNet-D: ResNet50, ResNet101, ResNet50x4, ResNet50x16, ResNet50x64
• ViT: ViT-B/32, ViT-B/16, ViT-L/14

• Text Encoder
• Transformer

• Training: 32 epoch

CLIP Results

Zero-shot Classification

• Method

• Results
• Zero-shot Image Classification
• Visual N-Grams 모델보다도 zero-shot 분류 성능이 더 좋았지만, Visual N-Grams 연구가 나오기 전에는 Transformer 모델도 없었으며 학습 데이터 양또한 CLIP이 많다는 부분 등을 언급하면서 이 모델과의 비교가 완전히 공평한 조건에서 이루어지지 않았다는 부분을 언급.



 
• Zero-shot Linear-probe
• Pre-trained ResNet-50에 비해 27개의 task 중 16개에서 더 좋은 결과를 보여줌.
• EuroSAT, RESISC45은 인공위성 데이터이며, 지엽적인 정보를 CLIP은 pre-training 하면서 습득하지 못한 것으로 보여짐.



 
• Few-shot Task 성능과 비교
• CLIP Zero-shot task는 다른 모델들의 few-shot 결과보다 좋았으며, CLILP의 zero-shot 평균 성능은 4-shot 일때이며, 이는 다른 baseline 모델의 16-shot의 결과와 비슷한 수준.



 
• Prompt의 중요성
• ChatGPT에서 프롬프트를 이용하여 다양한 task를 수행할 수 있는 것처럼, 당시 논문에서도 일찌감치 프롬프트를 이용하여 zero-shot 성능을 더 끌어올릴 수 있고 다양하게 적용될 수 있다고 언급.
• 아래 결과는 실제로 프롬프트만 바꿔줬을 때, 4배 더 많은 연산을 한 모델과 같은 성능을 보여줌.



 
• Results Examples
• GT Wrong

Representation Evaluation using Linear-probe

• Why?
• Linear-probe를 하기 위해 FC-layer를 사용하지 않고 Logistic Regression (LR) Linear Classifier를 이용 → 모델이 학습한 이미지의 representation의 failure를 좀 더 명확히 판단 가능하기 때문(FC-layer는 model의 failure를 보정 및 가릴 수 있기 때문).
• Zero-shot 실험과 비슷한 맥락에서 확장된 분석이 가능하기 때문.
 

• Representation Linear-probe Results
• ViT 기반의 CLIP 모델이 가장 좋은 성능을 보여줌.



 
• 위에서 CLIP 다음으로 좋은 결과를 보여준 EfficientNet-NoisyStudent 모델과 비교한 결과에서 더 좋은 결과를 얻음.

Robustness

• Task Shifting
• 아래 그림의 y축의 결과는 위의 Representation을 설명하는 처음 그림의 결과, x축은 ImageNet 분류 결과.
• CLIP을 제외한 다른 baseline 모델들은 ImageNet에서 pre-trained 된 모델이라 다른 데이터셋으로 평가하였을 때 점선 아래, 즉 ImageNet 결과보다 낮은 결과를 보여줌.
• CLIP은 데이터셋의 상관 없이 똑같이 높은 결과를 보여줌 → CLIP이 robust하다는 것을 방증.

• Distribution Shifting
• 학습된 이미지와 비교하여 distribution shifting이 일어난 이미지에 대해서도 CLIP은 강건하게 작용.
• (Left) Ideal line과 CLIP이 다른 baselines 보다 더 가까움.
• (Right) ImageNet에서 pre-trained 된 ResNet101보다 distribution shifting 된 데이터에 더 강간한 결과를 보여줌.

Comparison with Human Performance

• Results
• Oxford IIT Pets test set 으로 개/고양이 labeling 수행.
• 사람도 zero-shot, 개/고양이 하나/두가지 예시를 보고 one/tow-shot으로 labeling 수행.
• CLIP의 zero-shot 성능이 human performance보다 좋음.

• Human VS CLIP
• 사람이 어려워하는 task는 CLIP도 똑같이 어려워하는 경향이 있음.

Limitation

• ResNet-50, 101과 비교해서 zero-shot CLIP이 더 좋지만 평가에 활용된 dataset의 각각의 supervised SOTA에 비하면 많이 낮은 성능을 가져서 zero-shot CLIP이 SOTA 성능에 도달하려면 계산량이 1000배 정도 증가할 것으로 예상.

• zero-shot CLIP이 잘하는 task도 있지만 task-specific 모델과 비교하여 지엽적인 이미지 분류 task에 대해서는 약함 → CLIP은 고품질의 OCR representation을 학습하지만, MNIST에서 88%의 정확도밖에 달성하지 못하였고 이는 단순한 LR 모델보다 낮은 성능.
• WIT dataset에 MNIST같은 특이한 데이터가 없었을 확률이 높음.
• CLIP이 generalization 문제를 완전히 해결하지 못함을 방증.

• 딥러닝의 데이터 활용률이 매우 낮다는 근본적인 문제점을 해결하지 못함.
• 어쨌든 수집한 4억개의 데이터도 supervision을 위한 데이터셋이며, 이 이미지를 1초에 하나씩 32 epoch 학습을 한다면 405년이 걸림.
• 이러한 문제점을 해결하기 위해 self-supervision 방법등을 도입해볼 필요성이 있음.

• 인터넷에서 수집한 데이터로 CLIP을 학습시켰기 때문에 CLIP은 기존에도 사람이 가지고 있는 여러 사회적 편견들도 똑같이 학습하게 됨.

Text-Text CLIP

Sentence Embedding

Dialogue Embedding