UniCompress가 local·global image token을 압축하고 복원해 이미지 이해와 생성에 함께 사용하는 구조, 학습 과정과 압축률에 따른 실험을 정리한다.

통합 멀티모달 모델에서 이미지 이해와 생성 사이의 능력 전달을 살펴본다. 시각 표현과 transformer의 공유 구조, counting·공간 관계·문자 인식 실험과 학습 전략을 정리한다.

텍스트 embedding으로 학습한 diffusion prior를 이용해 CLIP의 이미지·텍스트 modality gap을 줄이는 Diffusion Bridge의 학습과 zero-shot 이미지 캡셔닝 과정을 정리한다.

동결된 diffusion decoder로 이미지를 재구성하며 시각 표현을 학습하고, 이를 LLM에 연결해 캡션을 생성하는 Vision-Language-Vision Auto-Encoder의 구조와 지식 증류 과정을 정리한다.

Stable Diffusion 3의 Rectified Flow 학습과 MM-DiT 구조를 살펴본다. 텍스트·이미지 token의 정보 교환, noise sampling과 고해상도 이미지 생성 실험을 정리한다.

Diffusion 기반 LLM: 구조, 특성 및 최신 연구 동향 1. Diffusion 기반 언어모델의 구조와 작동 원리 Diffusion 모델의 개념: Diffusion(확산) 모델은 점진적 노이즈 제거 과정을 통해 데이터를 생성하는 방식입니다. 처음에는 완전히 노이즈가 섞인 상태에서 시작하여 여러 단계에 걸쳐 노이즈를 제거함으로써 최종 샘플(텍...

LLaMA와 다른 대표 언어모델들의 차이점 사전학습 목표: BERT는 Masked Language Modeling(입력 단어의 15%를 마스킹한 후 예측)과 Next Sentence Prediction(NSP)를 사용하여 양방향 문맥 이해를 학습한다 . 반면 GPT·LLaMA 계열은 오토리그레시브 방식으로, 주어진 앞선 단어들로부터 다음 단어(...

[논문 리뷰] Visual Representation Alignment for MLLMs Visual Representation Alignment for MLLMs Heeji Yoon, Jaewoo Jung et al [arXiv] [Github] [Project Page] Background MLLMs MLLM은 텍스트와 이...

[논문 리뷰] Comprehensive Information Bottleneck for Unveiling Universal Attribution to Interpret Vision Transformers Comprehensive Information Bottleneck for Unveiling Universal Attribution to Int...

[논문 리뷰] Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction Keyu Tian, Yi ...