[Paper Review] QK Product Steering
VLM의 query와 key가 만드는 attention 연산자에서 상위 singular mode를 줄여 객체 환각을 완화하는 방법과, 그 효과가 성립하는 조건을 정리한다.
VLM의 query와 key가 만드는 attention 연산자에서 상위 singular mode를 줄여 객체 환각을 완화하는 방법과, 그 효과가 성립하는 조건을 정리한다.
LLaVA와 InternVL이 객체를 식별하고 bounding box를 만드는 과정을 토큰 교란, 위치 probe, attention head 개입으로 살펴본다.
탐색 시간과 기력을 따로 시험하고, 실전 기보에서 점수와 후보 누락 문제를 찾아 같은 가중치의 이전 엔진과 192판을 비교합니다.
기보의 승패와 행동 표현을 바로잡고, 작은 신경망을 학습해 Expert와 Sedol의 탐색에 결합한 과정을 정리합니다.
UniCompress가 local·global image token을 압축하고 복원해 이미지 이해와 생성에 함께 사용하는 구조, 학습 과정과 압축률에 따른 실험을 정리한다.
통합 멀티모달 모델에서 이미지 이해와 생성 사이의 능력 전달을 살펴본다. 시각 표현과 transformer의 공유 구조, counting·공간 관계·문자 인식 실험과 학습 전략을 정리한다.
앱과 실험의 규칙 엔진을 통일하고, 즉시 패배를 먼저 걸러 낸 뒤 반복 심화와 마지막 완료 결과를 통해 탐색 시간을 관리한 과정입니다.
텍스트 embedding으로 학습한 diffusion prior를 이용해 CLIP의 이미지·텍스트 modality gap을 줄이는 Diffusion Bridge의 학습과 zero-shot 이미지 캡셔닝 과정을 정리한다.
동결된 diffusion decoder로 이미지를 재구성하며 시각 표현을 학습하고, 이를 LLM에 연결해 캡션을 생성하는 Vision-Language-Vision Auto-Encoder의 구조와 지식 증류 과정을 정리한다.
Stable Diffusion 3의 Rectified Flow 학습과 MM-DiT 구조를 살펴본다. 텍스트·이미지 token의 정보 교환, noise sampling과 고해상도 이미지 생성 실험을 정리한다.