[논문 리뷰] Multi-view Pyramid Transformer: Look Coarser to See Broader (2026 CVPR)

https://arxiv.org/abs/2512.07806

Multi-view Pyramid Transformer: Look Coarser to See Broader

---

Related Work

Multi-view transformer 계열의 흐름

• 최근 3D reconstruction은 전통적인 geometry-based pipeline만 쓰기보다, transformer가 여러 view의 image token을 직접 보고 3D 구조를 추론하는 방향
• DUSt3R 이후 multi-view transformer가 중요한 흐름이 되었고
• multi view transformer에 세 가지 계열 在
  • 3D geometry reconstruction
    • multi-view image로부터 camera pose, point map, depth 등을 feed-forward하게 예측
  • large view synthesis models
    • novel view synthesis, 즉 보지 않은 시점의 이미지를 photorealistic하게 생성하는 데 집중
  • large reconstruction models
    • explicit/implicit 3D representation을 사용해 large-scale scene reconstruction과 novel view synthesis를 동시에 수행
• 어쨌든 이 세 방법의 공통점 → multi-view attention 사용
  • multi-view attention은 여러 view 사이의 correspondence를 찾는 데 유리
  • 3D reconstruction에서는 “이 이미지의 이 patch가 다른 view에서는 어디에 대응되는가?”를 알아야 하므로 correspondence reasoning이 중요
  • However, multi view attention의 문제점:
    1. attention cost가 너무 큼
       • 이미지 한 장은 많은 patch token으로
       • view 수가 늘어나면 전체 token 수가 급격히 증가합니다.
       • self-attention은 token 수에 대해 quadratic complexity를 가지므로, 고해상도 이미지 + 많은 view 조합에서 계산량, 메모리 미침
    2. 기존 scalable model들도 한계가 있음
       • Long-LRM
         • Transformer와 bidirectional Mamba를 결합
         • Mamba의 linear-complexity 덕분에 효율성은 개선
         • 하지만 저자들은 Mamba가 self-attention보다 expressive capacity가 제한될 수 있다고 봄
       • iLRM
         • compact scene representation을 사용
         • 모든 input view에 대해 full attention 가능
         • But, view 수가 늘어나면 global attention 자체가 bottleneck이 됨
       • LVT
       • local-view attention을 사용
       • 각 view가 nearby view만 attend함
       • 계산량은 줄지만 global 3D consistency가 간접적으로만 형성됨
       • view 간 neighborhood를 어떻게 정의할지도 어렵고, known camera pose 의존성도 생김
    3. full global attention도 long-context에서 안정적이지 않음
       • full global attention은 이론적으로 모든 view/token 간 interaction이 가능
       • 하지만 view 수가 많아지면 attention이 너무 넓게 퍼짐 → correspondence learning이 불안정해질 수 O (attention dilution 문제)
       • 결과적으로 view 수를 늘려도 성능 향상이 둔화되거나, 오히려 feature alignment가 불안정해질 수 있음

Efficient sequence model 흐름

• 긴 sequence를 처리하기 위한 기존 방법은 보통 두 방향
  • Attention mechanism 자체를 바꾸는 것: sparse attention, local window attention, linear attention
  • Token representation을 줄이는 것 : token compression, token merging, downsampling
• 물론 efficient~ 방법에도 한계 O
  • 기존 hierarchy는 주로 image 내부 spatial domain에만 적용
  • 즉, 이미지 token resolution은 줄일 수 있지만, multi-view setting에서 view dimension까지 계층적으로 처리하지는 못함.
  • ⇒ spatial hierarchy와 view hierarchy를 동시에 설계해야 함

---

Methods

Overview

• MVP: Multi-view Pyramid Transformer
• 핵심 아이디어: Look coarser to see broader
  • 처음에는 coarse하게(frame/high) → 적당히(group/mid) → 넓게(global/low)

Architecture

Input multi-view images
→ camera-aware input encoding
→ 3-stage Dual Attention Hierarchy
→ Pyramidal Feature Aggregation
→ dense prediction head
→ 3D Gaussian Splatting reconstruction

• Input encoding
  • 입력: N개의 multi-view image
    • 각 image에 대해 camera pose 정보를 함께 넣음
    • 이때 camera pose는 9D Plücker ray map으로 encoding됨
  • RGB image와 Plücker ray map을 concat → 12-channel posed-image tensor 만듦
  • 이후 patchify해서 transformer token으로 변환
  • 각 view마다 register token 추가
  ⇒ 모델이 단순히 RGB image patch만 보는 것이 아님. 즉, token 단계부터 multi-view geometry reasoning에 필요한 camera 정보를 제공함으로써 각 patch가 어떤 camera ray에서 온 것인지도 함께 봄
• Dual attention hierarchy

• • 두 개의 hierarchy가 동시에 작동
    • Inter-view hierarchy
      • view 사이 attention 범위를 점점 넓힘 (frame to global, 파란 방향)
    • Intra-view hierarchy
      • image 내부 token resolution을 점점 낮춤 (global to frame, 주황 방향)
• Inter-view Attention Hierarchy: frame → global
  • view 간 correspondence와 global 3D consistency를 효율적으로 학습하는 구조
  • Stage 1: Frame-wise attention
    • 각 frame/view 내부에서만 self-attention을 수행
      • view 간 interaction은 아직 X
    • 각 image의 local spatial feature와 fine geometry cue를 추출
  • Stage 2: Group-wise attention
    • 여러 view를 작은 group으로 나누고
    • 먼저 frame-wise attention → 그 다음 group 내부에서 self-attention
      • 이 단계에서 local multi-view correspondence를 학습 (즉 가까운 view들끼리 정보 교환)
  • Stage 3: Global attention
    • 모든 view를 하나의 group처럼 보고 attention
    • scene 전체의 global context를 통합
    • 최종적으로 coherent한 3D representation을 형성
  ⇒ 이렇게 gradually frame —> global로 가니까 계산량 감소, 동시에 global consistency O
• Intra-view Attention Hierarchy: global → frame
  • image 내부 spatial token을 점점 coarse하게 만듦 → 계산량을 줄이고 receptive field를 키우는 구조
  • How?
    • stage 사이에 convolution layer 두고
    • 이 conv layer가
      • spatial downsampling
      • channel up-projection
      수행함
      • 즉, token 하나가 더 넓은 spatial region을 대표하게 되는 것
    • → 각 stage마다 image token 수가 1/4로 줄어들고 embdding dim. 증가함 (당연하지 conv downsampling 했으니까)
  ⇒ 초기 stage에는 높은 token resolution을 가지고(but view 범위 좁음) fine detail을 학습 —> 후기 stage에는 낮은 token resolution(넓은 view)으로 coarse/global한 구조를 학습
• 그리고 Inter-view와 Intra-view를 합침
  • 즉 view coverage는 점점 넓어지고 + spatial token resolution은 점점 낮아짐
  • 이러면 Pros?
    • 초반에는 token 수가 많기 때문에 global attention이 expensive
    • 그래서 frame-wise/local하게 처리합니다.
    • 후반에는 token 수가 줄어들었기 때문에 더 많은 view를 attend할 수 있음
    ⇒ 결과적으로
    • local detail 유지
    • global consistency 확보
    • computation/memory 절약 可
  • 이때 Pyramidal Feature Aggregation(PFA)로 합치는데
    • 마지막 stage의 coarse feature만 사용하면 fine detail이 부족할 수 있고
    • dense prediction에서는 local detail도 중요하기 때문임
    ⇒ PFA.
    • PFA는 Stage 1, 2, 3의 feature를 모두 모으고
    • coarse feature를 upsample하면서 이전 stage의 finer feature와 fuse
      • residual convolutional fusion block을 사용
      $F=\text{fuse}(\text{up}(\text{fuse}(\text{up}(F^{(3)}+F^{(2)}))+F^{(1)})$
      • F1, 2, 3은 reshaped output feature maps from each stage.
    ⇒ Stage 3의 global context와 Stage 1/2의 fine detail을 함께 사용, dense 3D Gaussian prediction에 필요한 fine-grained representation 복원
• Inter-view hierarchy: frame-wise → group-wise → global local view → broader view Intra-view hierarchy: fine token → coarse token high resolution → low resolution
• Output Decoding
  • PFA로 합쳐진 token을 dense prediction head에 넣음
  • 각 output pixel은 하나의 3D Gaussian primitive를 예측
  • 각 Gaussian은
    • position
    • scale
    • rotation
    • opacity
    • color
    의 속성을 가짐
  ⇒
  • MVP transformer가 multi-view image를 처리하고
  • 그 결과를 3DGS representation으로 변환
  • 이후 3D Gaussian Splatting 방식으로 novel view를 rendering