SD-VLM: Spatial Measuring and Understanding with Depth-Encoded Vision-Language Models

Thank you for your constructive reviews and finding our work interesting. We have added further explanations and statistics to address your concern regarding the LLM/VLM usages and our dataset.

Q1: The definition of the $\mathbf{K}$

Yes, $\mathbf{K}$ is the camera intrinsics. Thanks for pointing this out. We will add it to the main paper in the revised version.

Q2: When using LLMs or VLMs, do the authors only prompt once or several times and pick the best answers?

We utilize different LLMs or VLMs in some parts of data generation pipeline. The main purpose of using LLMs or VLMs is to enrich the text including the detailed object names and chain of thought. The numerical values are directly extracted from 3D scene data so that the accuracy of numerical annotaions can be guaranteed. The final samples are generated by pre-defined templates.

For generating MSMU‑CoT samples, considering the large number of samples, we are unable to manually pick the outputs of large models. Instead, to ensure the data quality,  we resort to another LLM (DeepSeek V3) to verify the generated reasoning path. We call it "LLM collaboration".

In terms of GPT-4 evaluation, we prompt it once for each question to make a fair comparison.

Q3: The definition of occluded objects during filtering images

We calculate the visible size of the mask that are projected to the 2D plane. To be specific, the projected area size of the object can be denoted as $V\_o$and the area size that is visualized in the image is denoted as $V\_{visible}$. We compute the ratio of $V\_{visible} / V\_o$. If the ratio is below the threshold,  the object will be excluded from the image pair.

Q4: How can the authors make the Qwen2.5-VL label the object correctly?

We use Qwen2.5‑VL since it is an open-sourced and superior VLM model at the time we constructed the dataset. To make Qwen2.5‑VL label the object correctly, we provide not only the object label in the prompt, but also the cropped object image patch. The attributes (color, texture, position, etc.) of objects are different. The Qwen2.5‑VL is capable to distinguish them and enrich the details of object descriptions. So we did not try other VLMs.

Q4: More statistics of MSMU dataset

Thank you for your suggestions. We have already provided some statistics about our dataset in the Figure 2 of main paper, and Figure 1 of supplementary.  Here are more statistics as follows. For each QA pair, there are about 1.8 objects. As shown in the table below, we can observe that, among all objects: the average width=0.51m with std=0.44m; average height=0.88m with std=0.63m; average distance=1.73m with std=1.18m. 

We thank you for your constructive reviews. We give more explanations on our insights and comparisons with previous methods to address your concerns as follows.

Q1: Insights of facilitating the spatial capability of VLMs

Our work provides novel insights into the spatial ability of VLMs from the viewpoint of 3D reconstruction. We assume that the spatial reasoning capability of VLMs is based on its understanding of the 3D spatial structure of an image. As discussed in Section 3 of the main paper, we review the procedure recovering 3D structure from an image. The precise physical measurements and depth are both necessary to reconstruct 3D geometry. 

We first construct the dataset with precise physical numerical annotations. However, merely having high‑quality data is not enough, as z‑axis depth information is essential for constructing a comprehensive 3D scene. Then, we introduce Depth Positional Encoding (DPE) to incorporate depth information into image features. This information allows the model to implicitly learn 3D spatial concepts.  As shown in the following table, our model without depth, merely trained on MSMU dataset, falls behind our model equipped with DPE, even behind GPT-4o on Q-Spatial++.

Furthermore, we explore different ways of integrating depth and finally propose DPE, which can fully unleash the potential of numerical spatial data. Detailed analysis and insights can be referred to Q1 in response to Reviewer 1Nia.

To further explain the advantage of DPE, we provide more empirical results on different datasets in the following table. Results on three benchmarks show that DPE is a more effective method to unleash the potential of 3D spatial awareness.

Q2: Better positioning of the architecture wrt other models

SpatialVLM inherits the structure of PaLM-E [1] without architecture modification or depth integration. SpatialRGPT inherits the VILA [2]  with independent image/depth linear connectors. Besides, SpatialRGPT uses Region‑feature Extractor (from RegionGPT [3]) to extract features in given bboxes. SpatialBot directly inherits traditional VLM architecture and trains the model to recognize depth values. 

Our model uses LLaVA as our backbone. We further integrate depth via a simple yet effective method, DPE, which is also mentioned by reviewer 1Nia. Figure 4 of the main paper illustrates the differences between depth integration methods. DPE is free of introducing extra modules of VLMs like SpatialRGPT or employing a specialized depth api like SpatialBot, and gets better spatial performances at a small cost.

Q3: More comparisons with previous spatial information generating methods

Compared with previous spatial information generating methods, our data source (ScanNet, ScanNet++) is from reconstructed 3D meshes with physical sizes and manually annotated semantic labels. In ScanNet++, each scene is captured with a high‑end laser scanner at sub‑millimeter resolution, with an average distance of 0.9mm between points in a scan.  Therefore, the numerical measurements to construct the 3D scene graph in our dataset are from high-fidelity 3D geometry. 

Previous detector/segmentation-based pipelines may encounter errors in two aspects:

(1) Recognition errors caused by segmentation/detection models SpatialRGPT uses GroundingDINO [4] to localize objects. The zero‑shot performance of GroundingDINO is only 46.7 AP. SpatialVLM uses ShapeMask[5] whose instance segmentation accuracy is only 40.0 AP. Although these two detectors are currently superior deep learning models, noisy masks will lead to inaccurate object shapes (occluded or including background). Furthermore, the object sizes (length/width/height/) will be noisy.

(2) Noise from camera calibration and depth estimation models Compared to the millimeter‑level errors of laser scanner, current powerful monocular depth estimation models struggle to achieve centimeter‑level accuracy. SpatialVLM uses ZeoDepth [6] to get the depth map. It's zero‑shot transfer error is at least 5%. Camera calibration models also introduce noise. These noise will lead to inaccurate reconstruction from an image to 3D geometry.

The noise from various deep learning models could be accumulated and influence the precision of numerical annotations if they are combined to reconstruct the 3D scene graph.

Q4: Definitions of MSMU tasks

We have given the task categories and definitions in Section 4.1 of the main paper and examples of different tasks in Figure 1 of the main paper. The template details used to generate samples were provided in the Section B.3 in the supplementary.

Q5: The insight behind grounding performance improvement

As mentioned in Q1, our methods enable the VLM to implicitly understand the corresponding 3D scene of an image. VLMs can better understand the volume occupation and relative distribution of objects in the space. Hence, VLMs can distinguish an object and the background clearly in an image, so that the grounding performance is improved.

References

$1$  Driess et al. Palm-e: An embodied multimodal language model. ICML, 2023.

$2$  Lin et al. VILA: On Pre-training for Visual Language Models. CVPR 2024.

$3$  Guo et al. RegionGPT: Towards Region Understanding Vision Language Model. CVPR 2024.

$4$  Liu et al. Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection. ECCV 2024.

$5$  Kuo et al. ShapeMask: Learning to Segment Novel Objects by Refining Shape Priors. ICCV 2019.

$6$  Bhat et al. ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth.

We sincerely appreciate your insightful feedback. We’re pleased to hear that you found our work well‑motivated and Depth Positional Encoding (DPE) simple yet very effective. We provide more analysis to explain the superiority of DPE.

Q1: The superiority of DPE

Theoretically, depth positional embeddings are injected into the query–key score of each attention head, so every image token pair (i,j) receives a distance-aware bias. Specifically, self-attention computes relevance via the dot-product of query ($\mathbf Q$) and key ($\mathbf K$). If depth position encodings are fused additively: 

$\mathbf Q=(\mathbf E^{image}+\mathbf E^{depth})\ \cdot \mathbf W\_{Q},\qquad \mathbf K=(\mathbf E^{image}+\mathbf E^{depth})\ \cdot \mathbf W\_{K},$

the dot‑product $QK^T$ naturally decomposes into image‑image, image‑depth, and depth‑depth interaction terms. The model can directly learn the relative importance on depth of each image token.

In contrast, existing depth integration methods can all be categorized as token concatenation. Putting “depth” as a text prompt or a side token only changes the context embeddings in the sequence. This introduces an unavoidable burden that "depth" tokens have to attend to all other "image" or "text" tokens, disturbing the relation between an image patch with its corresponding depth information. Therefore, the problem of Redundancy of Concatenation is inevitable.

Empirically, more comparative results in SpatialRGPT‑Bench and Q‑Spatial++ among different depth integration methods are shown below. Our DPE demonstrates a consistent advantage over other methods.

Q2: Open-source dataset and code

As stated in the Abstract, both the dataset and the source code will be released publicly in the future.

We appreciate your insightful feedbacks. We’re glad to hear that you found our work valuable and insightful. Further explanations and additional experimental results are added to address your concerns.

Q1: Robustness to depth estimation noise

We take more ablation studies on the depth estimation noise on MSMU-Bench. To be specific, we inject zero‑mean Gaussian noise with standard deviations $\delta \in$ {0.1, 0.3, 0.5, 0.7} into the normalized estimated depth maps. As δ increases, the downstream metrics naturally degrade, yet the overall performance remains competitive. The results demonstrate that our DPE is robust to depth perturbations. 

Q2: Using other depth estimators

We conduct an additional ablation study on the depth estimation backbone by replacing DepthAnything with another powerful depth estimator, UniDepth [1]. As summarized in the table below, our model maintains comparable and competitive performance across various spatial benchmarks. This robustness indicates that it has learned generalizable depth priors rather than overfitting to any specific depth-estimation architecture.

Q3: Performance in out-of-domain scenarios

In terms of the domain shift of  out‑of‑domain scenarios,  we have conducted evaluation on SpatialRGPT‑Bench which covers a variety of scene data, including nuScenes ( outdoor urban scenes ), KITTI ( outdoor urban scenes ), and Hypersim ( synthetic scenes ). We have achieved the best performance on this benchmark, as shown in Table 2 of the main paper, revealing the generalization ability of our proposed SD-VLM.

Q4: Results on other spatial or general VQA benchmarks

We conduct experiments on other tasks, including Whatsup, TextVQA, and GQA. Related results are shown in the following table. Our variants perform similarly to the baselines on these benchmarks. It means that the spatial capabilities of VLMs can be enhanced without compromising general VQA performance.

Q5: DPE-sincos vs DPE-learnable on wider benchmarks

Thank you for your insightful suggestions. To further validate the generalization ability of depth‑encoding strategies, we expanded our ablation to compare sincos and learnable variants.  The table shows that sincos consistently generalizes better. We attribute this to two factors:

(1) learnable embeddings can overfit the specific domain of the training data, limiting robustness when test distributions shift;

(2) sincos encoding is theoretically fixed and frequency‑based, providing a stable, domain‑agnostic prior that transfers reliably to unseen scenes.

References

[1] Piccinelli et al., UniDepth: Universal Monocular Metric Depth Estimation. CVPR 2024.

Thanks for your suggestion. We assume it is because our model trained on MSMU is likely shifted a little toward spatial related domain. For a fair comparison with the baseline LLaVA-v1.5, we conduct a contrast experiment - integrating LLaVA's general training data (LLaVA-v1.5-mix665k) into our comprehensive training suite. 

The results in the table show that the model's overall proficiency on general benchmarks closely mirrors that of the original model. 

• The drop in TextVQA still exists but is very small, which can be attributed to the domain gap, as TextVQA is an OCR dataset, centered around detailed text recognition. 

• The performance on GQA even surpasses the original backbone. This improvement is likely due to the fact that images in GQA are from daily scenarios, and questions rely to some extent on spatial abilities, which can be enhanced by our MSMU and DPE, e.g., we provide two samples from GQA in the table below.

This suggests that incorporating a broader range of data during training can more effectively sustain the model's foundational skills.