最近，哈工大（深圳）信息学部计算机科学与技术学院-鹏城国家实验室联培博士生常亦谦的论文《BulletTime4D: Towards High Spatio-Temporal Resolution Dynamic Scene Rendering via Spike-Guided Stereo Vision》发表于会议The 40th Annual AAAI Conference on Artificial Intelligence（AAAI 2026）。
论文信息：
论文题目：BulletTime4D: Towards High Spatio-Temporal Resolution Dynamic Scene Rendering via Spike-Guided Stereo Vision
论文作者：Yiqian Chang, Haoran Xu, Qinghong Ye, Jianing Li, Xuan Wang, Wei Zhang, Peixi Peng
作者单位：哈尔滨工业大学（深圳）、北京大学深圳研究生院、鹏城国家实验室、中山大学（深圳）
论文简介：
本文提出了一种高时空分辨率的动态场景重建框架 BulletTime4D，这是首次尝试将脉冲相机与双目 RGB 相机融合用于动态场景重建。具体而言，我们首先搭建了一套混合成像原型系统，并构建了一个真实世界的动态场景重建数据集。随后，BulletTime4D 提出了一种多时间尺度的形变表示，将低频时空特征与高频帧间运动特征相结合。进一步地，我们设计了一种渲染网络，能够将四维高斯（4D Gaussians）投影到脉冲域中，实现脉冲数据渲染，并引入跨域监督策略，以获得高帧率的纹理与颜色渲染结果。实验表明，BulletTime4D 在模拟数据集和真实数据集上均显著优于当前最新方法。此外，BulletTime4D 仅依托 30 FPS 的双目 RGB 相机与单个脉冲相机，即可合成帧率达 300 FPS 的新视角渲染结果。
研究动机：
高时空分辨率的新视角场景渲染对于体育分析和科学实验等应用具有重要意义。然而，现有的动态场景重建方法通常依赖于帧率受限的传统 RGB 相机，难以实现真正高时空分辨率的重建与渲染。为解决上述问题，本文提出 BulletTime4D——一种高时空分辨率的动态场景渲染框架，这是首次尝试将脉冲相机与双目 RGB 相机融合用于动态场景重建。本工作聚焦于克服以下几个关键挑战：
(i) 成像系统与数据集缺乏：如何搭建一套混合成像原型，使其能够同步采集来自脉冲相机和双目 RGB 相机的多路视觉数据？
(ii) 有效的模型设计：如何在高时空分辨率下对三维动态场景进行高效而准确的建模？
(iii) 合理的监督机制：在缺乏 RGB 观测的中间时间戳上，如何对新视角渲染施加有效约束？
主要贡献：
l 我们提出了 BulletTime4D，一种新型高时空分辨率动态场景重建框架，首次将脉冲相机与双目 RGB 相机融合，用于合成任意视角的图像。
l 我们提出了一种有效的多时间尺度动态场景重建表示方式，充分发挥混合相机的互补优势，从而实现高时空分辨率的场景渲染。
l 我们设计了一个动态脉冲渲染模块，将四维高斯（4D Gaussians）投影到脉冲域中，并结合跨域监督策略，以实现高时间分辨率下的纹理与颜色合成。
l 我们基于所构建的混合相机系统采集并构建了一个高时空分辨率动态场景重建数据集，并相信这一标准化资源将为该类复杂问题的后续研究提供新的契机。
方法简述：
我们提出的 BulletTime4D 框架在真实世界的 spike 流、RGB帧与动态场景渲染图像之间建立了关联。BulletTime4D 首先提出一种多时间尺度形变表示，将低频时空特征与高频帧间运动特征相结合；随后设计动态脉冲渲染模块，将四维高斯投影到脉冲域以实现脉冲渲染，并配合跨域监督策略，从而实现高帧率的纹理与颜色渲染。
基于脉冲启发立体相机的高时空分辨率动态三维重建
l 脉冲-光学立体视觉相机：为同时获取高分辨率立体视觉信息和高帧率的纹理变化细节，我们精心设计了一套实验采集系统。如图 2 所示，我们构建了一套脉冲引导的立体采集装置，由一台仿生脉冲相机和两台光学 RGB 相机组成。具体而言，我们的混合相机原型通过分光棱镜将入射光分离，并分别引导至脉冲相机（20,000 Hz、400×250 分辨率）和光学 RGB 相机（30 FPS、1080×720 分辨率），从而在空间上保持一致性。该混合相机系统可以同时获取连续的脉冲数据流和离散的 RGB 图像序列，确保两种模态数据在时空上的精确同步。
脉冲-光学立体视觉相机
l 多尺度形变表征：为了解决“如何在高时空分辨率下有效建模三维动态场景？“这个问题，我们从两个时间尺度对场景运动进行建模：粗尺度与细尺度。粗尺度形变（Coarse-scale Deformation）：通过基于 RGB 关键帧训练动态高斯场来实现，主要用于捕获物体或场景中相对稳定或变化缓慢的运动成分。细尺度形变（Fine-scale Deformation）：侧重于高速运动细节和剧烈变化。该部分利用脉冲数据，在相邻两个关键帧时间之间对高斯的空间位置及其属性进行细化，从而生成补充性的形变信息。通过联合训练，所提出的多尺度形变表示既能够在粗时间尺度上刻画整体运动轨迹，又能在细时间尺度上补偿高速运动导致的模糊与畸变，从而实现高时空分辨率的渲染。
l 动态脉冲渲染模块：为了解决”在缺乏低频 RGB 帧观测的中间时间戳上，如何对新视角渲染进行有效约束？”这个问题，我们在相邻的两帧低帧率 RGB 图像之间利用渲染结果作为监督，从而弥补中间帧渲染阶段缺乏 RGB 真值的问题。然而，据我们所知，目前几乎尚无能够将动态高斯直接渲染为脉冲流的端到端方法。为此，我们提出了一种动态脉冲渲染模块，将可形变高斯投影到脉冲域中，并直接生成脉冲信息。
实验结果：
实验表明，BulletTime4D 在模拟数据集和真实数据集上均显著优于当前最新方法。我们主要与若干 SOTA 方法进行对比。相比之下，我们的方法同时呈现出更优的轮廓与更清晰的细节。
高时空分辨率运动场景的重建效果
总结:
本文提出了 BulletTime4D，一种高时空分辨率的动态场景重建框架，这是首个将脉冲相机与双目 RGB 相机融合用于动态场景重建的工作。我们构建了一套混合相机原型系统，并提出了一种多时间尺度形变表示，将低频时空特征与高频帧间运动特征相结合，同时设计了一个将四维高斯（4D Gaussians）投影到脉冲域的脉冲渲染模块。实验结果表明，BulletTime4D 的性能优于当前最新方法，并且在仅使用工作于 30 FPS 的双目 RGB 相机和单个脉冲相机的条件下，即可合成帧率高达 300 FPS 的新视角渲染结果。我们相信，这一混合相机原型及框架将为高时空分辨率动态场景重建等相关研究提供新的契机与支撑。。
该研究工作获得了鹏城实验室重点项目、北京大学深圳研究生院和广东省安全智能新技术重点实验室的支持。
