长期从事车联网和智能网联汽车相关的技术研发和应用示范工程建设。专注于车路云一体化、C-V2X协议栈、车联网应用场景、智能网联云控平台、全息感知道路、车路协同感知、本地动态地图的关键技术研究与开发。承担了多项横纵向课题，并发表了多项论文、专利、专著和标准。主要的成果如下：

• 基于Neural Rendering (神经立体渲染)的、专用于远距离、超远距离的小目标探测、几何推理的高精度图像感知系统

路侧摄像头可以提供大量丰富的交通场景信息，其中包括交通参与者的信息：行人、汽车、卡车等和交通参与者的几何形状、地理位置、定位信息。图像感知算法可以通过利用DNN （Deep Neural Network）方法近似三维物体到二维图像的渲染过程，从而通过交通参与者在二维图像画面中的几何位置、位姿，以及精准标定过的传感器参数，计算得到交通参与者的精确定位信息。

图 基于神经渲染的Ray Marching算法，通过神经元网络近似二维图像到三维交通场景的渲染过程。

拟采取的深度神经元网络架构如下图所示，其中图像原始数据以时间序列的格式输入给迭代神经元网络系统，其中像素原始数据被深度卷积神经元处理并进行图像编码（encoding）。图像编码过后的张量（tensor）被基于LSTM的Ray Marching算子进行迭代计算，计算图像几何形状和像素点的距离、深度信息。该方法可用于对远距离的小目标进行探测与定位。

• 基于优化算法的路侧传感器参数自动化批量求解

交通摄像头以及其相关传感器，例如毫米波雷达（所谓“雷视”相机）的参数描述体系对感知算法的定位准确度有直接影响。基于优化计算的传感器参数求解算法可以通过比较感知转化二维图像到三维空间地理信息之后的结果和高精度标准参考位置坐标（RTK GPS测量的位置信息）进行比较，计算误差函数作为优化目标，通过计算目标函数的偏微分方程，进行优化迭代、计算传感器的参数。该方法可用于批量自动化标定路侧传感器的参数。

• 基于BEV的多模态融合感知定位

将相机PV数据与毫米波雷达BEV底层数据RAMAP进行提取，通过不同视图间的转换矩阵，利用深度估计的关联算法实现异质数据的高精度关联。并通过融合结果对雷达感知模型训练进行监督，为雷达与相机的感知融合提供数据真值参照。该方法对夜间暗光场景、两行人交错、以及目标大部分已离开相机视野情况下能够增强探测效果，如下图所示。

• 基于深度学习的端到端的低时延高效视频编解码传输
  

端到端神经网络视频编码（End-to-End Neural Video Coding，E2E-NVC），简称为“端到端系统”，它充分利用深度神经网络以端到端全局优化的学习方式进行视频压缩，从而避免了传统编码方案中根据先验知识设计固定的编码方式导致的性能受限问题。通过模型结构优化、网络剪枝和权值量化实现模型轻量化，采用ROI策略可调节码率，基于VMAF适应不同的网络条件。与H.264/H.265相比，不仅压缩率高，而且时延低，适合于5G远程遥控驾驶等场景。

• 解析CAD数据并转成GIS数据，同时映射动态交通要素，构建动态电子地图LDM

通过对CAD图纸的解析，实现对道路交通网络的数字化描述，通过GIS符号库渲染后转成可用OpenDRIVE打开的XODR的文件，并进一步通过映射车辆、行人等动态交通要素，构建矢量动态电子地图LDM，并可完成动态的更新与发布。