第682章 提示和设想(3 / 4)

他起身走到白板前面,没有回头,背对着所有人,手中的黑色马克笔已经毫不犹豫地落在了白板上。

笔尖划过光滑的板面,发出沙沙的轻响。

陈默手腕沉稳,线条流畅而肯定,没有丝毫犹豫。

一个简洁却完全不同于传统感知架构的图形框架迅速在他笔下成型。

“把摄像头采集的原始视频流(rawvideo),”陈默一边画,一边清晰地说道,声音不大,却字字如锤,敲在每个人的神经上,“直接输入到一个统一的、基于transformer架构的编码器(encoder)。”

他在白板左侧画了几个代表摄像头的抽象符号,用箭头指向一个代表神经网络的大方框,在方框里重重写下了“transformerencoder”。

“在这个编码器内部,通过强大的注意力机制(attentionmechanism),让模型自己学会在像素级别上,跨时间、跨空间、跨摄像头视角,去建立关联,去理解三维空间的结构!

让ai自己‘看’懂这个世界的几何关系,而不是依赖我们人工预设的规则去分割目标、匹配特征。”

随着笔尖持续移动,在白板中央画出一个代表三维空间特征(3dfeatures)的立体区域,并标注了“bev(bird's-eye-view)representation”。

“在模型内部,自然生成统一、稠密的鸟瞰图(bev)空间表征。

在这个统一的bev空间里,激光雷达点云也好,毫米波雷达目标也好,甚至未来的v2x车路协同信号也好,都只是作为辅助的‘特征’(feature)。

通过跨模态注意力机制(cross-modalattention)自然地融入、补充、增强这个由视觉主导构建的三维空间理解。”

他在bev空间周围画上代表激光雷达、毫米波雷达、v2x的符号,用虚线箭头指向中央的bev空间,并在连接处标注了“attention”。

举报本章错误( 无需登录 )