版本:v0.2,设计讨论稿
本文整理当前讨论的多任务DDAQ结构,作为后续模块划分、参数协议和RTL设计的依据。文中的配置字段和模块名称为设计建议,不表示现有工程已经支持对应功能。
DDAQ采用主卡载板与多张子卡组合的结构。载板通过Aurora接收AI子卡采集数据,也可以接收上位机下发的输出数据,通过物理输出子卡或虚拟子卡处理后完成输出。
随着子卡类型增加,不同数据源的采样率、通道数和处理方式可能不同。系统以Task区分需要独立组织、控制和传输的数据流。同一采集Task内,成员源使用一致的采样时序和降采样规则;不同Task可以具有不同速率。
本版采用以下设计:
本版“共用链路”首先针对采集发送方向。输出方向的解析硬件是否进一步共用,尚未确定,不直接套用采集方向的UDP发包调度方式。
物理AI子卡和虚拟子卡结果均可作为数据源。source_id标识数据源,task_id标识用户定义的任务,两者不要求相同。
采集Task指定成员源、采样率或结果更新率、降采样系数、通道选择、Blob大小、采集模式及网络目的端等参数。相同参数的Task也可以由用户分别建立,不自动合并。
采集方向和输出方向分别管理Task编号。例如采集Task 0与输出Task 0可以同时存在,配置消息及数据协议必须能够区分方向。
Task ID不再等于一条专用采集管线编号。硬件可以设置有限数量的Task配置槽,并保存用户Task ID到内部槽位的映射。支持的Task数量、ID位宽和取值范围根据硬件配置的Task配制槽数量决定。
用户手动划分Task后,配置器仍需要检查配置是否合法。同一物理采集Task的成员必须具备一致的原始采样率、采集起点、采样时序,以及降采样系数和抽取相位。
子卡与载板之间的Aurora数据传输协议具体设计与实现由中能聚控完成。载板接收解包后,统一以64位AXI4-Stream提供子卡数据,每帧对应一个完整子卡采样点。
| 信号 | 本设计中的用途 |
|---|---|
TDATA[63:0] |
携带通道数据;16位通道值按通道编号从小到大,由高位向低位排列 |
TKEEP[7:0] |
标识对应字节是否有效,位0对应TDATA[7:0] |
TVALID/TREADY |
同时为1且到达接口时钟上升沿时,完成当前拍传输 |
TLAST |
标识当前子卡采样点的末拍 |
例如CH0~CH3分别位于TDATA[63:48]、[47:32]、[31:16]、[15:0]。32通道、每通道16位时,一帧共8拍,各拍TKEEP=8'hFF,仅末拍TLAST=1。
对于不足一拍的数据,延续高位优先约定。例如5通道16位数据的末拍只有CH4有效,放在TDATA[63:48],对应TKEEP=8'hC0。无效字节不计入有效数据长度。
子卡输入接口的TLAST表示子卡采样点结束;同一Task下,汇流模块将数据组织成采样点,使用TLAST表示Task采样点结束;UDP组包输出的TLAST表示UDP包结束。不同接口的边界不能原样混用。
Task数据区按成员源编号、源内启用通道编号从小到大排列,不在子卡边界或采样点边界插入补零。共享拼接模块需要提取输入有效字节,完成跨源、跨拍和跨采样点紧密排列。
内部64位接口中的通道高低位排列,与网络上每个数值的字节序是两个独立约定。UDP应用包头、采样值的字节序和序列化方式应在后续协议中分别明确,不能仅根据TDATA高低位推断网络字节序。
用户指定Task ID、任务类型和成员源,配置器负责检查、计算派生参数和下发配置,不再替用户排序分组或重新编号。
下面是采集配置的格式示例;通道掩码的位编号含义等细节仍需在正式配置协议中约定:
acquisition:
tasks:
- task_id: 0
task_type: physical
sample_rate: 2000000
downsample: 10
capture_mode: stream
sample_points_per_blob: 100
sources:
- source_id: 0
channel_mask: "0xffffffff"
- source_id: 1
channel_mask: "0xffffffff"
udp_destination:
ip: "192.168.1.100"
port: 8010
- task_id: 2
task_type: physical
sample_rate: 80000000
downsample: 8
capture_mode: stream
sample_points_per_blob: 1024
sources:
- source_id: 2
channel_mask: "0x00000007"
udp_destination:
ip: "192.168.1.100"
port: 8012
该例的Task ID为0、2,编号不必连续。Task 0最终有效采样率为200 kHz,Task 2为10 MHz。单次模式另行提供总采样点数,并明确其单位为该Task降采样后需要传输的Task采样点数;与子卡原始采样次数的换算需配套处理。
整板配置管理模块
保存完整配置信息
│ │
分发各Task配置 下发子卡配置
↓ ↓
┌──────────┼────────┐ Aurora配置发送
↓ ↓ ↓
Task 0管理 Task 1管理 Task N管理
配置、状态 配置、状态 配置、状态
缓存管理 缓存管理 缓存管理
就绪判断 就绪判断 就绪判断
└──────────┼────────┘
↓
Task调度器
↓
获取选中Task的参数和数据
↓
共用汇流、拼接与组包
↓
输出一个UDP包
参数配置分成两级结构,整版参数配置,各个task的任务管理参数配置。
当配置源发送配置,整板配置管理模块完成配置检查和保存后,把各Task的配置分发给对应任务管理单元。
由于物理子卡工作本身不依赖task划分,物理子卡的相关参数配置,则由整板配置管理模块统一安排,通过Aurora配置发送模块下发,不需要等待Task获得发包机会。
各个task的配置,可以按帧分发,帧中提供配置类型、方向、Task ID、参数长度及参数内容。接收模块接收配置帧后,检查是否为自己所在task的配置帧,是,则应用到自己的配置寄存器,保存相关配置。
配置与生效按以下顺序进行:
物理子卡Aurora接收/虚拟子卡结果
↓
标准子卡采样点数据流
↓
数据分支与Task输入降采样筛选
↓
各Task成员源独立采样点FIFO
↓
各Task下UDP包就绪检查
↓
Task调度器
↓
锁存当前包Task及参数
↓
共用数据读取、汇流与紧密拼接
↓
共用应用包头与UDP组包
↓
UDP发送模块
↓
本包完成后重新调度
每个Task保留独立缓存、配置和计数,共用实际执行数据读取与组包的硬件。一个Task暂时没有数据,不影响其他已就绪Task被调度。
采集启动后,数据经过传输,在发送UDP包前,先在对应子卡下的FIFO里面缓存。之后,task调度器检查成员源缓存。检查条件是满足本Task下一包计划发送的完整UDP包的数量,而不是任意一个缓存中出现数据。
例如如下配置:
acquisition:
tasks:
- task_id: 0
task_type: physical
sample_rate: 2000000
downsample: 1
capture_mode: stream
sample_points_per_blob: 2
sources:
- source_id: 0
channel_mask: "0xffffffff"
- source_id: 1
channel_mask: "0xffffffff"
udp_destination:
ip: "192.168.1.100"
port: 8010
- task_id: 2
task_type: physical
sample_rate: 80000000
downsample: 80
capture_mode: stream
sample_points_per_blob: 310
sources:
- source_id: 2
channel_mask: "0xffffffff"
udp_destination:
ip: "192.168.1.100"
port: 8012
我们假设UDP包最大容量为2000字节。可知,task0的实际采样率为2M,每个UDP包容量为2个采样点。task2的实际采样率为1M,每个UDP包容量经过计算,为31个采样点。按照该配置可知,task0每1us可以完成一整个UDP包数据的缓存;task2每31us可以完成一整个UDP包的缓存。
而task调度器不需要严格思考自己当前到底应该处理哪个task,task调度器只需要检查缓存内数据是否足够,task0的数据足够了,就读task0的数据,task2的数据足够了,就读task2的数据。每次读出数据,调度器获取到对应task的配置,按照配置进行组包并发送。
当前设计使用循环轮询:从上次服务任务之后,向后继续循环检查,选择一个启用、运行中且下一包数据就绪的Task。所有Task均未就绪时等待。
等待/轮询就绪Task
↓
选择Task,锁存本包配置和数据额度
↓
生成应用包头
↓
读取本包采样点并输出数据
↓
最后一拍成功握手
↓
更新该Task运行上下文
↓
从下一Task继续轮询
一旦开始输出当前包,不在包中途切换Task。
所有Task共享链路后的输入总量必须低于链路持续处理能力。64位、125 MHz接口,理想数据带宽为1 GB/s,实际还需考虑应用包头、处理空拍、通道筛选效率等问题。
缓存只能吸收短时突发。需要分别检查各源输入能力、共享汇流能力、UDP发送能力及Task调度服务速率,不能只依据万兆光口标称速率判断。
在完成配置之前,无法知晓各个子卡的状态,各个子卡属于哪个task,因此,需要设计路由模块,实现不同task连接配置指定的相关子卡。
子卡采集并输出缓存数据后,将数据广播发送。各个task接收端,按照对应的task配置,只接收配置的相关子卡数据并组包发送。
虚拟子卡同理。虚拟子卡根据配置信息,知晓自己应当接收哪些子卡的采集数据,之后只接收相关子卡的广播数据。
虚拟子卡包括算法所需的输入组织/解析、预处理和结果采样点整理。其算法实例及输入处理可以独立运行,但结果上传使用第5节的共用发送链路。
物理子卡原始数据
├→ 流盘DMA分支
├→ 采集Task发送缓存
└→ 虚拟子卡输入组织与解析
↓
预处理
↓
标准结果采样点流
↓
结果Task降采样及缓存
↓
独立Task调度
虚拟子卡设计为,每张子卡独享一份task。对虚拟子卡的配置,还需要添加虚拟子卡的采集子卡源、虚拟子卡数据更新率等信息。
输出Task同样由用户显式定义,不再按输出模式、更新频率自动分组编号。多个上位机使用载板统一配置的Task表,不能各自从0开始生成互相冲突的任务编号。
多台上位机UDP包
↓
载板UDP接收与应用包头解析
↓
按Task ID分发完整包
↓
各输出Task独立缓存
↓
本Task解析/虚拟子卡预处理
↓
本Task数据解析与路由
↓
各物理子卡来源选择器及FIFO
↓
Aurora发送、子卡接收
↓
按配置模式更新输出电平
包头中的Task ID属于DDAQ应用协议字段。识别目标后,直到本包结束保持目标不变。缓存若只保存数据区,后续需要的长度、序号等信息应作为配套元数据保留。
不同上位机可以分别向不同Task发送。初版建议一个输出Task同一时刻由一个上位机供数;多发送端共同写入同一Task的顺序合并规则仍待确定。
| 模式 | 行为 | 配置要求 |
|---|---|---|
fixed_rate |
按设定时刻取完整子卡更新点并更新电平;数据不足时保持当前电平并记录缺数状态 | 配置更新频率;同Task成员采用一致更新节拍 |
data_driven |
有完整更新点时,按照设定的最高更新率尽快更新,随后保持到下一更新点 | 不配置固定更新频率;建议每张子卡独立Task以保持更新独立性 |
数据到达节奏更新不能重现上位机原先生成数据的时间间隔。若缓存已有很多点,子卡会按硬件允许最高更新速率连续处理。UDP传输及载板预取不直接作为固定频率模式的模拟更新时间基准,最终节拍在子卡或明确的同步更新控制中执行。
output:
tasks:
- task_id: 1
task_type: direct
output_mode: data_driven
destinations:
- subcard_id: 3
channels: [0, 1]
- task_id: 2
task_type: direct
output_mode: fixed_rate
update_rate: 100000
destinations:
- subcard_id: 2
channels: [0, 1, 2, 3]
- subcard_id: 4
channels: [0, 1]
用户明确填写Task ID和成员。配置器检查同组工作模式、更新频率及同步要求。
虚拟输出Task另外配置算法输入布局及结果输出目的子卡、目的通道。虚拟结果的位宽、数值含义和数量必须与目标子卡适配;不能只配置目标编号而忽略格式转换。
每个输出Task可以包含多张子卡的数据,因此需要先按配置拆分串行流,再发送到各子卡。模块只处理本Task成员、布局和目的地。
例如每通道16位,Task 2包含子卡2的4通道和子卡4的2通道:
| 成员顺序 | 目的子卡 | 通道数 | 一次更新数据长度 |
|---|---|---|---|
| 0 | 2 | 4 | 8字节 |
| 1 | 4 | 2 | 4字节 |
每个Task更新点共12字节,模块循环提取前8字节交给子卡2、后4字节交给子卡4,然后处理下一更新点。输入一拍可能跨越两张子卡或两个更新点,需要暂存未处理数据并重新拼接,不能只按整拍选择目的地。
Task 2缓存
↓
Task 2解析与路由模块
├→ 子卡2更新点流
└→ 子卡4更新点流
每张子卡输出流重新生成自己的更新点边界及末拍有效字节。虚拟Task处理结果整理成相同格式后,使用本Task路由模块发送到配置指定的物理子卡。
同一时刻,一张物理输出子卡只由一个Task驱动,包括普通Task和虚拟Task。配置管理模块检查目标冲突,并为每张子卡保存来源Task及对应逻辑输出端口。
各Task路由输出
↓
子卡来源选择器(配置期间确定来源)
↓
本子卡完整更新点FIFO
↓
Aurora发送
来源选择器在工作期间保持连接,不需要运行时竞争仲裁。多个Task输出信号不能直接并接到同一子卡接口。
上位机可能突发下发大量数据,输出Task缓存可采用DDR配合片上FIFO:DDR承担容量,片上FIFO用于收发和突发读写衔接。两级缓存应保持统一的逻辑读写顺序,不能在DDR仍有较早数据时让新数据从片上FIFO旁路先输出。容量、突发管理、满缓存反馈及上位机流控需要后续细化;内部TREADY不能直接阻止远端继续发送UDP。
整板启动与Task运行状态分别保存。配置有效后,Task进入待启动状态;同步启动的Task共享触发时刻,但允许按各自总点数或停止条件分别结束。
共享发送链路只调度运行中且数据就绪的Task。一个Task结束后,其他Task继续运行。结束状态不能仅根据FIFO暂时为空判断。
正常配置在停止状态下修改。重新配置时,应明确旧缓存、未完成包、计数及降采样相位的处理,避免旧数据使用新布局发布。采集结束后是否保留配置并直接等待下一次触发,需要在控制状态机中确定。
缓存溢出、成员缺点、输入坏帧、输出缺数及未完成包均应有状态记录。具体恢复、丢弃和重新同步机制仍需落实,不应让异常帧的残余数据改变后续通道解析位置。
本文章使用limfx的vscode插件快速发布