多任务驱动控制的DDAQ结构设计 v0.2

版本:v0.2,设计讨论稿

本文整理当前讨论的多任务DDAQ结构,作为后续模块划分、参数协议和RTL设计的依据。文中的配置字段和模块名称为设计建议,不表示现有工程已经支持对应功能。

1. 设计目标与本版调整

DDAQ采用主卡载板与多张子卡组合的结构。载板通过Aurora接收AI子卡采集数据,也可以接收上位机下发的输出数据,通过物理输出子卡或虚拟子卡处理后完成输出。

随着子卡类型增加,不同数据源的采样率、通道数和处理方式可能不同。系统以Task区分需要独立组织、控制和传输的数据流。同一采集Task内,成员源使用一致的采样时序和降采样规则;不同Task可以具有不同速率。

本版采用以下设计:

  1. 用户直接在配置文件中定义Task、Task ID及成员,不再根据采样率排序并自动分配Task。
  2. 采集方向各Task独立缓存和保存运行状态,共用一套数据读取、汇流、紧密拼接及UDP组包链路。
  3. 调度器根据各Task是否具备下一包所需数据,以一个完整UDP包为单位选择任务。
  4. 虚拟子卡保留独立的预处理功能,其结果作为数据源参加采集发送调度,无需单独实例化UDP组包模块。
  5. 输出方向保留按Task接收、缓存、解析和路由的结构;同一时刻,一张物理输出子卡只由一个Task驱动。
  6. 配置管理模块集中保存整板配置,向各处理模块下发配置,并为共享处理链路提供各Task的配置和运行上下文。

本版“共用链路”首先针对采集发送方向。输出方向的解析硬件是否进一步共用,尚未确定,不直接套用采集方向的UDP发包调度方式。

2. 数据源与Task

物理AI子卡和虚拟子卡结果均可作为数据源。source_id标识数据源,task_id标识用户定义的任务,两者不要求相同。

采集Task指定成员源、采样率或结果更新率、降采样系数、通道选择、Blob大小、采集模式及网络目的端等参数。相同参数的Task也可以由用户分别建立,不自动合并。

采集方向和输出方向分别管理Task编号。例如采集Task 0与输出Task 0可以同时存在,配置消息及数据协议必须能够区分方向。

Task ID不再等于一条专用采集管线编号。硬件可以设置有限数量的Task配置槽,并保存用户Task ID到内部槽位的映射。支持的Task数量、ID位宽和取值范围根据硬件配置的Task配制槽数量决定。

用户手动划分Task后,配置器仍需要检查配置是否合法。同一物理采集Task的成员必须具备一致的原始采样率、采集起点、采样时序,以及降采样系数和抽取相位。

3. 模块间数据接口

3.1 标准子卡数据流

子卡与载板之间的Aurora数据传输协议具体设计与实现由中能聚控完成。载板接收解包后,统一以64位AXI4-Stream提供子卡数据,每帧对应一个完整子卡采样点。

信号 本设计中的用途
TDATA[63:0] 携带通道数据;16位通道值按通道编号从小到大,由高位向低位排列
TKEEP[7:0] 标识对应字节是否有效,位0对应TDATA[7:0]
TVALID/TREADY 同时为1且到达接口时钟上升沿时,完成当前拍传输
TLAST 标识当前子卡采样点的末拍

例如CH0~CH3分别位于TDATA[63:48]、[47:32]、[31:16]、[15:0]。32通道、每通道16位时,一帧共8拍,各拍TKEEP=8'hFF,仅末拍TLAST=1。

对于不足一拍的数据,延续高位优先约定。例如5通道16位数据的末拍只有CH4有效,放在TDATA[63:48],对应TKEEP=8'hC0。无效字节不计入有效数据长度。

3.2 数据边界与字节顺序

子卡输入接口的TLAST表示子卡采样点结束;同一Task下,汇流模块将数据组织成采样点,使用TLAST表示Task采样点结束;UDP组包输出的TLAST表示UDP包结束。不同接口的边界不能原样混用。

Task数据区按成员源编号、源内启用通道编号从小到大排列,不在子卡边界或采样点边界插入补零。共享拼接模块需要提取输入有效字节,完成跨源、跨拍和跨采样点紧密排列。

内部64位接口中的通道高低位排列,与网络上每个数值的字节序是两个独立约定。UDP应用包头、采样值的字节序和序列化方式应在后续协议中分别明确,不能仅根据TDATA高低位推断网络字节序。

4. 用户Task配置与配置管理

4.1 用户直接配置Task

用户指定Task ID、任务类型和成员源,配置器负责检查、计算派生参数和下发配置,不再替用户排序分组或重新编号。

下面是采集配置的格式示例;通道掩码的位编号含义等细节仍需在正式配置协议中约定:

acquisition:
  tasks:
    - task_id: 0
      task_type: physical
      sample_rate: 2000000
      downsample: 10
      capture_mode: stream
      sample_points_per_blob: 100
      sources:
        - source_id: 0
          channel_mask: "0xffffffff"
        - source_id: 1
          channel_mask: "0xffffffff"
      udp_destination:
        ip: "192.168.1.100"
        port: 8010

    - task_id: 2
      task_type: physical
      sample_rate: 80000000
      downsample: 8
      capture_mode: stream
      sample_points_per_blob: 1024
      sources:
        - source_id: 2
          channel_mask: "0x00000007"
      udp_destination:
        ip: "192.168.1.100"
        port: 8012

该例的Task ID为0、2,编号不必连续。Task 0最终有效采样率为200 kHz,Task 2为10 MHz。单次模式另行提供总采样点数,并明确其单位为该Task降采样后需要传输的Task采样点数;与子卡原始采样次数的换算需配套处理。

4.2 配置管理与生效

                整板配置管理模块
                 保存完整配置信息
                  │            │
          分发各Task配置      下发子卡配置
                  ↓            ↓
       ┌──────────┼────────┐   Aurora配置发送
       ↓          ↓        ↓
   Task 0管理  Task 1管理  Task N管理
   配置、状态   配置、状态  配置、状态
   缓存管理     缓存管理    缓存管理
   就绪判断     就绪判断    就绪判断
       └──────────┼────────┘
                  ↓
               Task调度器
                  ↓
       获取选中Task的参数和数据
                  ↓
          共用汇流、拼接与组包
                  ↓
              输出一个UDP包

参数配置分成两级结构,整版参数配置,各个task的任务管理参数配置。

  1. 整板配置管理模块,完整保存本轮整板配置,包括各Task参数、物理子卡参数、虚拟子卡参数及数据连接关系。
  2. 各个task的任务管理参数配置,只保存本轮配置中,自己所在task的相关参数。

当配置源发送配置,整板配置管理模块完成配置检查和保存后,把各Task的配置分发给对应任务管理单元。

由于物理子卡工作本身不依赖task划分,物理子卡的相关参数配置,则由整板配置管理模块统一安排,通过Aurora配置发送模块下发,不需要等待Task获得发包机会。

各个task的配置,可以按帧分发,帧中提供配置类型、方向、Task ID、参数长度及参数内容。接收模块接收配置帧后,检查是否为自己所在task的配置帧,是,则应用到自己的配置寄存器,保存相关配置。

配置与生效按以下顺序进行:

  1. 在IDLE状态下接收新配置,未完成配置,以及正在配置的期间,不接受采集启动。
  2. 整板配置管理模块检查配置是否合法。同一方向内Task ID不得重复,还需检查子卡能力、同步条件、有效通道数、降采样系数、包容量、输出目标冲突及Task槽位数量等。
  3. 检查通过后,由整板配置管理模块完整保存本轮配置,再分别下发各Task及子卡相关参数。本轮未启用的Task和连接关系也应明确禁用,避免沿用上一轮状态。
  4. 各Task管理单元接收配置,完成缓存管理、分包需求等参数的准备;子卡配置路径按约定的完成条件反馈状态。
  5. 全部相关配置完成后,整板进入配置就绪状态,允许接收启动信号。发送完配置帧不等于配置已经生效;配置出错或尚未完成时不允许启动。

5. 采集流:独立缓存、共享组包

5.1 整体结构

物理子卡Aurora接收/虚拟子卡结果
                   ↓
           标准子卡采样点数据流
                   ↓
       数据分支与Task输入降采样筛选
                   ↓
        各Task成员源独立采样点FIFO
                   ↓
            各Task下UDP包就绪检查
                   ↓
               Task调度器
                   ↓
          锁存当前包Task及参数
                   ↓
       共用数据读取、汇流与紧密拼接
                   ↓
           共用应用包头与UDP组包
                   ↓
               UDP发送模块
                   ↓
           本包完成后重新调度

每个Task保留独立缓存、配置和计数,共用实际执行数据读取与组包的硬件。一个Task暂时没有数据,不影响其他已就绪Task被调度。

5.2 数据接入与缓存

采集启动后,数据经过传输,在发送UDP包前,先在对应子卡下的FIFO里面缓存。之后,task调度器检查成员源缓存。检查条件是满足本Task下一包计划发送的完整UDP包的数量,而不是任意一个缓存中出现数据。

  1. 每次完成配置后,需要先根据参数配置,计算各个task下各个采样点大小,进而计算出每个UDP包容量。
  2. 之后,task调度器循环检查各个task下的数据缓存,是否存在足够对应配置下UDP包的容量的数据。如果存在,就从缓存中获取对应task的数据,并按照该task的配置进行组包工作。

例如如下配置:

acquisition:
  tasks:
    - task_id: 0
      task_type: physical
      sample_rate: 2000000
      downsample: 1
      capture_mode: stream
      sample_points_per_blob: 2
      sources:
        - source_id: 0
          channel_mask: "0xffffffff"
        - source_id: 1
          channel_mask: "0xffffffff"
      udp_destination:
        ip: "192.168.1.100"
        port: 8010

    - task_id: 2
      task_type: physical
      sample_rate: 80000000
      downsample: 80
      capture_mode: stream
      sample_points_per_blob: 310
      sources:
        - source_id: 2
          channel_mask: "0xffffffff"
      udp_destination:
        ip: "192.168.1.100"
        port: 8012

我们假设UDP包最大容量为2000字节。可知,task0的实际采样率为2M,每个UDP包容量为2个采样点。task2的实际采样率为1M,每个UDP包容量经过计算,为31个采样点。按照该配置可知,task0每1us可以完成一整个UDP包数据的缓存;task2每31us可以完成一整个UDP包的缓存。

而task调度器不需要严格思考自己当前到底应该处理哪个task,task调度器只需要检查缓存内数据是否足够,task0的数据足够了,就读task0的数据,task2的数据足够了,就读task2的数据。每次读出数据,调度器获取到对应task的配置,按照配置进行组包并发送。

5.3 调度与包级任务切换

当前设计使用循环轮询:从上次服务任务之后,向后继续循环检查,选择一个启用、运行中且下一包数据就绪的Task。所有Task均未就绪时等待。

等待/轮询就绪Task
          ↓
选择Task,锁存本包配置和数据额度
          ↓
生成应用包头
          ↓
读取本包采样点并输出数据
          ↓
最后一拍成功握手
          ↓
更新该Task运行上下文
          ↓
从下一Task继续轮询

一旦开始输出当前包,不在包中途切换Task。

5.4 吞吐量与缓存

所有Task共享链路后的输入总量必须低于链路持续处理能力。64位、125 MHz接口,理想数据带宽为1 GB/s,实际还需考虑应用包头、处理空拍、通道筛选效率等问题。

缓存只能吸收短时突发。需要分别检查各源输入能力、共享汇流能力、UDP发送能力及Task调度服务速率,不能只依据万兆光口标称速率判断。

5.5 子卡数据路由

在完成配置之前,无法知晓各个子卡的状态,各个子卡属于哪个task,因此,需要设计路由模块,实现不同task连接配置指定的相关子卡。

子卡采集并输出缓存数据后,将数据广播发送。各个task接收端,按照对应的task配置,只接收配置的相关子卡数据并组包发送。

虚拟子卡同理。虚拟子卡根据配置信息,知晓自己应当接收哪些子卡的采集数据,之后只接收相关子卡的广播数据。

6. 虚拟子卡与原始数据分支

虚拟子卡包括算法所需的输入组织/解析、预处理和结果采样点整理。其算法实例及输入处理可以独立运行,但结果上传使用第5节的共用发送链路。

物理子卡原始数据
    ├→ 流盘DMA分支
    ├→ 采集Task发送缓存
    └→ 虚拟子卡输入组织与解析
                    ↓
                  预处理
                    ↓
              标准结果采样点流
                    ↓
          结果Task降采样及缓存
                    ↓
                独立Task调度

虚拟子卡设计为,每张子卡独享一份task。对虚拟子卡的配置,还需要添加虚拟子卡的采集子卡源、虚拟子卡数据更新率等信息。

7. 输出流

7.1 接收与Task分发

输出Task同样由用户显式定义,不再按输出模式、更新频率自动分组编号。多个上位机使用载板统一配置的Task表,不能各自从0开始生成互相冲突的任务编号。

多台上位机UDP包
          ↓
载板UDP接收与应用包头解析
          ↓
按Task ID分发完整包
          ↓
各输出Task独立缓存
          ↓
本Task解析/虚拟子卡预处理
          ↓
本Task数据解析与路由
          ↓
各物理子卡来源选择器及FIFO
          ↓
Aurora发送、子卡接收
          ↓
按配置模式更新输出电平

包头中的Task ID属于DDAQ应用协议字段。识别目标后,直到本包结束保持目标不变。缓存若只保存数据区,后续需要的长度、序号等信息应作为配套元数据保留。

不同上位机可以分别向不同Task发送。初版建议一个输出Task同一时刻由一个上位机供数;多发送端共同写入同一Task的顺序合并规则仍待确定。

7.2 输出工作模式

模式 行为 配置要求
fixed_rate 按设定时刻取完整子卡更新点并更新电平;数据不足时保持当前电平并记录缺数状态 配置更新频率;同Task成员采用一致更新节拍
data_driven 有完整更新点时,按照设定的最高更新率尽快更新,随后保持到下一更新点 不配置固定更新频率;建议每张子卡独立Task以保持更新独立性

数据到达节奏更新不能重现上位机原先生成数据的时间间隔。若缓存已有很多点,子卡会按硬件允许最高更新速率连续处理。UDP传输及载板预取不直接作为固定频率模式的模拟更新时间基准,最终节拍在子卡或明确的同步更新控制中执行。

7.3 输出配置示例

output:
  tasks:
    - task_id: 1
      task_type: direct
      output_mode: data_driven
      destinations:
        - subcard_id: 3
          channels: [0, 1]

    - task_id: 2
      task_type: direct
      output_mode: fixed_rate
      update_rate: 100000
      destinations:
        - subcard_id: 2
          channels: [0, 1, 2, 3]
        - subcard_id: 4
          channels: [0, 1]

用户明确填写Task ID和成员。配置器检查同组工作模式、更新频率及同步要求。

虚拟输出Task另外配置算法输入布局及结果输出目的子卡、目的通道。虚拟结果的位宽、数值含义和数量必须与目标子卡适配;不能只配置目标编号而忽略格式转换。

7.4 每Task解析与路由

每个输出Task可以包含多张子卡的数据,因此需要先按配置拆分串行流,再发送到各子卡。模块只处理本Task成员、布局和目的地。

例如每通道16位,Task 2包含子卡2的4通道和子卡4的2通道:

成员顺序 目的子卡 通道数 一次更新数据长度
0 2 4 8字节
1 4 2 4字节

每个Task更新点共12字节,模块循环提取前8字节交给子卡2、后4字节交给子卡4,然后处理下一更新点。输入一拍可能跨越两张子卡或两个更新点,需要暂存未处理数据并重新拼接,不能只按整拍选择目的地。

Task 2缓存
     ↓
Task 2解析与路由模块
     ├→ 子卡2更新点流
     └→ 子卡4更新点流

每张子卡输出流重新生成自己的更新点边界及末拍有效字节。虚拟Task处理结果整理成相同格式后,使用本Task路由模块发送到配置指定的物理子卡。

7.5 物理子卡来源选择与缓存

同一时刻,一张物理输出子卡只由一个Task驱动,包括普通Task和虚拟Task。配置管理模块检查目标冲突,并为每张子卡保存来源Task及对应逻辑输出端口。

各Task路由输出
       ↓
子卡来源选择器(配置期间确定来源)
       ↓
本子卡完整更新点FIFO
       ↓
Aurora发送

来源选择器在工作期间保持连接,不需要运行时竞争仲裁。多个Task输出信号不能直接并接到同一子卡接口。

上位机可能突发下发大量数据,输出Task缓存可采用DDR配合片上FIFO:DDR承担容量,片上FIFO用于收发和突发读写衔接。两级缓存应保持统一的逻辑读写顺序,不能在DDR仍有较早数据时让新数据从片上FIFO旁路先输出。容量、突发管理、满缓存反馈及上位机流控需要后续细化;内部TREADY不能直接阻止远端继续发送UDP。

8. 启动、停止与异常状态

整板启动与Task运行状态分别保存。配置有效后,Task进入待启动状态;同步启动的Task共享触发时刻,但允许按各自总点数或停止条件分别结束。

共享发送链路只调度运行中且数据就绪的Task。一个Task结束后,其他Task继续运行。结束状态不能仅根据FIFO暂时为空判断。

正常配置在停止状态下修改。重新配置时,应明确旧缓存、未完成包、计数及降采样相位的处理,避免旧数据使用新布局发布。采集结束后是否保留配置并直接等待下一次触发,需要在控制状态机中确定。

缓存溢出、成员缺点、输入坏帧、输出缺数及未完成包均应有状态记录。具体恢复、丢弃和重新同步机制仍需落实,不应让异常帧的残余数据改变后续通道解析位置。


本文章使用limfx的vscode插件快速发布