问题的提出
一位用户在 DGX 服务器上运行 NVIDIA Holoscan 应用，从 Altera FPGA 通过网络接收高分辨率视频流。问题看似简单：实际传输和处理的图像数据格式是什么？
这个问题无法通过搜索引擎找到答案。答案隐藏在应用程序的源代码中 —— 分散在配置文件、算子定义和内存池设置中。这正是 AI Agent 擅长的任务类型。
任务目标
QevosAgent 接到任务后，自主完成了以下步骤：
- SSH 登录 DGX 服务器（172.24.217.40）
- 定位 Holoscan 项目代码库
- 追踪图像数据格式在管线中每个阶段的变化
- 生成结构化的技术报告
从提问到报告完成，全程无需人工干预。
发现的完整管线
分析源代码后，QevosAgent 绘制出了完整的数据流：
第一阶段：传感器输出
- 传感器型号：FRAMOS FSM:GO IMX678C（CMOS 图像传感器）
- Bayer 排列：RGGB（红-绿-蓝-绿）
- 分辨率：3840×2160（4K UHD）
- 帧率：60 fps
- 像素格式：RAW_10（10-bit Bayer RAW）
- 数字黑电平：50（10-bit 值）
传感器输出的是原始 Bayer 数据 —— 每个像素通过彩色滤镜阵列只捕获一个颜色通道。RGGB 排列意味着红、绿、蓝、绿滤镜以 2×2 的模式重复排列。
第二阶段：网络传输
原始传感器数据被封装为 CSI-2（Camera Serial Interface 2）数据包，通过 Hololink（基于 InfiniBand/RDMA）协议在网络上传输：
帧结构:
├── Frame Start (8 bytes)
├── Embedded Data Line (1 line)
│ ├── RAW12 Header (4 bytes)
│ ├── Embedded Data
│ └── Footer (4 bytes)
├── Active Pixel Data (每行)
│ ├── RAW12 Header (4 bytes)
│ ├── Pixel Data (RAW_10 格式)
│ └── Footer (4 bytes)
└── Frame End (8 bytes)
- 网络接口：10GbE (enP7s7)
- IP 地址：DGX (192.168.0.1) ↔ FPGA (192.168.0.2)
- 控制端口：8192
第三阶段：CSI-to-Bayer 转换
在 DGX 接收端，CsiToBayerOp 算子执行以下操作：
- 解析 CSI-2 数据包
- 提取有效像素数据
- 转换为 16-bit Bayer RAW 格式
- 存储到 GPU 显存（BlockMemoryPool，双缓冲）
10-bit 数据被扩展到 16-bit，以保留后续处理的精度。
第四阶段：图像处理
ImageProcessorOp 执行：
- 光学黑电平校正 —— 去除传感器噪声基线
- Bayer 格式识别（RGGB）
- 输出校正后的 16-bit Bayer RAW
第五阶段：去马赛克（Demosaic）
BayerDemosaicOp 将单通道 Bayer RAW 转换为全彩色：
- Bayer 插值 —— 为每个像素估算缺失的颜色值
- Alpha 通道生成（alpha_value=65535，完全不透明）
- 输出：16-bit RGBA（4 通道，每通道 16-bit）
第六阶段：可视化
HolovizOp 执行 sRGB 色彩空间转换，输出到显示帧缓冲。
数据格式总结
| 阶段 | 数据格式 | 位深 | 说明 |
|---|---|---|---|
| 传感器输出 | Bayer RAW (RGGB) | 10-bit | RAW_10 格式 |
| CSI-2 传输 | CSI-2 数据包 | 10-bit | 包含 Header/Footer |
| CSI-to-Bayer 转换后 | Bayer RAW (RGGB) | 16-bit | 扩展到 16-bit |
| 图像处理后 | Bayer RAW (RGGB) | 16-bit | 黑电平校正 |
| Demosaic 后 | RGBA | 16-bit/通道 | 4 通道 |
| 显示 | RGBA | 16-bit/通道 | sRGB 色彩空间 |
为什么这很重要
这次分析展示了 QevosAgent 的几项核心能力：
远程代码库探索：Agent 自主 SSH 登录远程服务器，浏览目录结构，识别相关文件 —— 无需任何预先了解项目布局。
跨文件依赖追踪：图像格式信息分散在多个文件中 —— 传感器配置（
agx5_imx678_mode.py）、转换器设置（agx5_imx678.py）和算子定义。Agent 自动将这些碎片信息连接起来。结构化技术输出：Agent 生成的不是大段文字，而是组织清晰的报告，包含明确的阶段划分、代码引用和汇总表格 —— 可直接用于工程评审。
零人工干预：从初始问题到最终报告，整个过程完全自主。Agent 在一个连续的运行中处理了 SSH 认证、文件导航、代码分析和报告生成。
更广阔的意义
这类任务 —— 通过阅读源代码理解复杂系统中的数据流 —— 在工程领域很常见，但对人类来说十分繁琐。AI Agent 可以在几分钟内完成这种分析，交叉引用数十个文件，生成连贯的技术叙述 —— 而人类工程师可能需要数小时才能完成同样的工作。
这不是要取代工程师，而是为他们提供一个强大的助手，处理"阅读和关联"的工作，让他们专注于真正重要的决策。