FPGA的CameraLink视频开发案例｜基于Kintex-7、Zynq-7045/7100开发板

peng85246

  o9 |3 V3 j' x前言
1 X" N6 [; ^6 b: g% ?$ BCameraLink协议

CameraLink协议是一种专门针对机器视觉应用领域的串行通信协议，它使用低压差分信号(LVDS)进行数据的传输和通信。CameraLink标准是在ChannelLink标准的基础上多加了6对差分信号线，其中4对用于并行传输相机控制信号，另外2对用于相机和图像采集卡之间的串行通信(本质就是UART的两根线)。

CameraLink标准的视频传输模式分为三种：Base模式、Medium模式、Full模式。其中每个端口为8位数据，CameraLink标准的规定标准时钟频率最大为85MHz。

3 K! v- p9 M7 O6 J
; \- Y% }) ^2 ]​
0 P1 i1 q$ M* c& e2 _/ f
图1

# H( o* K8 y2 [; q  g* |CameraLink + FPGA架构视频采集系统

采用CameraLink + FPGA架构的视频采集与传输系统，既可实现符合CameraLink协议的数字相机，采集卡之间的通信与控制，同时实现对图像数据采集、转换、缓存、实时处理、输出等。该架构系统稳定性可靠，精度高，不易受干扰，具有较强的通用性、实用性和扩展性，灵活性也大大增强。CameraLink技术现已广泛应用于航空航天、军事、医疗、交通等领域。

. X! T! @: c& x6 O# _​

9 l  c0 V! }) o+ F5 g. Y" f/ s图2

) w2 ~& O. V6 J0 P; C7 Z创龙科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已实现CameraLink视频采集与处理方案。本文将为您分享基于Kintex-7 FPGA评估板的CameraLink视频开发案例。
# _: m% {7 D$ Q% h
1 s+ h8 T/ V: K. I8 i" P8 `: }1 硬件平台
/ n/ f. P% ?! d本文基于创龙科技TLK7-EVM评估板进行演示。

7 z* }* a' q  v5 B0 h1 \TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA设计的高端评估板，由核心板和评估底板组成。核心板经过专业的PCB layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。
评估板接口资源丰富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用户快速进行产品方案评估与技术预研。

$ H4 U# y& i" I1 l; J​
( i) G- S" l5 i4 J( C
  v0 D2 T; A, Y图3 TLK7-EVM评估板
2 J! _. E+ D/ U8 b2 v: E
" v! Z5 m$ O% [9 i8 n2 A开发案例主要包括：
* j- X6 k7 ~! m2 a3 r3 uØ CameraLink、SDI、HDMI、PAL视频输入/输出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)输出案例
. ?6 V8 Z" L( w# [Ø AD9361软件无线电案例
Ø UDP(10G)光口通信案例
1 |8 G0 m: J! i' Q  ^; C; x& u( nØ UDP(1G)光口通信案例
5 [/ F9 p3 I5 M) bØ Aurora光口通信案例
Ø PCIe通信案例

3 Q7 X2 m3 g5 ]6 @7 _6 f& @# q7 |: `: `案例源码、产品资料（用户手册、核心板硬件资料、产品规格书）可点site.tronlong.com/pfdownload获取。
3 R2 h0 G9 ~2 _0 Y1 Q2 Q找厂家可申请TLK7-EVM评估板进行快速评估，免费哦！
8 I, _+ ^3 y( |* B* d
2 案例功能案例功能：评估板通过FMC视频模块TLCameraLinkF的CameraLink接口进行分辨率为1280x1024的视频采集，并通过TLCameraLinkF模块的HDMI接口将采集到的视频进行输出。
" P4 p9 N1 c4 l8 Y

​
( }6 k3 G: j) S8 ~1 B
4 T3 |( r: E" M图6 程序功能框图
2 h' m4 I+ Y/ F7 b( B8 k+ J+ f9 C
0 @9 V( x* n7 }, ^1 z) y* [5 v
" @1 S6 [& g$ l# ?3 T: `: d3 案例演示
本案例支持三款CameraLink相机，具体说明如下。
4 Z8 L3 z- Y: R
. a) j* c, Y0 ~' e# Y$ d

厂家 6 x2 f' m2 G: p. ^	相机型号	支持模式 , ~: T# V) M% P! t8 c# j	相机性能 8 s# @5 l1 C# ^& f
Microview （北京微视）	RS-A5241-CM107-S00   \' X" T% X/ z4 a/ L$ e（黑白CameraLink相机） 6 y; s+ d" j& A- [! X# F* z	Full - o5 i! I' K9 x	全幅面2560*2048下，帧率可达107fps * {& O4 X# f* O3 a
		Base
	RS-A5241-CC107-S00   T1 t0 A1 [+ s9 w6 ]8 f（彩色CameraLink相机）	Full . G3 _4 {# m+ r- M7 ]; a& n4 j	全幅面2560*2048下，帧率可达107fps 6 W% q: Z; Z* ~6 }! U
		Base
	MVC1381SAM-CL60-S00 （黑白CameraLink相机） 4 ~9 b: T* ^3 q& m3 Q' |	Base	全幅面1280*1024下，帧率可达60fps ; I( ^& V3 j) B8 O8 [, t+ O: }

Full模式硬件连接方法
6 b- P' r) A3 a5 {7 Q
如采用Full模式，创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将CameraLink相机的CL1通过数据线连接至TLCameraLinkF模块的CameraLink2接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
​
9 [2 I3 D% q2 y. H& d图7
9 I. t- u' D/ d1 w
2 Z6 {% a% f; r/ }, C$ G& \- hBase模式硬件连接方法

7 A: k3 d1 s) D3 ]+ l8 w- y# \; `( ?如采用Base模式，将创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
' c* b, x5 x) _$ ]
1 O2 a& \* X5 \2 ^; o* U​
( x: \6 @9 [% \6 T  A/ [5 w图8

+ j0 N# B' V1 P7 P, q
下面对三款不同型号的CameraLink相机在Full/Base模式下的操作进行演示。

; i1 |; W( c5 k2 w（1） 黑白CameraLink相机RS-A5241-CM107-S00，Full模式

请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
0 B, d1 g. g/ Y1 S" d8 Y) t​
图9
8 |# I: s6 q7 \​
图10
. o  v8 t  O5 A/ c! Z
7 ?4 j# f9 N! w: z8 p1 n（2） 彩色CameraLink相机RS-A5241-CC107-S00，Full模式

请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
! e9 `* r3 n+ u​
图11
​
# L% u1 R( z+ H7 y 图12
) j$ n9 |0 u; x: c备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。

/ d4 \& A; P2 n- _1 p% |$ d# [6 c（3） 黑白CameraLink相机RS-A5241-CM107-S00，Base模式

7 K- M8 Q2 D. `# V* g+ w5 F7 o请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
! N, V3 G7 [. l0 ]6 o) k+ K
​
1 X( i- E, ?; W' ?8 X) R$ E; _图13
. R7 [5 e! x% f  V5 O+ T​
图14
9 t/ a7 i% |% [; f
  O( G9 o( P! M) U: w! i# r; w（4） CameraLink相机RS-A5241-CC107-S00，Base模式

请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
/ ], i4 S: h( z4 o​
' ]) Z6 Y2 E; ~4 T* Y 图15
3 U# {' v- V2 C2 u​
图16
2 \: K/ U8 e& {1 f
; p5 J- ?- Q# `备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。
& J% L% M: M% l: P* t* r1 S3 d
/ ]# v7 E9 R" x. n! e' i, o8 R1 W
（5） 黑白CameraLink相机MVC1381SAM-CL60-S00，Base模式

请运行Base模式程序，即可看到串口调试终端打印如下信息。请输入"3"选择相机型号为MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI显示屏输出黑白图像。
​
图17
8 d% g7 ^2 u; ~( }( {​
图18

3 C+ U% X) m9 `( v# R& b
4 关键代码(MicroBlaze)
MicroBlaze裸机源码为"sw\baremetal_demo\project\cameralink_display\src\"，关键代码说明如下。

（1） main函数。
" Q7 n  y8 ?- f! L5 ~5 h/ w* {
​

图19
​
+ b4 R- ?& g- s% Y
) s: T/ u" h8 G" }' Z图20

& e0 F. b6 J" [7 M3 ~
​
% [7 P7 v2 n# D/ k0 p* e. \/ t8 J: h
图21

! @3 D  u# q- r: {* D（2） 初始化VDMA，将采集到的视频数据缓存至DDR，再进行HDMI视频输出。

* t; z9 l! r! l$ m* U; {+ h
​

$ Y' Q' Q1 ]7 ]* M# f图22

  y# u  |  f4 }$ b$ Q（3） 初始化Sil9022A。
. R, r% }* y, a6 [7 G
* J7 Q+ u" @6 R, R/ n9 T6 a
7 r) k0 I( H9 e​
4 l7 D7 l3 w/ S1 ]/ U- A
图23
0 `+ e  u7 F# }1 c9 N( M
+ U3 x5 Z0 j: Q7 r（4） 初始化AXIS Switch IP核。
; Y% i. w$ g- x3 e7 P4 N
: ?+ e) h9 S) a$ w​
图24
8 }+ X1 o9 }6 X) Q" _6 H. N+ O

初始化Sensor Demosaic IP核，以将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。
; b. Z; H" |/ g4 Q7 }0 m1 N

3 c$ J% v/ F' K: Z  ]% o0 X9 e: T​

/ A9 B2 t+ e6 G图25
! k6 X7 o! O5 V" B, r2 h1 a1 m
（5） 初始化Video Mixer IP核。
- P) p! M) f. N; ~) o5 N+ O9 |
​
图26


' M: ]9 w" ]" f备注：关于Vivado工程说明及模块/IP配置详细内容，可下载产品资料进行查看。
- t& f$ K, h3 e
- w0 Y$ s5 I3 H) [
8 T! Q& _6 I5 u  p5 X3 l0 w3 Y6 更多推荐
- W" |0 s0 |( n新品推荐：TL6678ZH-EVM评估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
: W# Z" o/ N3 M4 ]8 e8 T- Y
9 D9 ~0 u/ D% k- [$ x2 ?( r​
# |2 Y6 w6 t! O* v% [; y* W

lyl

很好的资料，好好的学习学习

peng85246

lyl 发表于 2021-1-30 08:32
很好的资料，好好的学习学习

大家互相学习和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666

hebinbin

很好的资料，好好的学习学习

ispy520

很好的资料，多多学习