FPGA的CameraLink视频开发案例｜基于Kintex-7、Zynq-7045/7100开发板

peng85246

& f3 C) x" L; {$ I前言
# y3 E; l* R5 q2 ICameraLink协议
) V, _" r. N  p
5 l- A/ A2 v( G% o! @CameraLink协议是一种专门针对机器视觉应用领域的串行通信协议，它使用低压差分信号(LVDS)进行数据的传输和通信。CameraLink标准是在ChannelLink标准的基础上多加了6对差分信号线，其中4对用于并行传输相机控制信号，另外2对用于相机和图像采集卡之间的串行通信(本质就是UART的两根线)。
( F$ Q' J8 f' |" H2 v" }) K
2 _. O% Q! b% u$ Z4 pCameraLink标准的视频传输模式分为三种：Base模式、Medium模式、Full模式。其中每个端口为8位数据，CameraLink标准的规定标准时钟频率最大为85MHz。
" g! _1 T; I5 \: b- G. Y
5 G/ t5 x8 B: \9 Y; |
​
8 v& P% [2 `2 U% W1 m; g, J- p7 ?) w
# @+ R" d. k, @图1
9 |9 M& i4 y) H1 a" x+ p! ?' a
CameraLink + FPGA架构视频采集系统
( V* Z' t( P. I& l
采用CameraLink + FPGA架构的视频采集与传输系统，既可实现符合CameraLink协议的数字相机，采集卡之间的通信与控制，同时实现对图像数据采集、转换、缓存、实时处理、输出等。该架构系统稳定性可靠，精度高，不易受干扰，具有较强的通用性、实用性和扩展性，灵活性也大大增强。CameraLink技术现已广泛应用于航空航天、军事、医疗、交通等领域。
0 O" O. L/ d3 ?& T: k6 t) w
​

图2

/ m% ~  ?; T" E1 P. u" m创龙科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已实现CameraLink视频采集与处理方案。本文将为您分享基于Kintex-7 FPGA评估板的CameraLink视频开发案例。

1 硬件平台
本文基于创龙科技TLK7-EVM评估板进行演示。
/ T) B( x& f$ s. u& J. {
TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA设计的高端评估板，由核心板和评估底板组成。核心板经过专业的PCB layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。
评估板接口资源丰富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用户快速进行产品方案评估与技术预研。
& `3 B, v" d' D
$ m* ]7 ?& f! I8 c7 h​

图3 TLK7-EVM评估板

开发案例主要包括：
$ f/ f3 d" ]/ cØ CameraLink、SDI、HDMI、PAL视频输入/输出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)输出案例
Ø AD9361软件无线电案例
! k6 L0 I- l3 w2 O* p5 y5 JØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
7 z3 }: g9 k$ R# X: R9 b, xØ PCIe通信案例

, i; N; \: O9 d$ r7 d* D7 H$ \案例源码、产品资料（用户手册、核心板硬件资料、产品规格书）可点site.tronlong.com/pfdownload获取。
9 |: D& l! S- E6 S- m+ e找厂家可申请TLK7-EVM评估板进行快速评估，免费哦！
/ ^* P. f" S, t% W+ Z* B
0 w7 a/ R, D' z) \- i5 q2 案例功能案例功能：评估板通过FMC视频模块TLCameraLinkF的CameraLink接口进行分辨率为1280x1024的视频采集，并通过TLCameraLinkF模块的HDMI接口将采集到的视频进行输出。


3 ]# R5 |& h; s+ k4 L7 p​
$ t4 s" S6 p$ v) C8 W
0 g0 R2 ~$ G6 i图6 程序功能框图
) k% I3 h8 z. x( z
1 ]$ x# i, [+ X% o2 P7 u$ y
8 g/ Z5 [% ~  j3 案例演示
  H( r0 a" r& f. F0 J本案例支持三款CameraLink相机，具体说明如下。
" k' U- b) J/ [, ?) e! Z4 o2 @

厂家	相机型号	支持模式	相机性能
Microview （北京微视） ' G( a% D/ c- u/ w+ v	RS-A5241-CM107-S00 3 P+ s: t' Q$ U3 L; h（黑白CameraLink相机） 2 r8 L6 E, s2 t7 W$ [6 U	Full	全幅面2560*2048下，帧率可达107fps
		Base ; Z% \0 i4 I3 O4 Y6 n
	RS-A5241-CC107-S00 （彩色CameraLink相机）	Full	全幅面2560*2048下，帧率可达107fps & H" a# d0 x% x: s
		Base ( G  |7 X4 |8 C. P
	MVC1381SAM-CL60-S00 ' c  q% h/ k6 V, l$ [& @/ J% |9 j（黑白CameraLink相机）	Base - \6 @5 c6 N: L4 o( [5 {+ c	全幅面1280*1024下，帧率可达60fps

Full模式硬件连接方法

7 p/ m8 P7 l- S: M. t( f  v. S如采用Full模式，创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

/ t# W1 g4 E6 V$ i% K3 Y将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将CameraLink相机的CL1通过数据线连接至TLCameraLinkF模块的CameraLink2接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
- _& V5 l: A8 r1 y​
图7

) e" ^" e5 A* a. F, S' n! vBase模式硬件连接方法
- C# Z/ ]7 p1 ?, ^& j: U
如采用Base模式，将创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

6 f/ E: n3 q  h* z: ?将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
8 ?: [2 }1 e' R: n
​
图8
: c9 _+ q& o  }$ Q& m( o9 z* E4 p! ?

下面对三款不同型号的CameraLink相机在Full/Base模式下的操作进行演示。

（1） 黑白CameraLink相机RS-A5241-CM107-S00，Full模式
2 x' |1 I/ t/ o6 H. l* b9 b
请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
​
1 _6 T+ G" R9 U! |( L( u图9
​
: a$ e. J/ \' b$ C0 C; p2 s1 C* I图10

& P; k7 ?- [0 V& S, _8 U（2） 彩色CameraLink相机RS-A5241-CC107-S00，Full模式

请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
7 _6 p4 ~& f( ]- A+ w3 g​
图11
3 |' _: n# _$ M. i8 Q6 z$ v/ z​
4 l. i: W9 w8 i( i& z7 i! W 图12
) [( B0 C4 l3 Z9 `备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。

* a+ \4 l7 O. t/ `9 r0 l3 d, _（3） 黑白CameraLink相机RS-A5241-CM107-S00，Base模式
: S5 J5 ~$ w4 F1 z" ~$ i# w9 c% f
请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出黑白图像。

: @; Z! G# _  ]' @3 K' c) ?% ]$ V​
图13
3 M  D* u- Q  u5 H9 G- Q! t8 U6 P​
- h# ~4 i7 p" t; \) _( `图14
9 D# {; E9 t' s: I' M; T
（4） CameraLink相机RS-A5241-CC107-S00，Base模式
; H7 S7 H: E$ I' r5 H$ i- e
1 \: |6 Z. B/ K' `. n) ]请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
0 |& \' F+ H( y6 C​
+ a! `/ v3 Z% A: D2 X( M 图15
​
图16
5 [, B" X9 i9 o! R& X! U2 k  x
8 L4 e5 R/ M! K1 j. l& E/ x备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。

2 q/ x- w# f5 w: I; f) [
（5） 黑白CameraLink相机MVC1381SAM-CL60-S00，Base模式
6 r/ n2 u# X+ b- x
请运行Base模式程序，即可看到串口调试终端打印如下信息。请输入"3"选择相机型号为MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI显示屏输出黑白图像。
​
" L/ w& ?" o! ~6 U  l图17
​
图18
' [$ R' ]5 u4 K+ z# D1 K1 `/ o" t9 b
, d: S: j( }3 u8 [' _3 g4 J
( n) h! E8 c. Z9 V4 关键代码(MicroBlaze)
! h+ y  |5 h8 L0 hMicroBlaze裸机源码为"sw\baremetal_demo\project\cameralink_display\src\"，关键代码说明如下。

（1） main函数。
% q2 m1 Z0 t9 q$ h
! c+ }: P5 @2 O/ F7 |2 }$ ^( A​
* e# c3 N" ]5 ]1 z3 w& z
) _! p2 g- {* q$ V: c! h图19
​
. }( K* x$ e/ ?! a
6 K4 b6 Z" V& O! L图20
! ~8 L) b" w$ H
2 s3 T& N, G: g) Y6 G
% c9 j5 n; t+ l# h​

图21
5 ]- A2 C  _0 _" z2 T4 a
（2） 初始化VDMA，将采集到的视频数据缓存至DDR，再进行HDMI视频输出。
8 p; ~( |- o+ S3 D5 M3 X8 |
3 m* K  \% h6 f
$ W. b, l/ B. b& @0 w​
) b1 {% l7 M% P! Z
% t$ L1 ~# [( ?- B图22

（3） 初始化Sil9022A。

; K! z) w, |0 u% d" ^4 o5 V
​

图23

（4） 初始化AXIS Switch IP核。

0 N6 A9 @& r2 f& G​
9 R% S# l- h4 s 图24


初始化Sensor Demosaic IP核，以将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。
4 ^. }- E( H; Y8 F

​

& Z6 t5 c$ ?  S图25
+ @: q8 i$ J' E  M) V
/ U6 _4 t+ ?/ L4 |) T' R7 h& O（5） 初始化Video Mixer IP核。
* ]$ E/ F5 }- X/ X) p5 Q7 D+ X7 a
* c$ W9 q. o6 E9 ?0 e* G; b( {​
3 C+ [2 ?: O& _ 图26
3 W9 V& T/ l4 k& }& y
5 N5 a$ r; E- k$ E
备注：关于Vivado工程说明及模块/IP配置详细内容，可下载产品资料进行查看。


" k* `1 C: g; M# v  }6 更多推荐
  A$ |( s& T4 b5 O$ E! D/ W# G1 `6 u新品推荐：TL6678ZH-EVM评估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

​
0 f" y, \/ P/ ]2 E9 x8 J% p

lyl

很好的资料，好好的学习学习

peng85246

lyl 发表于 2021-1-30 08:32
很好的资料，好好的学习学习

大家互相学习和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
  [- e7 Q& K; Q3 R# ~# \/ I" p

hebinbin

很好的资料，好好的学习学习

ispy520

很好的资料，多多学习