求教，FPGA引出来的DDR4读写错误，帮忙分析一下！

gavinhuang

总体情况：我们用FPGA挂了2通道的DDR4，读写出错，具体情况如下：
5 W* O' O: ?# l% C/ u* k
" K) x; z* J, G9 y: K; B* w1、使用的是Xilinx的KU040，引出来了2个通道的DDR4，每个通道位宽是32位，每个通道由2颗x16的DDR4颗粒组成，fly-by拓扑，设计的运行频率是2133；
1 m, A; @1 F  l6 h/ s7 \2、bank47、48组成CH0，bank67、68组成CH1，PCB图中，右边的两个颗粒是CH0，左边的两个颗粒是CH1；
3、现在出现的问题是读写出错，往DDR颗粒中写满数据，再读出来，与写入的进行对比，发现错误；
4、测试的情况是，测了3块板子，3块板子的CH0都出错，有1块板子的CH1出错，2块没有错（这些测试结果，每个CH都是基于32位位宽进行测试）；
5、重点来了，我们在逻辑程序里，把每个通道高16位的颗粒的DQ/DQS/DM信号禁掉，因为是fly-by，ADDR/CMD/CTRL禁不了，这种情况下，测试所有的板子、通道都没问题；
: F( J% N5 R; t7 \0 m6、我们反过来把低16位的颗粒数据信号禁掉，只保留高16位的颗粒，测试有错，错误的现象、错误个数的数量级跟之前32位都测的时候基本一致；
" `- o; A  L0 r/ K3 P6 B, u9 ~
% S1 d# J7 \; y* i8 T) ?+ \$ {* h综上，帮忙分析一下可能的原因？谢谢了！
# z3 d7 e; p1 Z* ?1 j% s
1、我们曾经很怀疑逻辑程序的问题，但是说不通的是，CH1没错啊，而且我们试了用极为简单的语句去调用IP核，也会出错，而且用16位程序没出错；
$ g' p1 h- K; O0 D2 Q+ `) Q2、我按照FPGA的资料，仔细检查了硬件设计，也没发现什么错误；

  B5 k/ R3 [) b
0 ~. Q" ]5 P* ^6 W6 y
& y: V* `( M0 b+ z, }* k
2 q! c: v  _7 s0 H' I. I2 {% x- @
" k6 M* v) c( e) r- |8 u# E2 }* j, s
0 [5 _, k# p" S( a& ^4 U# l) T
5 J4 U0 D4 t1 p: ?6 j3 L4 c
2 @3 O( u% E8 F* r: e- B

* ]; W. `1 t' j0 y! V0 ]
0 n6 y. W3 v- Y' H
! Y9 N5 Q+ X  I3 L+ c) O1 L/ ]' a

gavinhuang

xbin 发表于 2019-3-29 17:09
" L9 K4 T8 k1 L7 {  [- h尴尬了，第三点，看来还是硬件的问题呀。这锅你要背了。

; O. A8 D$ `/ c3 U( k7 Q是啊，早就基本上指向硬件了，但是就是找不到硬件的问题点。

最新消息：
0 t* O/ w- v- }! p; L9 A' n! p1、请看以下图一官方推荐的拓扑，地址/命令/控制线在外部有端接电阻上拉到0.6V-VTT，今天在其中一块板子上试了一种办法，就是把地址/命令/控制信号的外部端接电阻从39.2欧换成了49.9欧，然后这块板子没出问题了！！！！
2、图二是官方对于图一拓扑上各个走线区域的走线要求；
3、我想不通：
3.1)、官方推荐的端接电阻是39.2，我就是按这个阻值做的，这个端接电阻怎么至于影响这么大，从来没见过DDR需要换这个端接电阻的；
3.2)、唯一比较合理地解释是，我主走线（控36欧姆）的区域，占总长的比例太小了，因为这个板子上，DDR颗粒距离主控芯片实在太近，除了两头BGA的fanout区域，能够正常控阻抗的区域实在太短了，现在从FPGA到第一个颗粒的长度，总长也就1700mil左右，两个颗粒之间的距离大概450mil，能控36欧姆的走线长度，有的信号上只有两三百mil，难道是这个原因，所以50欧姆的端接更匹配？
' W) N4 N4 @: \/ X; S% q
+ m& J& D! ~2 x. _/ u
0 V8 V" D: l- b' X7 X5 j
; v& [' u! @+ O5 s

gavinhuang

7 s8 l8 b( i& l8 r# P+ _9 I! J

xbin 发表于 2019-3-28 13:24
降到1600有改善，不是说明和信号完整性有关吗？FPGA和DDR芯片底下电源正常吗

0 b0 @* X7 @0 l1、本来FPGA内部就能自动调整DQ、DQ是的读写时序，能够调整的幅度多达75ps，再看下面的第一张图，从2133降到，1600，时序的裕量又多了78ps，这两个裕量加起来，至少150ps；

2、看下面的第二张图，地址控制线这些信号，从2133降到1600的情况下，时间裕量多了124ps；

我以前做过3年多的SI，后来转行做硬件，现在原理图、PCB都是自己画的，虽然SI方面的知识也很有限，但是我画PCB的时候已经尽量按照我的SI方面的知识去画了，我自认为一般需要关注的点我都注意到了，我实在不相信我画的这个板子连1600都跑不了，而且用的这颗FPGA，IP核配置的时候，最低也只能配到1600了。
还有，禁掉高位颗粒，只留低位颗粒的情况下，跑2133完全没问题。
2 f$ L* T# M5 i4 e



4 @# `7 n' k6 u" [6 }; t* t. K
1 ?" h( ?( d* L9 e1 N

gavinhuang

gabbana0529 发表于 2019-3-27 11:13
3 ^1 y5 M# ~0 {2 y& x9 n6 B看layout高速线换参考层有没有补电容或是打via孔. 等线长检查. 用频谱看2.5G附近有无干扰. 确认公板有无一 ...

! @" w8 x- d( z谢谢回答。
. g9 x# o9 ^# H( R没有换参考层，数据和地址都参考的是GND；
: }$ K7 @" j$ V2 a9 S! I2 g等长检查了没问题；
7 G% q6 \) _, _' h) O+ e: l3 n2.5G的频谱暂时没办法看；
我们这个PCB跟xilinx的开发板差异大，不太具有对比性，不过原理方面确实是参考了开发板，开发板肯定没问题啊；
从2133降频至1600有改善，但是还是有错，我觉得降到1600了，时序、信号质量方面的余量应该很充足了，不应该再出错了才对，所以我倾向于不是信号完整性方面的问题。

xbin

能否降频使用，降频低16位有没有出错

2534758998

学习，谢谢

gabbana0529

看layout高速线换参考层有没有补电容或是打via孔. 等线长检查. 用频谱看2.5G附近有无干扰. 确认公板有无一样问题. 改bootstrap降外频测试.

bluskly

还是降频看看能稳定不，不能稳定的话基本也不太可能是layout的问题。

Frank9523

楼主有做过FPGA的DRAM Training吗？

gavinhuang

) O5 m6 t. }( q0 N  H  I; M, E( r

xbin 发表于 2019-3-26 18:53
' Q( s9 P' |3 g$ z3 j* u能否降频使用，降频低16位有没有出错

谢谢回答。
从2133降频至1600有改善，但是还是有错，我觉得降到1600了，时序、信号质量方面的余量应该很充足了，不应该再出错了才对，所以我倾向于不是信号完整性方面的问题。


* Z6 b$ E9 K6 E$ G# z如题目所说，禁掉高16位颗粒，只留低16位的颗粒的时候，完全没错，运行频率是2133都没错；
: M5 A3 J; a3 X9 `+ ^. ?; }. J$ S然而反过来，禁掉低16位颗粒，只留高16位颗粒的时候，依然有错，错误数量跟32位运行的时候是同一个数量级的。

gavinhuang

bluskly 发表于 2019-3-27 11:30
- G% k7 [' A( E4 g/ o还是降频看看能稳定不，不能稳定的话基本也不太可能是layout的问题。

4 m  V8 i) S" G3 h: N- P, Y谢谢回答。
从2133降频至1600有改善，但是还是有错，我觉得降到1600了，时序、信号质量方面的余量应该很充足了，不应该再出错了才对，所以我倾向于不是信号完整性方面的问题。
2 ^) u4 ~* Q- q3 X% T6 ]

gavinhuang

Frank9523 发表于 2019-3-27 13:47
楼主有做过FPGA的DRAM Training吗？

3 W# y, C& [( R$ |. K: C谢谢回答。
7 i: J5 }3 P! t: X我不知道您说的FPGA DRAM Training是啥意思？我们应该没做过，您能更加详细地说一下吗，谢谢了。

Frank9523

gavinhuang 发表于 2019-3-27 21:38
谢谢回答。
我不知道您说的FPGA DRAM Training是啥意思？我们应该没做过，您能更加详细地说一下吗，谢谢 ...

就是根据你布板的走线长度，计算出板间延时参数。xilinx可以进行training algorithms。之前在zynq平台遇到过类似的问题，就通过修改板间延时参数解决的。你可以看下下面这个链接。https://www.xilinx.com/support/answers/46778.html
) ~3 O! I. K& _- ?8 ^

4 l) L" t1 O. o8 O

9 B5 K7 ~; X- y! v3 m7 b

gavinhuang

Frank9523 发表于 2019-3-28 08:54
; F/ L2 Z& m  c! H+ j3 }+ M, ?就是根据你布板的走线长度，计算出板间延时参数。xilinx可以进行training algorithms。之前在zynq平台遇 ...

0 }- m& r8 G5 D" X谢谢。我们布板的时候已经考虑封装的延时进行等长了，等长方面应该没问题。你发的那个链接，我看了一下，只针对于Zynq系列的器件，我们用的KU系列，没有这个东西。

xbin

gavinhuang 发表于 2019-3-27 21:16
  B0 [: j# f$ O% Y8 Y  v谢谢回答。
从2133降频至1600有改善，但是还是有错，我觉得降到1600了，时序、信号质量方面的余量应该很 ...

降到1600有改善，不是说明和信号完整性有关吗？FPGA和DDR芯片底下电源正常吗
3 P$ r/ A% S5 @6 @; h& n5 ]

kevin890505

低位没问题，高位没问题，是不是因为fly-by要不同颗粒DQ要对齐？FPGA不知道是怎么玩的，CPU类的是自动校准，计算到每个颗粒的延时然后自己设置好寄存器。你问下FPGA的看看。