Subject: Re: rib_trie / Fix inflate_threshold_root. Now=15 size=11 bits

From: Paweł Staszewski <[email-masked]>
Date: Fri, 26 Jun 2009 19:26:29 +0200

> OK thanks
>
> Please report (while machine has enough load) output of
>
> rtstat -c20 -i1
>
> (rtstat is a symbolic link to lnstat, if not provided by your distro)
>
>
>
>   

here you have
rtstat  -i 1 -c 20
rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|rt_cache|
 entries|  in_hit|in_slow_|in_slow_|in_no_ro|  in_brd|in_marti|in_marti| 
out_hit|out_slow|out_slow|gc_total|gc_ignor|gc_goal_|gc_dst_o|in_hlist|out_hlis|
        |        |     tot|      mc|     ute|        |  an_dst|  
an_src|        |    _tot|     _mc|        |      ed|    miss| verflow| 
_search|t_search|
   93362|22930850| 1671866|       0|    1369|       2|       0|       
0|   53432|    1324|       0|       0|       0|       0|       0| 
4783896|   11985|
   92067|  101426|    5315|       0|       2|       0|       0|       
0|     258|       2|       0|       0|       0|       0|       0|   
21893|       6|
   90561|  100094|    4666|       0|       6|       0|       0|       
0|     267|       1|       0|       0|       0|       0|       0|   
23433|      30|
   90101|   98672|    5630|       0|       2|       0|       0|       
0|     253|       0|       0|       0|       0|       0|       0|   
24386|      34|
   89994|   99962|    5654|       0|       6|       0|       0|       
0|     266|       2|       0|       0|       0|       0|       0|   
26251|      38|
   95209|   91974|   14860|       0|       9|       0|       0|       
0|     236|      31|       0|       0|       0|       0|       0|   
14238|      35|
   95323|  101714|   10126|       0|      14|       0|       0|       
0|     255|       9|       0|       0|       0|       0|       0|    
8532|      21|
   94814|   99918|    8539|       0|       5|       0|       0|       
0|     258|       4|       0|       0|       0|       0|       0|   
11069|      24|
   98510|   93929|   12672|       0|      13|       0|       0|       
0|     238|      31|       0|       0|       0|       0|       0|   
12704|      34|
   98983|   96131|   11128|       0|      12|       0|       0|       
0|     252|      10|       0|       0|       0|       0|       0|    
7142|      18|
   98824|   99036|    8995|       0|       5|       0|       0|       
0|     256|       3|       0|       0|       0|       0|       0|    
9343|      16|
   97868|  100032|    7544|       0|       5|       0|       0|       
0|     254|       1|       0|       0|       0|       0|       0|   
11902|      17|
   96929|  101942|    6722|       0|       7|       0|       0|       
0|     263|       3|       0|       0|       0|       0|       0|   
13778|      46|
   95932|  100725|    6217|       0|       4|       0|       0|       
0|     259|       3|       0|       0|       0|       0|       0|   
15175|      47|
   94432|  102074|    5549|       0|       7|       0|       0|       
0|     268|       2|       0|       0|       0|       0|       0|   
16996|      54|
   92986|  103602|    5187|       0|       3|       0|       0|       
0|     260|       0|       0|       0|       0|       0|       0|   
18333|      43|
   91387|  103934|    4666|       0|       6|       0|       0|       
0|     261|       3|       0|       0|       0|       0|       0|   
19316|      46|
   90615|  104916|    5333|       0|       5|       0|       0|       
0|     260|       4|       0|       0|       0|       0|       0|   
21376|      48|
   89941|  101375|    5189|       0|       8|       0|       0|       
0|     270|       0|       0|       0|       0|       0|       0|   
22249|      47|
   89744|  101425|    5529|       0|       6|       0|       0|       
0|     263|       4|       0|       0|       0|       0|       0|   
24089|      57|

ath the same time cpu load
19:24:34     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:35     all    0.00    0.00    0.00    0.00    1.39   20.36    
0.00    0.00   78.25
19:24:35       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:35       1    0.00    0.00    0.00    0.00    5.00   74.00    
0.00    0.00   21.00
19:24:35       2    0.00    0.00    0.00    0.00    5.00   73.00    
0.00    0.00   22.00
19:24:35       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:35       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:35       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:35       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:35       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:35     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:36     all    0.00    0.00    0.00    0.00    1.21   16.03    
0.00    0.00   82.77
19:24:36       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:36       1    0.00    0.00    0.00    0.00    5.05   75.76    
0.00    0.00   19.19
19:24:36       2    0.00    0.00    0.99    0.00    5.94   69.31    
0.00    0.00   23.76
19:24:36       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:36       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:36       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:36       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:36       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:36     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:37     all    0.00    0.00    0.14    0.00    1.64   20.19    
0.00    0.00   78.04
19:24:37       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:37       1    0.00    0.00    0.00    0.00    5.94   73.27    
0.00    0.00   20.79
19:24:37       2    0.00    0.00    0.00    0.00    7.00   75.00    
0.00    0.00   18.00
19:24:37       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:37       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:37       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:37       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:37       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:37     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:38     all    0.00    0.00    0.00    0.00    0.90   14.24    
0.00    0.00   84.86
19:24:38       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:38       1    0.00    0.00    0.00    0.00    4.00   73.00    
0.00    0.00   23.00
19:24:38       2    0.00    0.00    0.00    0.00    5.05   69.70    
0.00    0.00   25.25
19:24:38       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:38       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:38       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:38       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:38       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:38     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:39     all    0.00    0.00    0.00    0.00    2.43   29.80    
0.00    0.00   67.77
19:24:39       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:39       1    0.00    0.00    0.00    0.00    5.00   67.00    
0.00    0.00   28.00
19:24:39       2    0.00    0.00    0.00    0.00    5.94   67.33    
0.00    0.00   26.73
19:24:39       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:39       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:39       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:39       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:39       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:39     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:40     all    0.00    0.00    0.00    0.00    1.43   14.15    
0.00    0.00   84.42
19:24:40       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:40       1    0.00    0.00    0.00    0.00    5.94   68.32    
0.00    0.00   25.74
19:24:40       2    0.00    0.00    0.00    0.00    7.07   71.72    
0.00    0.00   21.21
19:24:40       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:40       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:40       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:40       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:40       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

19:24:40     CPU    %usr   %nice    %sys %iowait    %irq   %soft  
%steal  %guest   %idle
19:24:41     all    0.00    0.00    0.00    0.00    1.40   17.68    
0.00    0.00   80.92
19:24:41       0    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:41       1    0.00    0.00    0.00    0.00    6.06   70.71    
0.00    0.00   23.23
19:24:41       2    0.00    0.00    0.00    0.00    5.88   67.65    
0.00    0.00   26.47
19:24:41       3    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:41       4    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:41       5    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:41       6    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00
19:24:41       7    0.00    0.00    0.00    0.00    0.00    0.00    
0.00    0.00  100.00

cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3       CPU4       
CPU5       CPU6       CPU7
  0:         42          0          0          1          0          
1          0          0   IO-APIC-edge      timer
  1:          0          0          0          1          0          
0          0          1   IO-APIC-edge      i8042
  9:          0          0          0          0          0          
0          0          0   IO-APIC-fasteoi   acpi
 14:          0          0          0          0          0          
0          0          0   IO-APIC-edge      ide0
 15:          0          0          0          0          0          
0          0          0   IO-APIC-edge      ide1
 29:    1139988    4692793      89662          3          0          
1          0          3   PCI-MSI-edge      eth0
 30:          0          2    6207546          1          0          
3          0          0   PCI-MSI-edge      eth1
 31:          0          1          1          0          0          
0          0          0   PCI-MSI-edge
 32:          0          0          0          0          0          
0          2          0   PCI-MSI-edge
 33:          1          1          0          0          0          
0          0          0   PCI-MSI-edge
 34:          0          0          0          1          0          
1          0          0   PCI-MSI-edge
 35:          0          0          0          1          0          
0          0          1   PCI-MSI-edge
 36:          0          0          0          0          1          
0          0          1   PCI-MSI-edge
 37:          1          0          0          0          0          
1          0          0   PCI-MSI-edge
 38:          0          0          1          0          1          
0          0          0   PCI-MSI-edge
 39:          0          0          2          0          0          
0          0          0   PCI-MSI-edge
 40:          0          0          0          0          0          
0          2          0   PCI-MSI-edge
 41:          0          2          0          0          0          
0          0          0   PCI-MSI-edge
 42:          0          0          0          0          0          
2          0          0   PCI-MSI-edge
 43:          0          0          0          2          0          
0          0          0   PCI-MSI-edge
 44:          0          0          0          0          0          
0          0          2   PCI-MSI-edge
 45:          2          0          0          0          0          
0          0          0   PCI-MSI-edge
 46:          0          0          0          0          2          
0          0          0   PCI-MSI-edge
 48:        191        200        185        213        219        
219        227        214   PCI-MSI-edge      ahci
 49:          0          1          1          0          0          
2          1          0   PCI-MSI-edge      ioat-msi
NMI:          0          0          0          0          0          
0          0          0   Non-maskable interrupts
LOC:    1083019    6233788    7735401      12394      15178      
10718      21192       8515   Local timer interrupts
RES:        921         44         33         20         13          
8         10         12   Rescheduling interrupts
CAL:         20         85         88         87         90         
90         91         86   Function call interrupts
TLB:        103        114        918        929         95        
113        973        990   TLB shootdowns
SPU:          0          0          0          0          0          
0          0          0   Spurious interrupts
ERR:          0
MIS:          0

i use smp_affinity
eth0 is on cpu1
eth1 is on cpu2

all test on kernel 2.6.29.5

and only one info in dmesg about Fix inflate_threshold
Fix inflate_threshold_root. Now=15 size=11 bits

This info appear when bgpd process start to learn routes from peers