Subject: [RFC] virtio: use mandatory barriers for remote processor vdevs

From: [email-masked] (Amos Kong)
Date: Mon, 19 Dec 2011 10:19:02 +0800

On 12/12/11 13:12, Rusty Russell wrote:
> On Mon, 12 Dec 2011 11:06:53 +0800, Amos Kong<[email-masked]>  wrote:
>> On 12/12/11 06:27, Benjamin Herrenschmidt wrote:
>>> On Sun, 2011-12-11 at 14:25 +0200, Michael S. Tsirkin wrote:
>>>
>>>> Forwarding some results by Amos, who run multiple netperf streams in
>>>> parallel, from an external box to the guest.  TCP_STREAM results were
>>>> noisy.  This could be due to buffering done by TCP, where packet size
>>>> varies even as message size is constant.
>>>>
>>>> TCP_RR results were consistent. In this benchmark, after switching
>>>> to mandatory barriers, CPU utilization increased by up to 35% while
>>>> throughput went down by up to 14%. the normalized throughput/cpu
>>>> regressed consistently, between 7 and 35%
>>>>
>>>> The "fix" applied was simply this:
>>>
>>> What machine&   processor was this  ?
>>
>> pined guest memory to numa node 1
>
> Please try this patch.  How much does the branch cost us?
>
> (Compiles, untested).
>
> Thanks,
> Rusty.
>
> From: Rusty Russell<[email-masked]>
> Subject: virtio: harsher barriers for virtio-mmio.
>
> We were cheating with our barriers; using the smp ones rather than the
> real device ones.  That was fine, until virtio-mmio came along, which
> could be talking to a real device (a non-SMP CPU).
>
> Unfortunately, just putting back the real barriers (reverting
> d57ed95d) causes a performance regression on virtio-pci.  In
> particular, Amos reports netbench's TCP_RR over virtio_net CPU
> utilization increased up to 35% while throughput went down by up to
> 14%.
>
> By comparison, this branch costs us???
>
> Reference: https://lkml.org/lkml/2011/12/11/22
>
> Signed-off-by: Rusty Russell<[email-masked]>
> ---
>   drivers/lguest/lguest_device.c |   10 ++++++----
>   drivers/s390/kvm/kvm_virtio.c  |    2 +-
>   drivers/virtio/virtio_mmio.c   |    7 ++++---
>   drivers/virtio/virtio_pci.c    |    4 ++--
>   drivers/virtio/virtio_ring.c   |   34 +++++++++++++++++++++-------------
>   include/linux/virtio_ring.h    |    1 +
>   tools/virtio/linux/virtio.h    |    1 +
>   tools/virtio/virtio_test.c     |    3 ++-
>   8 files changed, 38 insertions(+), 24 deletions(-)

Hi all,

I tested with the same environment and scenarios.
tested one scenarios for three times and compute the average for more 
precision.

Thanks, Amos

--------- compare results -----------
Mon Dec 19 09:51:09 2011

1 - avg-old.netperf.exhost_guest.txt
2 - avg-fixed.netperf.exhost_guest.txt

======
TCP_STREAM
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1            1|   64|   1073.54| 10.50|       102|         0|        31| 
         0|      1612|         0|        16|    487641|    489753| 
504764|       0.00|       0.00
2            1|   64|   1079.44| 10.29|       104|         0|        30| 
         0|      1594|         0|        17|    487156|    488828| 
504411|       0.00|       0.00
%             |  0.0|      +0.5|  -2.0|      +2.0|         0|      -3.2| 
         0|      -1.1|         0|      +6.2|      -0.1|      -0.2| 
-0.1|          0|          0
1            2|   64|   2141.12| 15.72|       136|         0|        33| 
         0|      1744|         0|        34|    873777|    972303| 
928926|       0.00|       0.00
2            2|   64|   2140.88| 15.64|       137|         0|        33| 
         0|      1744|         0|        34|    926588|    942841| 
974095|       0.00|       0.00
%             |  0.0|      -0.0|  -0.5|      +0.7|         0|       0.0| 
         0|       0.0|         0|       0.0|      +6.0|      -3.0| 
+4.9|          0|          0
1            4|   64|   4076.80| 19.82|       205|         0|        30| 
         0|      1577|         0|        67|   1422282|   1166425| 
1539219|       0.00|       0.00
2            4|   64|   4094.32| 20.70|       197|         0|        31| 
         0|      1612|         0|        68|   1704330|   1314077| 
1833394|       0.00|       0.00
%             |  0.0|      +0.4|  +4.4|      -3.9|         0|      +3.3| 
         0|      +2.2|         0|      +1.5|     +19.8|     +12.7| 
+19.1|          0|          0
1            1|  256|   2867.48| 13.44|       213|         0|        32| 
         0|      1726|         0|        14|    666430|    694922| 
690730|       0.00|       0.00
2            1|  256|   2874.20| 12.71|       226|         0|        32| 
         0|      1709|         0|        14|    697960|    740407| 
721807|       0.00|       0.00
%             |  0.0|      +0.2|  -5.4|      +6.1|         0|       0.0| 
         0|      -1.0|         0|       0.0|      +4.7|      +6.5| 
+4.5|          0|          0
1            2|  256|   5642.82| 17.61|       320|         0|        30| 
         0|      1594|         0|        30|   1226861|   1236081| 
1268562|       0.00|       0.00
2            2|  256|   5661.06| 17.41|       326|         0|        30| 
         0|      1594|         0|        29|   1175696|   1143490| 
1221528|       0.00|       0.00
%             |  0.0|      +0.3|  -1.1|      +1.9|         0|       0.0| 
         0|       0.0|         0|      -3.3|      -4.2|      -7.5| 
-3.7|          0|          0
1            4|  256|   9404.27| 23.55|       399|         0|        33| 
         0|      1744|         0|        37|   1692245|    659975| 
1765103|       0.00|       0.00
2            4|  256|   8761.11| 23.18|       376|         0|        32| 
         0|      1726|         0|        36|   1699382|    418992| 
1870804|       0.00|       0.00
%             |  0.0|      -6.8|  -1.6|      -5.8|         0|      -3.0| 
         0|      -1.0|         0|      -2.7|      +0.4|     -36.5| 
+6.0|          0|          0
1            1|  512|   3803.66| 14.20|       267|         0|        30| 
         0|      1594|         0|        14|    693992|    750078| 
721107|       0.00|       0.00
2            1|  512|   3838.02| 15.47|       248|         0|        31| 
         0|      1612|         0|        15|    811709|    773505| 
838788|       0.00|       0.00
%             |  0.0|      +0.9|  +8.9|      -7.1|         0|      +3.3| 
         0|      +1.1|         0|      +7.1|     +17.0|      +3.1| 
+16.3|          0|          0
1            2|  512|   8606.11| 19.34|       444|         0|        32| 
         0|      1709|         0|        29|   1264624|    647652| 
1309740|       0.00|       0.00
2            2|  512|   8127.80| 18.93|       428|         0|        32| 
         0|      1726|         0|        28|   1216606|   1179269| 
1266260|       0.00|       0.00
%             |  0.0|      -5.6|  -2.1|      -3.6|         0|       0.0| 
         0|      +1.0|         0|      -3.4|      -3.8|     +82.1| 
-3.3|          0|          0
1            4|  512|   9409.41| 22.88|       413|         0|        30| 
         0|      1577|         0|        35|   1592587|   1072862| 
1746787|       0.00|       0.00
2            4|  512|   9217.34| 23.05|       400|         0|        30| 
         0|      1594|         0|        34|   1596515|    513742| 
1831538|       0.00|       0.00
%             |  0.0|      -2.0|  +0.7|      -3.1|         0|       0.0| 
         0|      +1.1|         0|      -2.9|      +0.2|     -52.1| 
+4.9|          0|          0
1            1| 1024|   4389.75| 14.62|       303|         0|        32| 
         0|      1726|         0|        14|    663417|    611555| 
689028|       0.00|       0.00
2            1| 1024|   4390.44| 13.66|       321|         0|        32| 
         0|      1726|         0|        13|    609836|    556090| 
634511|       0.00|       0.00
%             |  0.0|      +0.0|  -6.6|      +5.9|         0|       0.0| 
         0|       0.0|         0|      -7.1|      -8.1|      -9.1| 
-7.9|          0|          0
1            2| 1024|   9046.18| 19.63|       460|         0|        30| 
         0|      1594|         0|        28|   1206853|   1054653| 
1256203|       0.00|       0.00
2            2| 1024|   9027.54| 20.15|       447|         0|        30| 
         0|      1577|         0|        27|   1179555|    884408| 
1226843|       0.00|       0.00
%             |  0.0|      -0.2|  +2.6|      -2.8|         0|       0.0| 
         0|      -1.1|         0|      -3.6|      -2.3|     -16.1| 
-2.3|          0|          0
1            4| 1024|   9410.41| 22.01|       427|         0|        32| 
         0|      1726|         0|        36|   1734433|    887190| 
1852486|       0.00|       0.00
2            4| 1024|   9409.11| 23.18|       405|         0|        32| 
         0|      1726|         0|        34|   1695359|    625268| 
1803599|       0.00|       0.00
%             |  0.0|      -0.0|  +5.3|      -5.2|         0|       0.0| 
         0|       0.0|         0|      -5.6|      -2.3|     -29.5| 
-2.6|          0|          0
TCP_MAERTS
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1            1|   64|   1056.13| 17.51|        59|         0|        30| 
         0|      1594|         3|        86|    476098|   4780186| 
538158|       0.00|       0.00
2            1|   64|   1065.51| 17.64|        60|         0|        30| 
         0|      1594|         3|        87|    476836|   4823602| 
538860|       0.00|       0.00
%             |  0.0|      +0.9|  +0.7|      +1.7|         0|       0.0| 
         0|       0.0|       0.0|      +1.2|      +0.2|      +0.9| 
+0.1|          0|          0
1            2|   64|   2472.80| 32.18|        76|         0|        32| 
         0|      1709|         2|       199|    479119|   2089931| 
600119|       0.00|       0.00
2            2|   64|   2468.76| 32.28|        76|         0|        33| 
         0|      1744|         1|       199|    479372|   2179342| 
600328|       0.00|       0.00
%             |  0.0|      -0.2|  +0.3|       0.0|         0|      +3.1| 
         0|      +2.0|     -50.0|       0.0|      +0.1|      +4.3| 
+0.0|          0|          0
1            4|   64|   2453.22| 32.20|        75|         0|        31| 
         0|      1612|         2|       198|    479223|   2175801| 
600081|       0.00|       0.00
2            4|   64|   2465.68| 32.30|        76|         0|        30| 
         0|      1594|         3|       200|    479404|   2108293| 
600252|       0.00|       0.00
%             |  0.0|      +0.5|  +0.3|      +1.3|         0|      -3.2| 
         0|      -1.1|     +50.0|      +1.0|      +0.0|      -3.1| 
+0.0|          0|          0
1            1|  256|   3608.37| 24.59|       146|         0|        32| 
         0|      1726|         2|       277|     88346|    108310| 
150637|       0.00|       0.00
2            1|  256|   3611.12| 24.95|       144|         0|        32| 
         0|      1709|         0|       281|     83319|     64354| 
145511|       0.00|       0.00
%             |  0.0|      +0.1|  +1.5|      -1.4|         0|       0.0| 
         0|      -1.0|    -100.0|      +1.4|      -5.7|     -40.6| 
-3.4|          0|          0
1            2|  256|   7373.32| 26.83|       274|         0|        31| 
         0|      1612|         0|      4185|    278932|    264031| 
377267|       0.00|       0.00
2            2|  256|   7460.03| 26.93|       276|         0|        30| 
         0|      1594|         1|      5913|    270840|    246165| 
371999|       0.00|       0.00
%             |  0.0|      +1.2|  +0.4|      +0.7|         0|      -3.2| 
         0|      -1.1|         0|     +41.3|      -2.9|      -6.8| 
-1.4|          0|          0
1            4|  256|   9322.66| 29.73|       313|         0|        32| 
         0|      1709|       848|      3041|    363114|    329308| 
482586|       0.00|       0.00
2            4|  256|   9365.52| 29.59|       316|         0|        33| 
         0|      1744|       414|      2884|    371485|    339191| 
491366|       0.00|       0.00
%             |  0.0|      +0.5|  -0.5|      +1.0|         0|      +3.1| 
         0|      +2.0|     -51.2|      -5.2|      +2.3|      +3.0| 
+1.8|          0|          0
1            1|  512|   9360.25| 17.20|       543|         0|        30| 
         0|      1577|         0|       387|    438621|    408062| 
499989|       0.00|       0.00
2            1|  512|   8899.37| 18.17|       495|         0|        30| 
         0|      1594|         0|      5049|    393341|    371545| 
459397|       0.00|       0.00
%             |  0.0|      -4.9|  +5.6|      -8.8|         0|       0.0| 
         0|      +1.1|         0|   +1204.7|     -10.3|      -8.9| 
-8.1|          0|          0
1            2|  512|   8713.11| 20.77|       420|         0|        32| 
         0|      1726|         0|     11227|    296157|    246495| 
371632|       0.00|       0.00
2            2|  512|   8686.31| 20.72|       421|         0|        32| 
         0|      1709|         0|     11002|    296608|    246597| 
371797|       0.00|       0.00
%             |  0.0|      -0.3|  -0.2|      +0.2|         0|       0.0| 
         0|      -1.0|         0|      -2.0|      +0.2|      +0.0| 
+0.0|          0|          0
1            4|  512|   8780.40| 22.72|       386|         0|        30| 
         0|      1594|         0|     10337|    303619|    249822| 
385457|       0.00|       0.00
2            4|  512|   8858.51| 22.66|       390|         0|        30| 
         0|      1577|         0|      9968|    301847|    246543| 
382121|       0.00|       0.00
%             |  0.0|      +0.9|  -0.3|      +1.0|         0|       0.0| 
         0|      -1.1|         0|      -3.6|      -0.6|      -1.3| 
-0.9|          0|          0
1            1| 1024|   9387.09| 16.43|       571|         0|        32| 
         0|      1726|         0|        84|    452351|    429483| 
504022|       0.00|       0.00
2            1| 1024|   9388.90| 16.51|       568|         0|        32| 
         0|      1726|         2|        76|    446994|    422489| 
499025|       0.00|       0.00
%             |  0.0|      +0.0|  +0.5|      -0.5|         0|       0.0| 
         0|       0.0|         0|      -9.5|      -1.2|      -1.6| 
-1.0|          0|          0
1            2| 1024|   9361.43| 17.26|       542|         0|        30| 
         0|      1594|         5|       647|    388626|    358303| 
442125|       0.00|       0.00
2            2| 1024|   9364.78| 17.25|       542|         0|        31| 
         0|      1612|        35|       554|    389326|    360169| 
442343|       0.00|       0.00
%             |  0.0|      +0.0|  -0.1|       0.0|         0|      +3.3| 
         0|      +1.1|    +600.0|     -14.4|      +0.2|      +0.5| 
+0.0|          0|          0
1            4| 1024|   9381.57| 18.35|       510|         0|        32| 
         0|      1726|      1189|       648|    405900|    376269| 
459845|       0.00|       0.00
2            4| 1024|   9393.48| 18.27|       513|         0|        32| 
         0|      1726|      1754|       610|    402132|    373768| 
455629|       0.00|       0.00
%             |  0.0|      +0.1|  -0.4|      +0.6|         0|       0.0| 
         0|       0.0|     +47.5|      -5.9|      -0.9|      -0.7| 
-0.9|          0|          0
TCP_RR
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1           50|   64|  10903.70|  8.03|      1382|         0|        32| 
         0|      1698|         0|         9|    654298|    654362| 
665532|       0.00|       0.00
2           50|   64|  10880.50|  7.40|      1488|         0|        32| 
         0|      1698|         0|        10|    652907|    652973| 
667042|       0.00|       0.00
%             |  0.0|      -0.2|  -7.8|      +7.7|         0|       0.0| 
         0|       0.0|         0|     +11.1|      -0.2|      -0.2| 
+0.2|          0|          0
1          100|   64|  10953.00|  8.40|      1332|         0|        34| 
         0|      1830|         0|        10|    657257|    657325| 
667088|       0.00|       0.00
2          100|   64|  10882.78|  7.67|      1439|         0|        34| 
         0|      1830|         0|         9|    653044|    653110| 
668883|       0.00|       0.00
%             |  0.0|      -0.6|  -8.7|      +8.0|         0|       0.0| 
         0|       0.0|         0|     -10.0|      -0.6|      -0.6| 
+0.3|          0|          0
1          250|   64|  10902.66|  8.57|      1300|         0|        33| 
         0|      1716|         0|        10|    654235|    654308| 
665518|       0.00|       0.00
2          250|   64|  10866.79|  7.58|      1449|         0|        32| 
         0|      1664|         0|        10|    652083|    652155| 
666869|       0.00|       0.00
%             |  0.0|      -0.3| -11.6|     +11.5|         0|      -3.0| 
         0|      -3.0|         0|       0.0|      -0.3|      -0.3| 
+0.2|          0|          0
1          500|   64|  10924.34|  7.25|      1509|         0|        34| 
         0|      1830|         0|        10|    655536|    655619| 
665776|       0.00|       0.00
2          500|   64|  10927.52|  6.50|      1684|         0|        34| 
         0|      1813|         0|        10|    655726|    655803| 
668527|       0.00|       0.00
%             |  0.0|      +0.0| -10.3|     +11.6|         0|       0.0| 
         0|      -0.9|         0|       0.0|      +0.0|      +0.0| 
+0.4|          0|          0
1           50|  256|  10407.35|  9.38|      1112|         0|        32| 
         0|      1681|         0|         9|    624516|    624581| 
639159|       0.00|       0.00
2           50|  256|  10422.60|  9.45|      1108|         0|        33| 
         0|      1716|         0|         9|    625432|    625498| 
641343|       0.00|       0.00
%             |  0.0|      +0.1|  +0.7|      -0.4|         0|      +3.1| 
         0|      +2.1|         0|       0.0|      +0.1|      +0.1| 
+0.3|          0|          0
1          100|  256|  10404.30|  8.99|      1159|         0|        34| 
         0|      1830|         0|         9|    624335|    624400| 
637357|       0.00|       0.00
2          100|  256|  10442.84|  9.57|      1093|         0|        35| 
         0|      1848|         0|         9|    626650|    626714| 
639017|       0.00|       0.00
%             |  0.0|      +0.4|  +6.5|      -5.7|         0|      +2.9| 
         0|      +1.0|         0|       0.0|      +0.4|      +0.4| 
+0.3|          0|          0
1          250|  256|  10427.71|  9.10|      1157|         0|        32| 
         0|      1698|         0|         9|    625738|    625822| 
641221|       0.00|       0.00
2          250|  256|  10464.71|  9.69|      1085|         0|        32| 
         0|      1698|         0|         9|    627960|    628040| 
640680|       0.00|       0.00
%             |  0.0|      +0.4|  +6.5|      -6.2|         0|       0.0| 
         0|       0.0|         0|       0.0|      +0.4|      +0.4| 
-0.1|          0|          0
1          500|  256|  10442.18|  8.65|      1217|         0|        34| 
         0|      1830|         0|        10|    626608|    626675| 
640081|       0.00|       0.00
2          500|  256|  10463.74|  9.63|      1089|         0|        34| 
         0|      1813|         0|         9|    627904|    627967| 
643152|       0.00|       0.00
%             |  0.0|      +0.2| +11.3|     -10.5|         0|       0.0| 
         0|      -0.9|         0|     -10.0|      +0.2|      +0.2| 
+0.5|          0|          0
1           50|  512|   8505.70|  7.20|      1191|         0|        33| 
         0|      1716|         0|         7|    510418|    510486| 
524904|       0.00|       0.00
2           50|  512|   8563.34|  7.24|      1185|         0|        32| 
         0|      1664|         0|         8|    513877|    513940| 
526294|       0.00|       0.00
%             |  0.0|      +0.7|  +0.6|      -0.5|         0|      -3.0| 
         0|      -3.0|         0|     +14.3|      +0.7|      +0.7| 
+0.3|          0|          0
1          100|  512|   8509.97|  7.00|      1226|         0|        34| 
         0|      1830|         0|         7|    510674|    510756| 
525205|       0.00|       0.00
2          100|  512|   8555.22|  7.52|      1144|         0|        34| 
         0|      1830|         0|         7|    513389|    513471| 
526609|       0.00|       0.00
%             |  0.0|      +0.5|  +7.4|      -6.7|         0|       0.0| 
         0|       0.0|         0|       0.0|      +0.5|      +0.5| 
+0.3|          0|          0
1          250|  512|   8507.35|  7.21|      1183|         0|        32| 
         0|      1681|         0|         7|    510518|    510579| 
524294|       0.00|       0.00
2          250|  512|   8578.13|  7.01|      1223|         0|        33| 
         0|      1716|         0|         8|    514765|    514829| 
526481|       0.00|       0.00
%             |  0.0|      +0.8|  -2.8|      +3.4|         0|      +3.1| 
         0|      +2.1|         0|     +14.3|      +0.8|      +0.8| 
+0.4|          0|          0
1          500|  512|   8521.68|  6.54|      1302|         0|        34| 
         0|      1813|         0|         8|    511375|    511443| 
523357|       0.00|       0.00
2          500|  512|   8573.17|  6.94|      1235|         0|        34| 
         0|      1830|         0|         7|    514467|    514533| 
526131|       0.00|       0.00
%             |  0.0|      +0.6|  +6.1|      -5.1|         0|       0.0| 
         0|      +0.9|         0|     -12.5|      +0.6|      +0.6| 
+0.5|          0|          0
1           50| 1024|   8150.01|  7.69|      1060|         0|        32| 
         0|      1681|         0|         7|    489075|    489155| 
503136|       0.00|       0.00
2           50| 1024|   8129.35|  7.65|      1062|         0|        34| 
         0|      1804|         0|         7|    487841|    487915| 
502061|       0.00|       0.00
%             |  0.0|      -0.3|  -0.5|      +0.2|         0|      +6.2| 
         0|      +7.3|         0|       0.0|      -0.3|      -0.3| 
-0.2|          0|          0
1          100| 1024|   8166.06|  7.53|      1083|         0|        34| 
         0|      1804|         0|         7|    490039|    490104| 
502990|       0.00|       0.00
2          100| 1024|   8118.23|  7.77|      1044|         0|        33| 
         0|      1725|         0|         7|    487171|    487236| 
501939|       0.00|       0.00
%             |  0.0|      -0.6|  +3.2|      -3.6|         0|      -2.9| 
         0|      -4.4|         0|       0.0|      -0.6|      -0.6| 
-0.2|          0|          0
1          250| 1024|   8175.35|  7.58|      1079|         0|        35| 
         0|      1848|         0|         7|    490597|    490657| 
503641|       0.00|       0.00
2          250| 1024|   8146.63|  7.59|      1072|         0|        34| 
         0|      1813|         0|         7|    488874|    488939| 
502010|       0.00|       0.00
%             |  0.0|      -0.4|  +0.1|      -0.6|         0|      -2.9| 
         0|      -1.9|         0|       0.0|      -0.4|      -0.4| 
-0.3|          0|          0
1          500| 1024|   8182.51|  7.61|      1075|         0|        32| 
         0|      1698|         0|         7|    491028|    491095| 
504222|       0.00|       0.00
2          500| 1024|   8157.39|  7.58|      1075|         0|        33| 
         0|      1716|         0|         7|    489521|    489593| 
502368|       0.00|       0.00
%             |  0.0|      -0.3|  -0.4|       0.0|         0|      +3.1| 
         0|      +1.1|         0|       0.0|      -0.3|      -0.3| 
-0.4|          0|          0

Mon Dec 19 09:51:09 2011

1 - avg-old.netperf.host_guest.txt
2 - avg-fixed.netperf.host_guest.txt

======
TCP_STREAM
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1            1|   64|    715.76| 28.44|        24|         0|        31| 
         0|      1629|         0|        36|   3206862|   1733540| 
3245171|       0.00|       0.00
2            1|   64|    714.82| 28.44|        25|         0|        31| 
         0|      1612|         0|        36|   3204256|   1709508| 
3242450|       0.00|       0.00
%             |  0.0|      -0.1|   0.0|      +4.2|         0|       0.0| 
         0|      -1.0|         0|       0.0|      -0.1|      -1.4| 
-0.1|          0|          0
1            2|   64|   1449.31| 41.23|        35|         0|        33| 
         0|      1744|         0|        66|   2764635|   1667527| 
2815591|       0.00|       0.00
2            2|   64|   1442.92| 41.32|        34|         0|        32| 
         0|      1709|         0|        66|   2751461|   1659498| 
2799277|       0.00|       0.00
%             |  0.0|      -0.4|  +0.2|      -2.9|         0|      -3.0| 
         0|      -2.0|         0|       0.0|      -0.5|      -0.5| 
-0.6|          0|          0
1            4|   64|   2671.25| 48.95|        54|         0|        30| 
         0|      1577|         0|        47|    914085|    289771| 
947054|       0.00|       0.00
2            4|   64|   2652.68| 48.20|        54|         0|        30| 
         0|      1594|         0|        46|    882300|    293273| 
914249|       0.00|       0.00
%             |  0.0|      -0.7|  -1.5|       0.0|         0|       0.0| 
         0|      +1.1|         0|      -2.1|      -3.5|      +1.2| 
-3.5|          0|          0
1            1|  256|   1478.61| 29.34|        50|         0|        32| 
         0|      1709|         0|        64|   3502384|   1541681| 
3545371|       0.00|       0.00
2            1|  256|   1481.38| 29.27|        50|         0|        32| 
         0|      1726|         0|        64|   3485623|   1526105| 
3528343|       0.00|       0.00
%             |  0.0|      +0.2|  -0.2|       0.0|         0|       0.0| 
         0|      +1.0|         0|       0.0|      -0.5|      -1.0| 
-0.5|          0|          0
1            2|  256|   3095.93| 42.31|        72|         0|        31| 
         0|      1612|         0|       123|   1521019|    466426| 
1637722|       0.00|       0.00
2            2|  256|   3098.16| 42.03|        73|         0|        30| 
         0|      1594|         0|       123|   1519458|    472632| 
1632462|       0.00|       0.00
%             |  0.0|      +0.1|  -0.7|      +1.4|         0|      -3.2| 
         0|      -1.1|         0|       0.0|      -0.1|      +1.3| 
-0.3|          0|          0
1            4|  256|   6553.60| 38.44|       170|         0|        33| 
         0|      1761|         0|        38|   1343193|    237604| 
1402385|       0.00|       0.00
2            4|  256|   6649.37| 38.34|       172|         0|        32| 
         0|      1726|         0|        32|   1343770|    236320| 
1400875|       0.00|       0.00
%             |  0.0|      +1.5|  -0.3|      +1.2|         0|      -3.0| 
         0|      -2.0|         0|     -15.8|      +0.0|      -0.5| 
-0.1|          0|          0
1            1|  512|   1818.40| 29.28|        61|         0|        31| 
         0|      1646|         0|        76|   3326887|   1491961| 
3371189|       0.00|       0.00
2            1|  512|   1822.74| 29.45|        61|         0|        30| 
         0|      1577|         0|        76|   3309934|   1470715| 
3352921|       0.00|       0.00
%             |  0.0|      +0.2|  +0.6|       0.0|         0|      -3.2| 
         0|      -4.2|         0|       0.0|      -0.5|      -1.4| 
-0.5|          0|          0
1            2|  512|   3931.72| 43.51|        89|         0|        33| 
         0|      1761|         0|       137|   1148331|    301194| 
1270351|       0.00|       0.00
2            2|  512|   3926.16| 43.45|        90|         0|        32| 
         0|      1726|         0|       135|   1166280|    306110| 
1288869|       0.00|       0.00
%             |  0.0|      -0.1|  -0.1|      +1.1|         0|      -3.0| 
         0|      -2.0|         0|      -1.5|      +1.6|      +1.6| 
+1.5|          0|          0
1            4|  512|   8634.49| 40.69|       211|         0|        31| 
         0|      1612|         0|        53|   1869998|    353856| 
1948593|       0.00|       0.00
2            4|  512|   9137.12| 40.77|       223|         0|        30| 
         0|      1594|         0|        48|   1879574|    362851| 
1959044|       0.00|       0.00
%             |  0.0|      +5.8|  +0.2|      +5.7|         0|      -3.2| 
         0|      -1.1|         0|      -9.4|      +0.5|      +2.5| 
+0.5|          0|          0
1            1| 1024|   2042.67| 29.50|        68|         0|        33| 
         0|      1778|         0|        84|   3087032|   1309160| 
3130736|       0.00|       0.00
2            1| 1024|   2033.24| 29.51|        68|         0|        32| 
         0|      1726|         0|        83|   3082898|   1295936| 
3125229|       0.00|       0.00
%             |  0.0|      -0.5|  +0.0|       0.0|         0|      -3.0| 
         0|      -2.9|         0|      -1.2|      -0.1|      -1.0| 
-0.2|          0|          0
1            2| 1024|   7703.26| 39.58|       194|         0|        32| 
         0|      1673|         0|        65|   2522172|    663302| 
2684835|       0.00|       0.00
2            2| 1024|   7657.00| 39.27|       194|         0|        30| 
         0|      1594|         0|        62|   2607281|    698035| 
2755198|       0.00|       0.00
%             |  0.0|      -0.6|  -0.8|       0.0|         0|      -6.2| 
         0|      -4.7|         0|      -4.6|      +3.4|      +5.2| 
+2.6|          0|          0
1            4| 1024|  11814.84| 39.38|       299|         0|        32| 
         0|      1700|         0|        28|   2510318|    576071| 
2596631|       0.00|       0.00
2            4| 1024|  12871.76| 38.93|       330|         0|        32| 
         0|      1726|         0|        25|   2232437|    632785| 
2316035|       0.00|       0.00
%             |  0.0|      +8.9|  -1.1|     +10.4|         0|       0.0| 
         0|      +1.5|         0|     -10.7|     -11.1|      +9.8| 
-10.8|          0|          0
TCP_MAERTS
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1            1|   64|    706.98| 26.25|        26|         0|        31| 
         0|      1656|         0|        80|   2630204|   4185330| 
2692397|       0.00|       0.00
2            1|   64|    767.45| 27.78|        27|         0|        30| 
         0|      1594|         0|        85|   2626694|   4317273| 
2688799|       0.00|       0.00
%             |  0.0|      +8.6|  +5.8|      +3.8|         0|      -3.2| 
         0|      -3.7|         0|      +6.2|      -0.1|      +3.2| 
-0.1|          0|          0
1            2|   64|   2644.57| 42.60|        61|         0|        32| 
         0|      1700|         0|     34863|     49057|     16791| 
204805|       0.00|       0.00
2            2|   64|   2721.19| 42.69|        63|         0|        32| 
         0|      1709|         0|     42365|     52739|     20094| 
215895|       0.00|       0.00
%             |  0.0|      +2.9|  +0.2|      +3.3|         0|       0.0| 
         0|      +0.5|         0|     +21.5|      +7.5|     +19.7| 
+5.4|          0|          0
1            4|   64|   2756.40| 42.69|        64|         0|        32| 
         0|      1708|         0|     52043|     47976|     12694| 
220732|       0.00|       0.00
2            4|   64|   2709.19| 42.79|        62|         0|        30| 
         0|      1594|         0|     50144|     47275|     12743| 
218074|       0.00|       0.00
%             |  0.0|      -1.7|  +0.2|      -3.1|         0|      -6.2| 
         0|      -6.7|         0|      -3.6|      -1.5|      +0.4| 
-1.2|          0|          0
1            1|  256|   3785.63| 32.34|       116|         0|        33| 
         0|      1734|         0|     36642|     58940|      1187| 
157652|       0.00|       0.00
2            1|  256|   3593.17| 32.90|       108|         0|        32| 
         0|      1726|         0|     33179|     54980|      1130| 
150168|       0.00|       0.00
%             |  0.0|      -5.1|  +1.7|      -6.9|         0|      -3.0| 
         0|      -0.5|         0|      -9.5|      -6.7|      -4.8| 
-4.7|          0|          0
1            2|  256|   8316.26| 40.45|       205|         0|        32| 
         0|      1673|         0|     28302|    114835|      1655| 
251137|       0.00|       0.00
2            2|  256|   8390.41| 41.17|       203|         0|        30| 
         0|      1594|         0|     31222|    115372|      1696| 
257151|       0.00|       0.00
%             |  0.0|      +0.9|  +1.8|      -1.0|         0|      -6.2| 
         0|      -4.7|         0|     +10.3|      +0.5|      +2.5| 
+2.4|          0|          0
1            4|  256|   9672.49| 42.40|       227|         0|        33| 
         0|      1761|         0|     30045|    132027|      3059| 
283491|       0.00|       0.00
2            4|  256|   9741.71| 42.57|       228|         0|        32| 
         0|      1726|         6|     28875|    132125|      1999| 
283036|       0.00|       0.00
%             |  0.0|      +0.7|  +0.4|      +0.4|         0|      -3.0| 
         0|      -2.0|         0|      -3.9|      +0.1|     -34.7| 
-0.2|          0|          0
1            1|  512|   6052.41| 32.23|       187|         0|        31| 
         0|      1612|         0|     44681|     86084|      2592| 
187465|       0.00|       0.00
2            1|  512|   6267.37| 32.51|       192|         0|        30| 
         0|      1577|         0|     45278|     88449|      2708| 
191374|       0.00|       0.00
%             |  0.0|      +3.6|  +0.9|      +2.7|         0|      -3.2| 
         0|      -2.2|         0|      +1.3|      +2.7|      +4.5| 
+2.1|          0|          0
1            2|  512|  12714.52| 38.27|       331|         0|        33| 
         0|      1744|         0|     24843|    169170|      2381| 
292210|       0.00|       0.00
2            2|  512|  11341.65| 37.30|       303|         0|        32| 
         0|      1726|        14|     27393|    152465|      2980| 
270740|       0.00|       0.00
%             |  0.0|     -10.8|  -2.5|      -8.5|         0|      -3.0| 
         0|      -1.0|         0|     +10.3|      -9.9|     +25.2| 
-7.3|          0|          0
1            4|  512|  16127.03| 40.80|       394|         0|        31| 
         0|      1612|         0|     15063|    210628|      2234| 
344124|       0.00|       0.00
2            4|  512|  14709.72| 39.94|       367|         0|        31| 
         0|      1612|         0|     17823|    193670|      4457| 
324744|       0.00|       0.00
%             |  0.0|      -8.8|  -2.1|      -6.9|         0|       0.0| 
         0|       0.0|         0|     +18.3|      -8.1|     +99.5| 
-5.6|          0|          0
1            1| 1024|   6436.88| 30.31|       212|         0|        33| 
         0|      1778|         0|     47820|     83940|      2007| 
172847|       0.00|       0.00
2            1| 1024|   6495.48| 30.51|       212|         0|        32| 
         0|      1726|         0|     47771|     85436|      2038| 
175027|       0.00|       0.00
%             |  0.0|      +0.9|  +0.7|       0.0|         0|      -3.0| 
         0|      -2.9|         0|      -0.1|      +1.8|      +1.5| 
+1.3|          0|          0
1            2| 1024|  12245.34| 33.44|       365|         0|        31| 
         0|      1629|         0|     26499|    162142|      2909| 
255717|       0.00|       0.00
2            2| 1024|  12913.57| 33.93|       380|         0|        31| 
         0|      1612|         0|     24196|    171386|      3671| 
266270|       0.00|       0.00
%             |  0.0|      +5.5|  +1.5|      +4.1|         0|       0.0| 
         0|      -1.0|         0|      -8.7|      +5.7|     +26.2| 
+4.1|          0|          0
1            4| 1024|  16428.48| 34.81|       471|         0|        32| 
         0|      1709|         0|     12496|    215031|      6557| 
318039|       0.00|       0.00
2            4| 1024|  17294.33| 35.05|       492|         0|        32| 
         0|      1709|         0|      9444|    224694|      4095| 
328098|       0.00|       0.00
%             |  0.0|      +5.3|  +0.7|      +4.5|         0|       0.0| 
         0|       0.0|         0|     -24.4|      +4.5|     -37.5| 
+3.2|          0|          0
TCP_RR
       sessions| size|throughput|   cpu| normalize|  #tx-pkts| 
#rx-pkts|  #tx-byts|  #rx-byts| #re-trans|  #tx-intr|  #rx-intr| 
#io_exit|  #irq_inj|#tpkt/#exit| #rpkt/#irq
1           50|   64|  14626.43| 14.93|       980|         0|        32| 
         0|      1681|         0|        13|    877664|    877731| 
902624|       0.00|       0.00
2           50|   64|  14639.95| 13.10|      1123|         0|        32| 
         0|      1681|         0|        13|    878475|    878538| 
897278|       0.00|       0.00
%             |  0.0|      +0.1| -12.3|     +14.6|         0|       0.0| 
         0|       0.0|         0|       0.0|      +0.1|      +0.1| 
-0.6|          0|          0
1          100|   64|  14697.50| 14.31|      1029|         0|        34| 
         0|      1830|         0|        13|    881930|    881991| 
903837|       0.00|       0.00
2          100|   64|  14692.35| 13.08|      1128|         0|        34| 
         0|      1830|         0|        13|    881619|    881679| 
898952|       0.00|       0.00
%             |  0.0|      -0.0|  -8.6|      +9.6|         0|       0.0| 
         0|       0.0|         0|       0.0|      -0.0|      -0.0| 
-0.5|          0|          0
1          250|   64|  14683.40| 14.34|      1027|         0|        32| 
         0|      1698|         0|        13|    881083|    881147| 
903071|       0.00|       0.00
2          250|   64|  14677.06| 12.85|      1144|         0|        32| 
         0|      1698|         0|        13|    880702|    880762| 
898190|       0.00|       0.00
%             |  0.0|      -0.0| -10.4|     +11.4|         0|       0.0| 
         0|       0.0|         0|       0.0|      -0.0|      -0.0| 
-0.5|          0|          0
1          500|   64|  14698.45| 14.39|      1025|         0|        34| 
         0|      1830|         0|        13|    881985|    882060| 
905537|       0.00|       0.00
2          500|   64|  14626.17| 13.54|      1083|         0|        34| 
         0|      1830|         0|        13|    877648|    877726| 
896427|       0.00|       0.00
%             |  0.0|      -0.5|  -5.9|      +5.7|         0|       0.0| 
         0|       0.0|         0|       0.0|      -0.5|      -0.5| 
-1.0|          0|          0
1           50|  256|  14386.52| 14.14|      1018|         0|        33| 
         0|      1716|         0|        13|    863266|    863336| 
887195|       0.00|       0.00
2           50|  256|  14359.26| 14.22|      1016|         0|        32| 
         0|      1681|         0|        13|    861630|    861698| 
882444|       0.00|       0.00
%             |  0.0|      -0.2|  +0.6|      -0.2|         0|      -3.0| 
         0|      -2.0|         0|       0.0|      -0.2|      -0.2| 
-0.5|          0|          0
1          100|  256|  14364.89| 14.25|      1008|         0|        34| 
         0|      1813|         0|        13|    861969|    862033| 
886679|       0.00|       0.00
2          100|  256|  14393.82| 14.53|       999|         0|        34| 
         0|      1813|         0|        13|    863704|    863765| 
884487|       0.00|       0.00
%             |  0.0|      +0.2|  +2.0|      -0.9|         0|       0.0| 
         0|       0.0|         0|       0.0|      +0.2|      +0.2| 
-0.2|          0|          0
1          250|  256|  14387.95| 14.05|      1024|         0|        32| 
         0|      1681|         0|        13|    863352|    863429| 
887505|       0.00|       0.00
2          250|  256|  14344.74| 14.62|       987|         0|        32| 
         0|      1698|         0|        13|    860760|    860843| 
882154|       0.00|       0.00
%             |  0.0|      -0.3|  +4.1|      -3.6|         0|       0.0| 
         0|      +1.0|         0|       0.0|      -0.3|      -0.3| 
-0.6|          0|          0
1          500|  256|  14365.89| 14.19|      1013|         0|        33| 
         0|      1769|         0|        13|    862029|    862099| 
885852|       0.00|       0.00
2          500|  256|  14329.59| 14.62|       990|         0|        34| 
         0|      1830|         0|        13|    859852|    861233| 
880082|       0.00|       0.00
%             |  0.0|      -0.3|  +3.0|      -2.3|         0|      +3.0| 
         0|      +3.4|         0|       0.0|      -0.3|      -0.1| 
-0.7|          0|          0
1           50|  512|  14273.07| 14.12|      1010|         0|        33| 
         0|      1742|         0|        13|    856460|    856524| 
880356|       0.00|       0.00
2           50|  512|  14222.08| 14.72|       966|         0|        32| 
         0|      1698|         0|        12|    853398|    853468| 
875621|       0.00|       0.00
%             |  0.0|      -0.4|  +4.2|      -4.4|         0|      -3.0| 
         0|      -2.5|         0|      -7.7|      -0.4|      -0.4| 
-0.5|          0|          0
1          100|  512|  14236.34| 14.51|       982|         0|        34| 
         0|      1804|         0|        13|    854258|    854335| 
876662|       0.00|       0.00
2          100|  512|  14147.89| 14.85|       953|         0|        34| 
         0|      1813|         0|        13|    848947|    849031| 
871773|       0.00|       0.00
%             |  0.0|      -0.6|  +2.3|      -3.0|         0|       0.0| 
         0|      +0.5|         0|       0.0|      -0.6|      -0.6| 
-0.6|          0|          0
1          250|  512|  14260.79| 14.53|       983|         0|        33| 
         0|      1760|         0|        13|    855721|    855791| 
879099|       0.00|       0.00
2          250|  512|  14190.68| 14.87|       954|         0|        32| 
         0|      1698|         0|        13|    851517|    851580| 
874119|       0.00|       0.00
%             |  0.0|      -0.5|  +2.3|      -3.0|         0|      -3.0| 
         0|      -3.5|         0|       0.0|      -0.5|      -0.5| 
-0.6|          0|          0
1          500|  512|  14273.71| 14.18|      1008|         0|        33| 
         0|      1769|         0|        13|    856499|    856562| 
879984|       0.00|       0.00
2          500|  512|  14213.87| 14.72|       967|         0|        34| 
         0|      1830|         0|        13|    852907|    852976| 
875328|       0.00|       0.00
%             |  0.0|      -0.4|  +3.8|      -4.1|         0|      +3.0| 
         0|      +3.4|         0|       0.0|      -0.4|      -0.4| 
-0.5|          0|          0
1           50| 1024|  14049.77| 13.89|      1024|         0|        32| 
         0|      1708|         0|        12|    843061|    843134| 
863697|       0.00|       0.00
2           50| 1024|  13980.25| 14.38|       980|         0|        32| 
         0|      1698|         0|        12|    838890|    838973| 
858350|       0.00|       0.00
%             |  0.0|      -0.5|  +3.5|      -4.3|         0|       0.0| 
         0|      -0.6|         0|       0.0|      -0.5|      -0.5| 
-0.6|          0|          0
1          100| 1024|  14025.66| 13.32|      1066|         0|        33| 
         0|      1769|         0|        13|    841616|    841685| 
864460|       0.00|       0.00
2          100| 1024|  13993.30| 14.82|       946|         0|        34| 
         0|      1830|         0|        12|    839676|    839735| 
859288|       0.00|       0.00
%             |  0.0|      -0.2| +11.3|     -11.3|         0|      +3.0| 
         0|      +3.4|         0|      -7.7|      -0.2|      -0.2| 
-0.6|          0|          0
1          250| 1024|  14060.15| 13.90|      1023|         0|        35| 
         0|      1848|         0|        12|    843688|    843752| 
864475|       0.00|       0.00
2          250| 1024|  13982.47| 15.34|       913|         0|        34| 
         0|      1830|         0|        12|    839026|    839089| 
859914|       0.00|       0.00
%             |  0.0|      -0.6| +10.4|     -10.8|         0|      -2.9| 
         0|      -1.0|         0|       0.0|      -0.6|      -0.6| 
-0.5|          0|          0
1          500| 1024|  14051.14| 13.80|      1024|         0|        33| 
         0|      1716|         0|        13|    843144|    843212| 
862981|       0.00|       0.00
2          500| 1024|  14013.95| 15.27|       918|         0|        32| 
         0|      1681|         0|        13|    840915|    840983| 
862635|       0.00|       0.00
%             |  0.0|      -0.3| +10.7|     -10.4|         0|      -3.0| 
         0|      -2.0|         0|       0.0|      -0.3|      -0.3| 
-0.0|          0|          0