Write Performance Problem during Migrations while adding a new Node

Operations Configuration
1

Hi Community,

I have got a 4-Node Cluster running CE 3.14.1.2 on Intel DC P3700 NVME Devices and Ubuntu 14.04 Now I want to add a new Node, running CE 4.2.0.5 on Intel Optane 4800x Devices and Ubuntu 18.04

All 5 Nodes have got the same 2x14 Core XEON CPU, 256GB RAM, 10GIG Ethernet

The Normal Workload is about 500K TPS Read and 200K TPS Write

After starting the Node, the Write Latencs is increasing dramatically, so the clients get about 10% 200ms timeouts.

After stopping the Node, the 4-Node Cluster starts the rebuild (migration) with nearly zero timeouts

asbenchmark shows the following results:

aerospike-server-community-4.2.0.5-ubuntu18.04# Benchmark: 127.0.0.1 3000, namespace: test, set: testset, threads: 28, workload: READ_UPDATE
read: 50% (all bins: 100%, single bin: 0%), write: 50% (all bins: 100%, single bin: 0%)
keys: 1000000, start key: 0, transactions: 10000000, bins: 1, random values: false, throughput: unlimited
read policy:
    socketTimeout: 0, totalTimeout: 0, maxRetries: 2, sleepBetweenRetries: 0
    consistencyLevel: CONSISTENCY_ONE, replica: SEQUENCE, reportNotFound: false
write policy:
    socketTimeout: 0, totalTimeout: 0, maxRetries: 0, sleepBetweenRetries: 0
    commitLevel: COMMIT_ALL
Sync: connPoolsPerNode: 1
bin[0]: integer
debug: true

2019-04-08 14:33:59.471 write(tps=169167 timeouts=0 errors=0) read(tps=169056 timeouts=0 errors=0) total(tps=338223 timeouts=0 errors=0)
2019-04-08 14:34:00.472 write(tps=171774 timeouts=0 errors=0) read(tps=171856 timeouts=0 errors=0) total(tps=343630 timeouts=0 errors=0)
2019-04-08 14:34:01.472 write(tps=170508 timeouts=0 errors=0) read(tps=171653 timeouts=0 errors=0) total(tps=342161 timeouts=0 errors=0)
2019-04-08 14:34:02.473 write(tps=166346 timeouts=0 errors=0) read(tps=166596 timeouts=0 errors=0) total(tps=332942 timeouts=0 errors=0)
2019-04-08 14:34:03.475 write(tps=167878 timeouts=0 errors=0) read(tps=167603 timeouts=0 errors=0) total(tps=335481 timeouts=0 errors=0)

All 5 Nodes have got the same config:

service {
        user root
 
  group root
        
paxos-single-replica-limit 1 # Number of nodes where the replica count is automatically reduced to 1.
      
  pidfile /var/run/aerospike/asd.pid
       
 service-threads 28
        
transaction-queues 28
        
transaction-threads-per-queue 4
        
proto-fd-max 15000
        
migrate-threads 3
       
 migrate-max-num-incoming 12
}

What can I do to find the bottleneck?

2

Try setting migrate threads to 1.

asadm -e "asinfo -v 'set-config:context=service;migrate-threads=1'"

The threads will need to finish the partition they are currently migrating before they can exit.

3

I also tested with migrate-threads=1 and the other:

migrate-max-num-incoming=1

migrate-sleep=1

4

Here are some ACT Results:

output.txt is ACT version 5.0

ACT-STORAGE CONFIGURATION
device-names: /dev/nvme0n1 /dev/nvme1n1
num-devices: 2
service-threads: 56
num-queues: 56
threads-per-queue: 4
test-duration-sec: 86400
report-interval-sec: 1
microsecond-histograms: no
read-reqs-per-sec: 400000
write-reqs-per-sec: 200000
record-bytes: 1536
record-bytes-range-max: 0
large-block-op-kbytes: 128
replication-factor: 1
update-pct: 0
defrag-lwm-pct: 50
commit-to-device: no
commit-min-bytes: 0
tomb-raider: no
tomb-raider-sleep-usec: 0
max-reqs-queued: 100000
max-lag-sec: 10
scheduler-mode: noop

DERIVED CONFIGURATION
record-stored-bytes: 1536 ... 1536
internal-read-reqs-per-sec: 400000
internal-write-reqs-per-sec: 0
read-req-threads: 56
write-req-threads: 0
large-block-reads-per-sec: 4705.88
large-block-writes-per-sec: 4705.88

HISTOGRAM NAMES
reads
device-reads
/dev/nvme0n1-reads
/dev/nvme1n1-reads
large-block-reads
large-block-writes

        reads                                              device-reads
        %>(ms)                                             %>(ms)
slice        1      2      4      8     16     32     64        1      2      4      8     16     32     64
-----   ------ ------ ------ ------ ------ ------ ------   ------ ------ ------ ------ ------ ------ ------
    1    73.33  35.22   0.01   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    2    73.39  35.18   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    3    73.25  34.99   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    4    73.33  35.08   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    5    73.33  35.10   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    6    73.37  35.17   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    7    73.41  35.27   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    8    73.35  35.19   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
    9    73.35  35.13   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
-----   ------ ------ ------ ------ ------ ------ ------   ------ ------ ------ ------ ------ ------ ------
  avg    73.35  35.15   0.00   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
  max    73.41  35.27   0.01   0.00   0.00   0.00   0.00     0.00   0.00   0.00   0.00   0.00   0.00   0.00
5

Would it be possible to also run ACT on one of the original nodes as well?

There was a histogram correction in 4.4 which can make it appear that latencies are worse when in fact they are the same. Because of this correction, your timeouts are more accurate and therefore slightly more aggressive - this could be causing your extra timeouts. See Write Latency Increase After Upgrade to Aerospike 4.4 or higher for details.

6

I have got some Histogram Data. You can seet, that the write-restart and write-repl-write values are very high. After stopping the new Node, the whole cluster gets back in nearly 0ms response times.

rw
rw1543×202 18.1 KB
wps
wps1851×429 85.8 KB 

    Apr 09 2019 22:40:18 GMT: INFO (info): (ticker.c:884) {rtblab} special-errors: key-busy 60163 record-too-big 60
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read (1445455775 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 1445421595) (01: 0000015529) (02: 0000011882) (03: 0000006593)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000176)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-start (1445455777 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 1445423015) (01: 0000014554) (02: 0000011595) (03: 0000006447)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000166)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-restart (0 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-dup-res (0 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-repl-ping (0 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-local (1445455779 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 1445454931) (01: 0000000589) (02: 0000000193) (03: 0000000059)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000007)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-response (1445455779 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 1445455683) (01: 0000000049) (02: 0000000022) (03: 0000000025)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write (228655197 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0187723300) (01: 0009192659) (02: 0008223924) (03: 0003665270)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (04: 0003055398) (05: 0002116116) (06: 0002763157) (07: 0004710945)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (08: 0006339713) (09: 0000851616) (10: 0000013099)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-start (264709407 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0264703613) (01: 0000002601) (02: 0000001906) (03: 0000001238)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (04: 0000000029) (05: 0000000006) (06: 0000000008) (07: 0000000003)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (08: 0000000003)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-restart (26469005 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0010708228) (01: 0001506141) (02: 0001225920) (03: 0000894694)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (04: 0000995758) (05: 0001191419) (06: 0002145077) (07: 0003876114)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (08: 0003631694) (09: 0000293960)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-dup-res (0 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-master (256458610 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0256458247) (01: 0000000272) (02: 0000000073) (03: 0000000017)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000001)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-repl-write (211625771 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0178382463) (01: 0009595538) (02: 0007735045) (03: 0003272222)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (04: 0002627339) (05: 0001481479) (06: 0001573362) (07: 0002432604)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (08: 0003927606) (09: 0000586710) (10: 0000011403)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-response (228655197 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0228655169) (01: 0000000012) (02: 0000000006) (03: 0000000010)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-device-read-size (1108949458 total) bytes
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (10: 0812764001) (11: 0286121393) (12: 0006382386) (13: 0002320274)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (14: 0000990826) (15: 0000306172) (16: 0000058582) (17: 0000005163)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (18: 0000000661)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-device-write-size (2694932607 total) bytes
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (07: 1424592389) (08: 0968278861) (09: 0198560957) (10: 0061463346)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (11: 0021711986) (12: 0010377295) (13: 0005891306) (14: 0002955286)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (15: 0000935093) (16: 0000151664) (17: 0000014355) (18: 0000000069)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-read (554549285 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0554547342) (01: 0000001123) (02: 0000000692) (03: 0000000113)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000015)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-large-block-read (735303 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (00: 0000735301) (01: 0000000002)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-write (2417197 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (00: 0002417193) (01: 0000000002) (02: 0000000002)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-read (554400185 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257)  (00: 0554398237) (01: 0000001117) (02: 0000000651) (03: 0000000154)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (04: 0000000026)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-large-block-read (746035 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (00: 0000746032) (01: 0000000002) (02: 0000000001)
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-write (2429904 total) msec
Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266)  (00: 0002429898) (01: 0000000003) (02: 0000000003)
7
  1. Is the new node on a different rack than the original 4?
  2. The AMC chart you provide, is the top line the new node? If so, it seems to be getting 2-3x more writes than the others.
  3. Are these logs from the new node? The latencies appear to be coming from ‘{rtblab}-write-repl-write’ which typically indicates a network bottleneck.

Could you provide the output of sar -A.

8

Next try.

After adding the new Node, the write Performance increased:

     asloglatency -h {rtblab}-read
Histogram Name : {rtblab}-read
Log       : /var/log/aerospike/aerospike.log
From      : 2019-06-11 12:06:07

Jun 11 2019 12:06:07
               % > (ms)
slice-to (sec)      1      8     64    ops/sec
-------------- ------ ------ ------ ----------
12:06:17    10   0.00   0.00   0.00     2544.4
12:06:27    10   0.02   0.01   0.00     2446.9
12:06:37    10   0.00   0.00   0.00     2570.7
12:06:47    10   0.03   0.00   0.00     2505.5
12:06:57    10   0.01   0.00   0.00     2596.3
12:07:07    10   0.00   0.00   0.00     2757.7
12:07:17    10   0.02   0.00   0.00     2577.2
12:07:27    10   0.00   0.00   0.00     3007.2
12:07:37    10   0.01   0.00   0.00     3152.5
12:07:47    10   0.02   0.00   0.00     3276.6
12:07:57    10   0.00   0.00   0.00     3070.5
12:08:07    10   0.01   0.00   0.00     2439.9
12:08:17    10   0.00   0.00   0.00     2633.9
12:08:27    10   0.00   0.00   0.00     3100.3
12:08:37    10   0.02   0.00   0.00     3157.5
12:08:47    10   0.00   0.00   0.00     3410.6
12:08:57    10   0.02   0.00   0.00     3561.4
12:09:07    10   0.00   0.00   0.00     3690.8
12:09:17    10   0.00   0.00   0.00     3505.6
12:09:27    10   0.04   0.00   0.00     2836.9
12:09:37    10   0.00   0.00   0.00     3152.2
12:09:47    10   0.02   0.00   0.00     3576.7
12:09:57    10   0.02   0.00   0.00     3770.0
12:10:07    10   0.00   0.00   0.00     3912.1
12:10:17    10   0.02   0.00   0.00     3879.6
12:10:27    10   0.00   0.00   0.00     3661.9
12:10:37    10   0.04   0.00   0.00     3758.4
12:10:47    10   0.01   0.00   0.00     4089.0
12:10:57    10   0.00   0.00   0.00     4319.6
12:11:07    10   0.03   0.00   0.00     4080.3
-------------- ------ ------ ------ ----------
     avg         0.01   0.00   0.00     3234.0
     max         0.04   0.01   0.00     4319.6

asloglatency -h {rtblab}-write
Histogram Name : {rtblab}-write
Log       : /var/log/aerospike/aerospike.log
From      : 2019-06-11 12:06:17

Jun 11 2019 12:06:17
               % > (ms)
slice-to (sec)      1      8     64    ops/sec
-------------- ------ ------ ------ ----------
12:06:27    10  21.16  12.84   7.56      285.9
12:06:37    10  10.57   5.18   3.24      278.1
12:06:47    10  23.62  14.03   9.59      308.7
12:06:57    10   9.33   4.80   2.94      295.9
12:07:07    10  12.41   6.61   3.85      348.2
12:07:17    10  35.45  23.16  16.80      358.3
12:07:27    10   3.82   0.20   0.03      351.2
12:07:37    10  18.24   4.26   2.30      378.2
12:07:47    10  26.44   6.79   3.23      418.3
12:07:57    10  41.21  17.40  10.42      411.6
12:08:07    10  15.87   5.50   4.05      276.6
12:08:17    10  13.84   5.47   4.61      314.2
12:08:27    10   6.11   0.34   0.07      445.1
12:08:37    10   0.85   0.00   0.00      390.3
12:08:47    10   4.04   0.00   0.00      415.8
12:08:57    10   2.18   0.00   0.00      440.0
12:09:07    10  15.88   3.38   1.60      455.9
12:09:17    10  38.90  19.04  12.23      408.7
12:09:27    10  31.85  11.03   6.75      349.8
12:09:37    10  18.66   1.88   0.86      405.1
12:09:47    10  30.52   7.77   4.09      481.3
12:09:57    10  14.40   1.00   0.27      488.1
12:10:07    10  12.36   1.62   1.15      532.4
12:10:17    10  21.23   7.63   4.70      553.1
12:10:27    10  10.07   4.04   2.77      490.6
12:10:37    10  10.56   2.95   2.34      504.8
12:10:47    10   7.73   4.57   3.85      527.6
12:10:57    10  25.14   8.39   4.92      564.9
12:11:07    10  41.48  19.28  11.62      570.4
12:11:17    10  42.48  15.66   9.23      593.7
12:11:27    10  30.68  13.62   8.45      586.7
12:11:37    10  25.18   9.29   5.58      593.3
12:11:47    10  45.17  17.85  10.85      637.1
12:11:57    10  24.10   3.59   1.97      663.6
12:12:07    10  28.29   8.17   4.81      619.7
12:12:17    10  15.85   4.11   3.19      620.3
12:12:27    10  15.92   2.18   1.28      650.2
12:12:37    10  26.36   7.55   4.84      642.7
12:12:47    10  28.53  13.63   9.11      625.7
12:12:57    10  35.85  18.34  12.79      716.1
12:13:07    10  35.54  16.08  11.03      532.3
12:13:17    10  30.67   6.93   3.84      606.2
12:13:27    10  46.08  22.02  14.35      547.7
12:13:37    10  43.77  14.53   8.67      649.1
12:13:47    10  30.07   6.28   3.29      698.8
-------------- ------ ------ ------ ----------
     avg        22.85   8.42   5.31      489.0
     max        46.08  23.16  16.80      716.1

sar -A:

Linux 4.15.0-47-generic (easy14)        11.06.2019      _x86_64_        (56 CPU)

11:55:01        CPU      %usr     %nice      %sys   %iowait    %steal      %irq     %soft    %guest    %gnice     %idle
12:05:01        all     22,53      0,00      9,08      0,02      0,00      0,00      2,22      0,00      0,00     66,16
12:05:01          0     14,28      0,00     10,81      0,02      0,00      0,00      2,95      0,00      0,00     71,94
12:05:01          1     13,82      0,00      9,55      0,03      0,00      0,00      1,97      0,00      0,00     74,62
12:05:01          2     14,46      0,00     10,53      0,02      0,00      0,00      2,11      0,00      0,00     72,88
12:05:01          3     14,36      0,00      9,38      0,03      0,00      0,00      1,91      0,00      0,00     74,33
12:05:01          4     14,19      0,00      9,48      0,03      0,00      0,00      2,05      0,00      0,00     74,25
12:05:01          5     14,61      0,00      9,39      0,03      0,00      0,00      2,30      0,00      0,00     73,67
12:05:01          6     14,53      0,00      9,76      0,03      0,00      0,00      2,25      0,00      0,00     73,43
12:05:01          7     14,34      0,00      9,45      0,03      0,00      0,00      2,41      0,00      0,00     73,77
12:05:01          8     14,25      0,00      9,72      0,03      0,00      0,00      2,24      0,00      0,00     73,76
12:05:01          9     14,11      0,00      9,03      0,03      0,00      0,00      1,84      0,00      0,00     74,99
12:05:01         10     14,67      0,00     10,12      0,03      0,00      0,00      2,21      0,00      0,00     72,97
12:05:01         11     14,15      0,00      9,29      0,03      0,00      0,00      2,14      0,00      0,00     74,39
12:05:01         12     14,31      0,00      9,66      0,03      0,00      0,00      2,30      0,00      0,00     73,71
12:05:01         13     14,69      0,00      9,89      0,03      0,00      0,00      2,07      0,00      0,00     73,33
12:05:01         14     33,97      0,00      7,35      0,01      0,00      0,00      1,88      0,00      0,00     56,78
12:05:01         15     30,43      0,00      8,22      0,01      0,00      0,00      2,33      0,00      0,00     59,01
12:05:01         16     31,91      0,00      7,63      0,02      0,00      0,00      2,06      0,00      0,00     58,39
12:05:01         17     33,97      0,00      7,99      0,01      0,00      0,00      2,40      0,00      0,00     55,63
12:05:01         18     31,29      0,00      8,33      0,03      0,00      0,00      2,33      0,00      0,00     58,02
12:05:01         19     30,03      0,00      8,98      0,02      0,00      0,00      2,39      0,00      0,00     58,57
12:05:01         20     34,46      0,00      7,83      0,03      0,00      0,00      1,95      0,00      0,00     55,74
12:05:01         21     36,53      0,00      7,59      0,01      0,00      0,00      2,25      0,00      0,00     53,62
12:05:01         22     30,44      0,00      7,52      0,02      0,00      0,00      1,83      0,00      0,00     60,19
12:05:01         23     30,98      0,00      7,94      0,01      0,00      0,00      2,10      0,00      0,00     58,96
12:05:01         24     33,58      0,00      8,01      0,04      0,00      0,00      2,04      0,00      0,00     56,34
12:05:01         25     32,94      0,00      8,09      0,01      0,00      0,00      2,10      0,00      0,00     56,85
12:05:01         26     37,28      0,00      7,52      0,01      0,00      0,00      2,25      0,00      0,00     52,94
12:05:01         27     33,58      0,00      8,13      0,03      0,00      0,00      2,45      0,00      0,00     55,81
12:05:01         28     14,15      0,00      8,79      0,00      0,00      0,00      1,62      0,00      0,00     75,44
12:05:01         29     14,53      0,00      9,97      0,00      0,00      0,00      2,32      0,00      0,00     73,19
12:05:01         30     14,30      0,00     11,02      0,00      0,00      0,00      2,81      0,00      0,00     71,87
12:05:01         31     14,51      0,00     10,17      0,00      0,00      0,00      2,21      0,00      0,00     73,11
12:05:01         32     14,76      0,00      9,62      0,00      0,00      0,00      2,34      0,00      0,00     73,28
12:05:01         33     14,60      0,00      9,99      0,00      0,00      0,00      2,31      0,00      0,00     73,09
12:05:01         34     14,67      0,00      9,88      0,00      0,00      0,00      2,22      0,00      0,00     73,22
12:05:01         35     14,76      0,00      9,53      0,00      0,00      0,00      2,32      0,00      0,00     73,39
12:05:01         36     13,24      0,00      9,30      0,00      0,00      0,00      1,78      0,00      0,00     75,68
12:05:01         37     14,03      0,00     10,57      0,00      0,00      0,00      2,33      0,00      0,00     73,07
12:05:01         38     14,37      0,00      9,35      0,00      0,00      0,00      2,03      0,00      0,00     74,25
12:05:01         39     14,34      0,00     10,69      0,00      0,00      0,00      2,27      0,00      0,00     72,70
12:05:01         40     12,01      0,00     11,68      0,00      0,00      0,00      2,02      0,00      0,00     74,29
12:05:01         41     14,04      0,00     10,94      0,01      0,00      0,00      2,47      0,00      0,00     72,54
12:05:01         42     30,55      0,00      7,94      0,03      0,00      0,00      2,27      0,00      0,00     59,21
12:05:01         43     28,72      0,00     10,57      0,01      0,00      0,00      4,18      0,00      0,00     56,53
12:05:01         44     30,90      0,00      7,94      0,00      0,00      0,00      1,96      0,00      0,00     59,20
12:05:01         45     26,92      0,00      9,18      0,02      0,00      0,00      2,24      0,00      0,00     61,64
12:05:01         46     27,38      0,00      7,88      0,01      0,00      0,00      1,79      0,00      0,00     62,94
12:05:01         47     30,00      0,00      8,53      0,02      0,00      0,00      2,09      0,00      0,00     59,36
12:05:01         48     25,16      0,00      8,40      0,00      0,00      0,00      2,20      0,00      0,00     64,24
12:05:01         49     26,12      0,00      8,52      0,01      0,00      0,00      2,23      0,00      0,00     63,13
12:05:01         50     31,48      0,00      8,06      0,01      0,00      0,00      2,34      0,00      0,00     58,12
12:05:01         51     33,40      0,00      8,19      0,00      0,00      0,00      2,29      0,00      0,00     56,12
12:05:01         52     27,26      0,00      8,44      0,01      0,00      0,00      1,98      0,00      0,00     62,31
12:05:01         53     29,02      0,00      8,71      0,01      0,00      0,00      2,48      0,00      0,00     59,79
12:05:01         54     26,14      0,00      8,31      0,01      0,00      0,00      1,75      0,00      0,00     63,78
12:05:01         55     26,80      0,00      9,14      0,02      0,00      0,00      2,34      0,00      0,00     61,70

12:05:01        CPU      %usr     %nice      %sys   %iowait    %steal      %irq     %soft    %guest    %gnice     %idle
12:15:01        all      7,92      0,00      8,86      0,02      0,00      0,00      0,73      0,00      0,00     82,47
12:15:01          0      5,03      0,00      8,99      0,04      0,00      0,00      1,20      0,00      0,00     84,74
12:15:01          1      4,88      0,00      9,36      0,04      0,00      0,00      0,74      0,00      0,00     84,98
12:15:01          2      3,57      0,00      9,62      0,04      0,00      0,00      0,75      0,00      0,00     86,02
12:15:01          3      3,40      0,00      8,75      0,04      0,00      0,00      0,57      0,00      0,00     87,25
12:15:01          4      3,58      0,00      9,59      0,03      0,00      0,00      0,71      0,00      0,00     86,08
12:15:01          5      3,41      0,00      8,46      0,03      0,00      0,00      0,57      0,00      0,00     87,52
12:15:01          6      4,55      0,00      9,14      0,04      0,00      0,00      0,74      0,00      0,00     85,52
12:15:01          7      3,28      0,00      8,52      0,04      0,00      0,00      0,78      0,00      0,00     87,38
12:15:01          8      3,43      0,00      9,21      0,04      0,00      0,00      0,72      0,00      0,00     86,60
12:15:01          9      3,18      0,00      8,06      0,04      0,00      0,00      0,46      0,00      0,00     88,25
12:15:01         10      4,02      0,00      9,51      0,04      0,00      0,00      0,72      0,00      0,00     85,71
12:15:01         11      3,83      0,00      8,89      0,04      0,00      0,00      0,70      0,00      0,00     86,54
12:15:01         12      3,56      0,00      9,75      0,04      0,00      0,00      0,84      0,00      0,00     85,81
12:15:01         13      3,77      0,00      9,89      0,03      0,00      0,00      0,79      0,00      0,00     85,52
12:15:01         14     10,99      0,00      8,45      0,03      0,00      0,00      0,60      0,00      0,00     79,94
12:15:01         15     12,64      0,00      8,79      0,02      0,00      0,00      1,03      0,00      0,00     77,52
12:15:01         16     14,53      0,00      7,82      0,03      0,00      0,00      0,68      0,00      0,00     76,94
12:15:01         17     16,10      0,00      7,89      0,03      0,00      0,00      0,77      0,00      0,00     75,21
12:15:01         18     10,35      0,00      8,13      0,03      0,00      0,00      0,66      0,00      0,00     80,83
12:15:01         19     15,70      0,00      8,16      0,02      0,00      0,00      0,88      0,00      0,00     75,24
12:15:01         20     12,87      0,00      8,46      0,03      0,00      0,00      0,77      0,00      0,00     77,88
12:15:01         21     14,11      0,00      8,07      0,03      0,00      0,00      0,79      0,00      0,00     77,00
12:15:01         22     16,71      0,00      7,93      0,03      0,00      0,00      0,76      0,00      0,00     74,57
12:15:01         23     17,80      0,00      8,32      0,03      0,00      0,00      0,98      0,00      0,00     72,87
12:15:01         24     16,37      0,00      8,16      0,03      0,00      0,00      0,70      0,00      0,00     74,75
12:15:01         25     16,88      0,00      8,50      0,03      0,00      0,00      0,74      0,00      0,00     73,85
12:15:01         26     15,68      0,00      8,20      0,02      0,00      0,00      0,83      0,00      0,00     75,26
12:15:01         27     13,79      0,00      8,48      0,02      0,00      0,00      0,92      0,00      0,00     76,80
12:15:01         28      3,29      0,00      8,09      0,00      0,00      0,00      0,40      0,00      0,00     88,21
12:15:01         29      3,43      0,00      9,70      0,00      0,00      0,00      0,70      0,00      0,00     86,17
12:15:01         30      3,62      0,00      9,93      0,00      0,00      0,00      0,86      0,00      0,00     85,60
12:15:01         31      3,98      0,00     10,46      0,00      0,00      0,00      0,90      0,00      0,00     84,66
12:15:01         32      3,46      0,00      9,38      0,00      0,00      0,00      0,81      0,00      0,00     86,35
12:15:01         33      3,70      0,00     10,37      0,00      0,00      0,00      0,89      0,00      0,00     85,04
12:15:01         34      3,36      0,00      8,85      0,00      0,00      0,00      0,57      0,00      0,00     87,21
12:15:01         35      3,41      0,00      9,18      0,00      0,00      0,00      0,70      0,00      0,00     86,71
12:15:01         36      3,31      0,00      8,28      0,00      0,00      0,00      0,44      0,00      0,00     87,97
12:15:01         37      3,94      0,00     10,86      0,00      0,00      0,00      1,09      0,00      0,00     84,10
12:15:01         38      3,36      0,00      8,83      0,00      0,00      0,00      0,51      0,00      0,00     87,31
12:15:01         39      3,52      0,00      9,76      0,00      0,00      0,00      0,70      0,00      0,00     86,03
12:15:01         40      3,02      0,00      9,42      0,00      0,00      0,00      0,59      0,00      0,00     86,97
12:15:01         41      3,94      0,00      9,92      0,01      0,00      0,00      0,78      0,00      0,00     85,35
12:15:01         42      9,90      0,00      8,33      0,00      0,00      0,00      0,71      0,00      0,00     81,06
12:15:01         43     10,09      0,00      8,64      0,00      0,00      0,00      0,72      0,00      0,00     80,55
12:15:01         44      9,48      0,00      8,36      0,00      0,00      0,00      0,60      0,00      0,00     81,56
12:15:01         45      9,80      0,00      8,69      0,00      0,00      0,00      0,73      0,00      0,00     80,78
12:15:01         46     14,08      0,00      8,07      0,00      0,00      0,00      0,63      0,00      0,00     77,22
12:15:01         47     11,35      0,00      8,47      0,00      0,00      0,00      0,68      0,00      0,00     79,49
12:15:01         48     14,09      0,00      7,57      0,00      0,00      0,00      0,68      0,00      0,00     77,66
12:15:01         49     11,96      0,00      8,18      0,00      0,00      0,00      0,74      0,00      0,00     79,12
12:15:01         50      7,83      0,00      8,39      0,00      0,00      0,00      0,63      0,00      0,00     83,15
12:15:01         51      6,06      0,00      9,54      0,00      0,00      0,00      0,77      0,00      0,00     83,63
12:15:01         52      6,39      0,00      8,82      0,00      0,00      0,00      0,66      0,00      0,00     84,14
12:15:01         53      6,59      0,00      9,58      0,00      0,00      0,00      0,87      0,00      0,00     82,95
12:15:01         54      7,71      0,00      8,55      0,01      0,00      0,00      0,59      0,00      0,00     83,14
12:15:01         55     10,33      0,00      8,71      0,01      0,00      0,00      0,84      0,00      0,00     80,11

Average:        CPU      %usr     %nice      %sys   %iowait    %steal      %irq     %soft    %guest    %gnice     %idle
Average:        all     15,26      0,00      8,97      0,02      0,00      0,00      1,48      0,00      0,00     74,28
Average:          0      9,68      0,00      9,91      0,03      0,00      0,00      2,08      0,00      0,00     78,31
Average:          1      9,37      0,00      9,46      0,03      0,00      0,00      1,36      0,00      0,00     79,78
Average:          2      9,03      0,00     10,07      0,03      0,00      0,00      1,44      0,00      0,00     79,43
Average:          3      8,89      0,00      9,06      0,03      0,00      0,00      1,24      0,00      0,00     80,77
Average:          4      8,92      0,00      9,53      0,03      0,00      0,00      1,38      0,00      0,00     80,14
Average:          5      9,03      0,00      8,93      0,03      0,00      0,00      1,44      0,00      0,00     80,57
Average:          6      9,55      0,00      9,45      0,03      0,00      0,00      1,50      0,00      0,00     79,46
Average:          7      8,83      0,00      8,99      0,03      0,00      0,00      1,60      0,00      0,00     80,56
Average:          8      8,86      0,00      9,46      0,04      0,00      0,00      1,48      0,00      0,00     80,15
Average:          9      8,65      0,00      8,55      0,04      0,00      0,00      1,15      0,00      0,00     81,61
Average:         10      9,36      0,00      9,82      0,03      0,00      0,00      1,47      0,00      0,00     79,32
Average:         11      9,01      0,00      9,09      0,03      0,00      0,00      1,42      0,00      0,00     80,45
Average:         12      8,96      0,00      9,71      0,03      0,00      0,00      1,57      0,00      0,00     79,73
Average:         13      9,26      0,00      9,89      0,03      0,00      0,00      1,43      0,00      0,00     79,39
Average:         14     22,55      0,00      7,90      0,02      0,00      0,00      1,24      0,00      0,00     68,29
Average:         15     21,59      0,00      8,50      0,02      0,00      0,00      1,68      0,00      0,00     68,21
Average:         16     23,26      0,00      7,72      0,02      0,00      0,00      1,37      0,00      0,00     67,63
Average:         17     25,07      0,00      7,94      0,02      0,00      0,00      1,59      0,00      0,00     65,38
Average:         18     20,86      0,00      8,23      0,03      0,00      0,00      1,50      0,00      0,00     69,38
Average:         19     22,89      0,00      8,57      0,02      0,00      0,00      1,64      0,00      0,00     66,88
Average:         20     23,73      0,00      8,14      0,03      0,00      0,00      1,36      0,00      0,00     66,74
Average:         21     25,37      0,00      7,83      0,02      0,00      0,00      1,52      0,00      0,00     65,26
Average:         22     23,60      0,00      7,72      0,02      0,00      0,00      1,30      0,00      0,00     67,35
Average:         23     24,43      0,00      8,13      0,02      0,00      0,00      1,54      0,00      0,00     65,88
Average:         24     25,02      0,00      8,08      0,03      0,00      0,00      1,37      0,00      0,00     65,49
Average:         25     24,94      0,00      8,30      0,02      0,00      0,00      1,42      0,00      0,00     65,32
Average:         26     26,52      0,00      7,86      0,02      0,00      0,00      1,54      0,00      0,00     64,05
Average:         27     23,75      0,00      8,30      0,03      0,00      0,00      1,69      0,00      0,00     66,24
Average:         28      8,74      0,00      8,44      0,00      0,00      0,00      1,01      0,00      0,00     81,80
Average:         29      8,99      0,00      9,83      0,00      0,00      0,00      1,51      0,00      0,00     79,66
Average:         30      8,97      0,00     10,48      0,00      0,00      0,00      1,84      0,00      0,00     78,71
Average:         31      9,28      0,00     10,31      0,00      0,00      0,00      1,56      0,00      0,00     78,85
Average:         32      9,14      0,00      9,50      0,00      0,00      0,00      1,58      0,00      0,00     79,79
Average:         33      9,18      0,00     10,18      0,00      0,00      0,00      1,60      0,00      0,00     79,03
Average:         34      9,04      0,00      9,37      0,00      0,00      0,00      1,40      0,00      0,00     80,19
Average:         35      9,12      0,00      9,36      0,00      0,00      0,00      1,51      0,00      0,00     80,01
Average:         36      8,28      0,00      8,79      0,00      0,00      0,00      1,11      0,00      0,00     81,82
Average:         37      9,03      0,00     10,71      0,00      0,00      0,00      1,72      0,00      0,00     78,55
Average:         38      8,88      0,00      9,09      0,00      0,00      0,00      1,27      0,00      0,00     80,76
Average:         39      8,94      0,00     10,23      0,00      0,00      0,00      1,49      0,00      0,00     79,34
Average:         40      7,51      0,00     10,55      0,00      0,00      0,00      1,30      0,00      0,00     80,64
Average:         41      9,02      0,00     10,44      0,01      0,00      0,00      1,63      0,00      0,00     78,92
Average:         42     20,28      0,00      8,13      0,02      0,00      0,00      1,49      0,00      0,00     70,08
Average:         43     19,43      0,00      9,61      0,00      0,00      0,00      2,45      0,00      0,00     68,51
Average:         44     20,24      0,00      8,15      0,00      0,00      0,00      1,28      0,00      0,00     70,33
Average:         45     18,39      0,00      8,94      0,01      0,00      0,00      1,49      0,00      0,00     71,17
Average:         46     20,75      0,00      7,97      0,01      0,00      0,00      1,21      0,00      0,00     70,06
Average:         47     20,71      0,00      8,50      0,01      0,00      0,00      1,39      0,00      0,00     69,38
Average:         48     19,63      0,00      7,99      0,00      0,00      0,00      1,44      0,00      0,00     70,94
Average:         49     19,06      0,00      8,35      0,00      0,00      0,00      1,49      0,00      0,00     71,10
Average:         50     19,72      0,00      8,23      0,00      0,00      0,00      1,49      0,00      0,00     70,56
Average:         51     19,84      0,00      8,86      0,00      0,00      0,00      1,53      0,00      0,00     69,77
Average:         52     16,88      0,00      8,63      0,01      0,00      0,00      1,32      0,00      0,00     73,16
Average:         53     17,89      0,00      9,14      0,00      0,00      0,00      1,68      0,00      0,00     71,29
Average:         54     16,98      0,00      8,43      0,01      0,00      0,00      1,17      0,00      0,00     73,41
Average:         55     18,60      0,00      8,93      0,01      0,00      0,00      1,59      0,00      0,00     70,87

11:55:01       proc/s   cswch/s
12:05:01         0,24 446914,70
12:15:01         0,20 411736,95
Average:         0,22 429325,82

11:55:01     pswpin/s pswpout/s
12:05:01         0,00      0,00
12:15:01         0,00      0,00
Average:         0,00      0,00

11:55:01     pgpgin/s pgpgout/s   fault/s  majflt/s  pgfree/s pgscank/s pgscand/s pgsteal/s    %vmeff
12:05:01       518,82  16912,97  20206,13      0,20   3162,92      0,00      0,00      0,00      0,00
12:15:01       855,85  15984,81  19093,66      0,08   1496,63      0,00      0,00      0,00      0,00
Average:       687,34  16448,89  19649,89      0,14   2329,77      0,00      0,00      0,00      0,00

11:55:01          tps      rtps      wtps   bread/s   bwrtn/s
12:05:01       405,82    284,06    121,76   1038,08  33825,94
12:15:01       883,80    755,65    128,16   1711,71  31969,62
Average:       644,81    519,86    124,96   1374,89  32897,78

11:55:01    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty  kbanonpg    kbslab  kbkstack   kbpgtbl  kbvmused
12:05:01    218327296 218941576  45701304     17,31     60376   1692800  38049944     13,97  39403972   4270748       396  41895040   1169128     30672     98804         0
12:15:01    215391328 216011448  48637272     18,42     61384   1697080  37897252     13,91  42320900   4274624       304  44810656   1168496     30704    104776         0
Average:    216859312 217476512  47169288     17,87     60880   1694940  37973598     13,94  40862436   4272686       350  43352848   1168812     30688    101790         0

11:55:01    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
12:05:01      8387836       768      0,01         0      0,00
12:15:01      8387836       768      0,01         0      0,00
Average:      8387836       768      0,01         0      0,00

11:55:01    kbhugfree kbhugused  %hugused
12:05:01            0         0      0,00
12:15:01            0         0      0,00
Average:            0         0      0,00

11:55:01    dentunusd   file-nr  inode-nr    pty-nr
12:05:01        49347      4816     52349         1
12:15:01        52960      4032     52355         1
Average:        51154      4424     52352         1

11:55:01      runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15   blocked
12:05:01            2      1865     11,56     20,72     26,84         0
12:15:01            7      1867      9,94     11,52     19,02         0
Average:            4      1866     10,75     16,12     22,93         0

11:55:01          TTY   rcvin/s  txmtin/s framerr/s prtyerr/s     brk/s   ovrun/s
12:05:01            0      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01            1      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01            0      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01            1      0,00      0,00      0,00      0,00      0,00      0,00
Average:            0      0,00      0,00      0,00      0,00      0,00      0,00
Average:            1      0,00      0,00      0,00      0,00      0,00      0,00

11:55:01          DEV       tps     rkB/s     wkB/s   areq-sz    aqu-sz     await     svctm     %util
12:05:01       dev7-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01       dev7-1      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01       dev7-2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01       dev7-3      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01       dev7-4      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01     dev259-0    206,68    261,94   7332,72     36,75      0,00      0,04      0,00      0,00
12:05:01     dev259-1    191,35    243,17   7306,05     39,45      0,00      0,04      0,00      0,01
12:05:01       dev8-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01      dev8-16      7,79     13,93   2274,20    293,55      0,63     80,39      1,13      0,88
12:15:01       dev7-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01       dev7-1      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01       dev7-2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01       dev7-3      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01       dev7-4      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01     dev259-0    474,19    435,07   7974,62     17,73      0,00      0,02      0,00      0,01
12:15:01     dev259-1    405,95    416,69   7984,22     20,69      0,00      0,03      0,00      0,01
12:15:01       dev8-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01      dev8-16      3,66      4,10     25,97      8,21      0,00      0,14      0,04      0,02
Average:       dev7-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       dev7-1      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       dev7-2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       dev7-3      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       dev7-4      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:     dev259-0    340,43    348,50   7653,67     23,51      0,00      0,03      0,00      0,01
Average:     dev259-1    298,65    329,93   7645,14     26,70      0,00      0,03      0,00      0,01
Average:       dev8-0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:      dev8-16      5,73      9,01   1150,08    202,32      0,31     54,73      0,78      0,45

11:55:01        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
12:05:01           lo    319,98    319,98     41,56     41,56      0,00      0,00      0,00      0,00
12:05:01         eno2 116978,54 112969,24  37657,33  16710,04      0,00      0,00     26,65      3,08
12:05:01         eno1  17277,68  17206,34   5637,23   1883,21      0,00      0,00     33,29      4,62
12:15:01           lo    317,85    317,85     35,63     35,63      0,00      0,00      0,00      0,00
12:15:01         eno2  90298,87  86417,37  28777,76   9331,90      0,00      0,00     26,72      2,36
12:15:01         eno1  17069,22  16964,33   6181,79   2013,22      0,00      0,00     33,38      5,06
Average:           lo    318,92    318,92     38,60     38,60      0,00      0,00      0,00      0,00
Average:         eno2 103638,70  99693,30  33217,54  13020,97      0,00      0,00     26,69      2,72
Average:         eno1  17173,45  17085,34   5909,51   1948,22      0,00      0,00     33,33      4,84

11:55:01        IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
12:05:01           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01         eno2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:05:01         eno1      0,50      0,00      0,00      0,00      0,00      0,00      0,50      0,00      0,00
12:15:01           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01         eno2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01         eno1      0,50      0,00      0,00      0,00      0,00      0,00      0,50      0,00      0,00
Average:           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:         eno2      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:         eno1      0,50      0,00      0,00      0,00      0,00      0,00      0,50      0,00      0,00

11:55:01       call/s retrans/s    read/s   write/s  access/s  getatt/s
12:05:01         0,00      0,00      0,00      0,00      0,00      0,00
12:15:01         0,00      0,00      0,00      0,00      0,00      0,00
Average:         0,00      0,00      0,00      0,00      0,00      0,00

11:55:01      scall/s badcall/s  packet/s     udp/s     tcp/s     hit/s    miss/s   sread/s  swrite/s saccess/s sgetatt/s
12:05:01         0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
12:15:01         0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:         0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00

11:55:01       totsck    tcpsck    udpsck    rawsck   ip-frag    tcp-tw
12:05:01         1127       272         2         0         0         8
12:15:01         1136       276         2         0         0         9
Average:         1132       274         2         0         0         8

11:55:01        CPU   total/s   dropd/s squeezd/s  rx_rps/s flw_lim/s
12:05:01        all 127387,80      0,00    394,59      0,00      0,00
12:05:01          0   2331,76      0,00      7,73      0,00      0,00
12:05:01          1   1919,51      0,00      6,28      0,00      0,00
12:05:01          2   2252,85      0,00      7,21      0,00      0,00
12:05:01          3   1911,31      0,00      6,16      0,00      0,00
12:05:01          4   2013,57      0,00      6,29      0,00      0,00
12:05:01          5   2334,63      0,00      6,96      0,00      0,00
12:05:01          6   2387,53      0,00      7,07      0,00      0,00
12:05:01          7   2345,40      0,00      6,90      0,00      0,00
12:05:01          8   2252,36      0,00      7,32      0,00      0,00
12:05:01          9   1839,10      0,00      5,89      0,00      0,00
12:05:01         10   2269,61      0,00      7,34      0,00      0,00
12:05:01         11   2162,62      0,00      6,44      0,00      0,00
12:05:01         12   2383,90      0,00      7,08      0,00      0,00
12:05:01         13   2224,27      0,00      6,79      0,00      0,00
12:05:01         14   1927,33      0,00      5,86      0,00      0,00
12:05:01         15   2357,65      0,00      7,41      0,00      0,00
12:05:01         16   1996,53      0,00      6,27      0,00      0,00
12:05:01         17   2324,72      0,00      7,10      0,00      0,00
12:05:01         18   2288,05      0,00      7,21      0,00      0,00
12:05:01         19   2433,52      0,00      7,95      0,00      0,00
12:05:01         20   2127,31      0,00      6,31      0,00      0,00
12:05:01         21   2177,64      0,00      6,78      0,00      0,00
12:05:01         22   1994,15      0,00      5,98      0,00      0,00
12:05:01         23   2195,83      0,00      6,98      0,00      0,00
12:05:01         24   2199,31      0,00      6,37      0,00      0,00
12:05:01         25   2261,41      0,00      6,90      0,00      0,00
12:05:01         26   2186,70      0,00      6,93      0,00      0,00
12:05:01         27   2442,11      0,00      7,52      0,00      0,00
12:05:01         28   1680,36      0,00      5,28      0,00      0,00
12:05:01         29   2346,12      0,00      7,64      0,00      0,00
12:05:01         30   2746,15      0,00      9,16      0,00      0,00
12:05:01         31   2407,33      0,00      7,19      0,00      0,00
12:05:01         32   2356,33      0,00      6,99      0,00      0,00
12:05:01         33   2442,57      0,00      7,39      0,00      0,00
12:05:01         34   2412,96      0,00      6,94      0,00      0,00
12:05:01         35   2391,90      0,00      7,09      0,00      0,00
12:05:01         36   1836,19      0,00      5,79      0,00      0,00
12:05:01         37   2486,91      0,00      8,00      0,00      0,00
12:05:01         38   2017,39      0,00      6,66      0,00      0,00
12:05:01         39   2413,03      0,00      7,83      0,00      0,00
12:05:01         40   2466,37      0,00      7,93      0,00      0,00
12:05:01         41   2643,10      0,00      8,11      0,00      0,00
12:05:01         42   2236,52      0,00      7,28      0,00      0,00
12:05:01         43   4264,16      0,00     11,88      0,00      0,00
12:05:01         44   2068,30      0,00      6,16      0,00      0,00
12:05:01         45   2500,57      0,00      7,53      0,00      0,00
12:05:01         46   1917,90      0,00      5,67      0,00      0,00
12:05:01         47   2259,51      0,00      6,83      0,00      0,00
12:05:01         48   2243,00      0,00      6,82      0,00      0,00
12:05:01         49   2268,64      0,00      7,15      0,00      0,00
12:05:01         50   2152,38      0,00      6,95      0,00      0,00
12:05:01         51   2363,97      0,00      7,16      0,00      0,00
12:05:01         52   2028,39      0,00      6,48      0,00      0,00
12:05:01         53   2451,14      0,00      7,72      0,00      0,00
12:05:01         54   1961,97      0,00      5,87      0,00      0,00
12:05:01         55   2483,97      0,00      8,03      0,00      0,00

12:05:01        CPU   total/s   dropd/s squeezd/s  rx_rps/s flw_lim/s
12:15:01        all 103598,69      0,00    330,95      0,00      0,00
12:15:01          0   1533,81      0,00      4,90      0,00      0,00
12:15:01          1   1722,90      0,00      5,82      0,00      0,00
12:15:01          2   1913,16      0,00      6,38      0,00      0,00
12:15:01          3   1583,03      0,00      5,32      0,00      0,00
12:15:01          4   1971,24      0,00      6,29      0,00      0,00
12:15:01          5   1699,28      0,00      5,06      0,00      0,00
12:15:01          6   2024,42      0,00      5,98      0,00      0,00
12:15:01          7   1768,07      0,00      5,05      0,00      0,00
12:15:01          8   2027,54      0,00      6,34      0,00      0,00
12:15:01          9   1418,57      0,00      4,61      0,00      0,00
12:15:01         10   2015,88      0,00      6,34      0,00      0,00
12:15:01         11   1870,53      0,00      5,50      0,00      0,00
12:15:01         12   2121,25      0,00      6,46      0,00      0,00
12:15:01         13   2222,82      0,00      6,70      0,00      0,00
12:15:01         14   1541,85      0,00      4,92      0,00      0,00
12:15:01         15   2121,72      0,00      7,05      0,00      0,00
12:15:01         16   1512,16      0,00      4,92      0,00      0,00
12:15:01         17   1602,57      0,00      4,99      0,00      0,00
12:15:01         18   1614,25      0,00      5,49      0,00      0,00
12:15:01         19   1926,33      0,00      6,29      0,00      0,00
12:15:01         20   1874,83      0,00      5,81      0,00      0,00
12:15:01         21   1714,07      0,00      5,65      0,00      0,00
12:15:01         22   1686,06      0,00      5,46      0,00      0,00
12:15:01         23   1842,02      0,00      6,50      0,00      0,00
12:15:01         24   1625,11      0,00      5,21      0,00      0,00
12:15:01         25   1724,99      0,00      5,70      0,00      0,00
12:15:01         26   1712,79      0,00      5,56      0,00      0,00
12:15:01         27   1964,98      0,00      6,44      0,00      0,00
12:15:01         28   1385,04      0,00      4,48      0,00      0,00
12:15:01         29   1983,66      0,00      6,55      0,00      0,00
12:15:01         30   2132,06      0,00      7,10      0,00      0,00
12:15:01         31   2535,35      0,00      7,77      0,00      0,00
12:15:01         32   1960,08      0,00      5,90      0,00      0,00
12:15:01         33   2290,32      0,00      7,17      0,00      0,00
12:15:01         34   1910,59      0,00      5,48      0,00      0,00
12:15:01         35   2066,76      0,00      6,29      0,00      0,00
12:15:01         36   1492,64      0,00      4,02      0,00      0,00
12:15:01         37   2707,03      0,00      8,58      0,00      0,00
12:15:01         38   1580,49      0,00      5,17      0,00      0,00
12:15:01         39   1993,31      0,00      6,72      0,00      0,00
12:15:01         40   1741,54      0,00      5,72      0,00      0,00
12:15:01         41   2187,13      0,00      6,83      0,00      0,00
12:15:01         42   1708,24      0,00      5,99      0,00      0,00
12:15:01         43   1874,98      0,00      6,05      0,00      0,00
12:15:01         44   1660,20      0,00      5,51      0,00      0,00
12:15:01         45   1968,60      0,00      6,30      0,00      0,00
12:15:01         46   1569,96      0,00      4,92      0,00      0,00
12:15:01         47   1802,11      0,00      5,53      0,00      0,00
12:15:01         48   1542,52      0,00      5,06      0,00      0,00
12:15:01         49   1771,35      0,00      5,64      0,00      0,00
12:15:01         50   1785,18      0,00      5,82      0,00      0,00
12:15:01         51   2093,13      0,00      6,59      0,00      0,00
12:15:01         52   1806,87      0,00      5,91      0,00      0,00
12:15:01         53   2115,43      0,00      7,40      0,00      0,00
12:15:01         54   1676,48      0,00      5,18      0,00      0,00
12:15:01         55   1901,40      0,00      6,50      0,00      0,00

Average:        CPU   total/s   dropd/s squeezd/s  rx_rps/s flw_lim/s
Average:        all 115493,24      0,00    362,77      0,00      0,00
Average:          0   1932,79      0,00      6,31      0,00      0,00
Average:          1   1821,20      0,00      6,05      0,00      0,00
Average:          2   2083,00      0,00      6,80      0,00      0,00
Average:          3   1747,17      0,00      5,74      0,00      0,00
Average:          4   1992,40      0,00      6,29      0,00      0,00
Average:          5   2016,96      0,00      6,01      0,00      0,00
Average:          6   2205,97      0,00      6,52      0,00      0,00
Average:          7   2056,74      0,00      5,98      0,00      0,00
Average:          8   2139,95      0,00      6,83      0,00      0,00
Average:          9   1628,84      0,00      5,25      0,00      0,00
Average:         10   2142,75      0,00      6,84      0,00      0,00
Average:         11   2016,57      0,00      5,97      0,00      0,00
Average:         12   2252,58      0,00      6,77      0,00      0,00
Average:         13   2223,55      0,00      6,74      0,00      0,00
Average:         14   1734,59      0,00      5,39      0,00      0,00
Average:         15   2239,68      0,00      7,23      0,00      0,00
Average:         16   1754,35      0,00      5,60      0,00      0,00
Average:         17   1963,64      0,00      6,05      0,00      0,00
Average:         18   1951,15      0,00      6,35      0,00      0,00
Average:         19   2179,92      0,00      7,12      0,00      0,00
Average:         20   2001,07      0,00      6,06      0,00      0,00
Average:         21   1945,86      0,00      6,22      0,00      0,00
Average:         22   1840,10      0,00      5,72      0,00      0,00
Average:         23   2018,92      0,00      6,74      0,00      0,00
Average:         24   1912,21      0,00      5,79      0,00      0,00
Average:         25   1993,20      0,00      6,30      0,00      0,00
Average:         26   1949,75      0,00      6,24      0,00      0,00
Average:         27   2203,54      0,00      6,98      0,00      0,00
Average:         28   1532,70      0,00      4,88      0,00      0,00
Average:         29   2164,89      0,00      7,09      0,00      0,00
Average:         30   2439,11      0,00      8,13      0,00      0,00
Average:         31   2471,34      0,00      7,48      0,00      0,00
Average:         32   2158,20      0,00      6,44      0,00      0,00
Average:         33   2366,44      0,00      7,28      0,00      0,00
Average:         34   2161,78      0,00      6,21      0,00      0,00
Average:         35   2229,33      0,00      6,69      0,00      0,00
Average:         36   1664,41      0,00      4,91      0,00      0,00
Average:         37   2596,97      0,00      8,29      0,00      0,00
Average:         38   1798,94      0,00      5,91      0,00      0,00
Average:         39   2203,17      0,00      7,28      0,00      0,00
Average:         40   2103,96      0,00      6,83      0,00      0,00
Average:         41   2415,11      0,00      7,47      0,00      0,00
Average:         42   1972,38      0,00      6,63      0,00      0,00
Average:         43   3069,57      0,00      8,96      0,00      0,00
Average:         44   1864,25      0,00      5,84      0,00      0,00
Average:         45   2234,58      0,00      6,91      0,00      0,00
Average:         46   1743,93      0,00      5,29      0,00      0,00
Average:         47   2030,81      0,00      6,18      0,00      0,00
Average:         48   1892,76      0,00      5,94      0,00      0,00
Average:         49   2020,00      0,00      6,40      0,00      0,00
Average:         50   1968,78      0,00      6,38      0,00      0,00
Average:         51   2228,55      0,00      6,87      0,00      0,00
Average:         52   1917,63      0,00      6,19      0,00      0,00
Average:         53   2283,29      0,00      7,56      0,00      0,00
Average:         54   1819,23      0,00      5,53      0,00      0,00
Average:         55   2192,68      0,00      7,27      0,00      0,00
9

The Server is connected with 10-G

10 
12:05:01      dev8-16      7,79     13,93   2274,20    293,55      0,63     80,39      1,13      0,88

What is dev8-16 used for, the await seems and svctm seem high.