# Write Performance Problem during Migrations while adding a new Node **URL:** \ **Category:** Configuration\ **Created:** [April 8, 2019, 3:02pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135 "2019-04-08T15:02:42Z")\ **Posts on this page:** 10\ **Page:** 1
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [April 8, 2019, 3:02pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/1 "2019-04-08T15:02:42Z")
Hi Community, I have got a 4-Node Cluster running CE 3.14.1.2 on Intel DC P3700 NVME Devices and Ubuntu 14.04 Now I want to add a new Node, running CE 4.2.0.5 on Intel Optane 4800x Devices and Ubuntu 18.04 All 5 Nodes have got the same 2x14 Core XEON CPU, 256GB RAM, 10GIG Ethernet The Normal Workload is about 500K TPS Read and 200K TPS Write After starting the Node, the Write Latencs is increasing dramatically, so the clients get about 10% 200ms timeouts. After stopping the Node, the 4-Node Cluster starts the rebuild (migration) with nearly zero timeouts asbenchmark shows the following results: ```auto aerospike-server-community-4.2.0.5-ubuntu18.04# Benchmark: 127.0.0.1 3000, namespace: test, set: testset, threads: 28, workload: READ_UPDATE read: 50% (all bins: 100%, single bin: 0%), write: 50% (all bins: 100%, single bin: 0%) keys: 1000000, start key: 0, transactions: 10000000, bins: 1, random values: false, throughput: unlimited read policy: socketTimeout: 0, totalTimeout: 0, maxRetries: 2, sleepBetweenRetries: 0 consistencyLevel: CONSISTENCY_ONE, replica: SEQUENCE, reportNotFound: false write policy: socketTimeout: 0, totalTimeout: 0, maxRetries: 0, sleepBetweenRetries: 0 commitLevel: COMMIT_ALL Sync: connPoolsPerNode: 1 bin[0]: integer debug: true 2019-04-08 14:33:59.471 write(tps=169167 timeouts=0 errors=0) read(tps=169056 timeouts=0 errors=0) total(tps=338223 timeouts=0 errors=0) 2019-04-08 14:34:00.472 write(tps=171774 timeouts=0 errors=0) read(tps=171856 timeouts=0 errors=0) total(tps=343630 timeouts=0 errors=0) 2019-04-08 14:34:01.472 write(tps=170508 timeouts=0 errors=0) read(tps=171653 timeouts=0 errors=0) total(tps=342161 timeouts=0 errors=0) 2019-04-08 14:34:02.473 write(tps=166346 timeouts=0 errors=0) read(tps=166596 timeouts=0 errors=0) total(tps=332942 timeouts=0 errors=0) 2019-04-08 14:34:03.475 write(tps=167878 timeouts=0 errors=0) read(tps=167603 timeouts=0 errors=0) total(tps=335481 timeouts=0 errors=0) ``` All 5 Nodes have got the same config: ```auto service { user root group root paxos-single-replica-limit 1 # Number of nodes where the replica count is automatically reduced to 1. pidfile /var/run/aerospike/asd.pid service-threads 28 transaction-queues 28 transaction-threads-per-queue 4 proto-fd-max 15000 migrate-threads 3 migrate-max-num-incoming 12 } ``` What can I do to find the bottleneck? ---
**Author:** ![kporter](https://sea1.discourse-cdn.com/flex019/user_avatar/discuss.aerospike.com/kporter/32/515_2.png) [@kporter](https://discuss.aerospike.com/u/kporter)\ **Post date:** [April 8, 2019, 3:21pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/2 "2019-04-08T15:21:11Z")
> [@Bikearni](#): > > migrate-threads 3 Try setting migrate threads to 1. ```auto asadm -e "asinfo -v 'set-config:context=service;migrate-threads=1'" ``` The threads will need to finish the partition they are currently migrating before they can exit. ---
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [April 8, 2019, 3:27pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/3 "2019-04-08T15:27:31Z")
I also tested with migrate-threads=1 and the other: `migrate-max-num-incoming=1` `migrate-sleep=1` ---
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [April 8, 2019, 3:40pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/4 "2019-04-08T15:40:27Z")
Here are some ACT Results: ``` output.txt is ACT version 5.0 ACT-STORAGE CONFIGURATION device-names: /dev/nvme0n1 /dev/nvme1n1 num-devices: 2 service-threads: 56 num-queues: 56 threads-per-queue: 4 test-duration-sec: 86400 report-interval-sec: 1 microsecond-histograms: no read-reqs-per-sec: 400000 write-reqs-per-sec: 200000 record-bytes: 1536 record-bytes-range-max: 0 large-block-op-kbytes: 128 replication-factor: 1 update-pct: 0 defrag-lwm-pct: 50 commit-to-device: no commit-min-bytes: 0 tomb-raider: no tomb-raider-sleep-usec: 0 max-reqs-queued: 100000 max-lag-sec: 10 scheduler-mode: noop DERIVED CONFIGURATION record-stored-bytes: 1536 ... 1536 internal-read-reqs-per-sec: 400000 internal-write-reqs-per-sec: 0 read-req-threads: 56 write-req-threads: 0 large-block-reads-per-sec: 4705.88 large-block-writes-per-sec: 4705.88 HISTOGRAM NAMES reads device-reads /dev/nvme0n1-reads /dev/nvme1n1-reads large-block-reads large-block-writes reads device-reads %>(ms) %>(ms) slice 1 2 4 8 16 32 64 1 2 4 8 16 32 64 ----- ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ 1 73.33 35.22 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 2 73.39 35.18 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3 73.25 34.99 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 4 73.33 35.08 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 5 73.33 35.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 6 73.37 35.17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 7 73.41 35.27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 8 73.35 35.19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 9 73.35 35.13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ----- ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ ------ avg 73.35 35.15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 max 73.41 35.27 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ``` ---
**Author:** ![kporter](https://sea1.discourse-cdn.com/flex019/user_avatar/discuss.aerospike.com/kporter/32/515_2.png) [@kporter](https://discuss.aerospike.com/u/kporter)\ **Post date:** [April 9, 2019, 12:10am UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/5 "2019-04-09T00:10:48Z")
Would it be possible to also run ACT on one of the original nodes as well? There was a histogram correction in 4.4 which can make it appear that latencies are worse when in fact they are the same. Because of this correction, your timeouts are more accurate and therefore slightly more aggressive - this could be causing your extra timeouts. See [Write Latency Increase After Upgrade to Aerospike 4.4 or higher](https://discuss.aerospike.com/t/write-latency-increase-after-upgrade-to-aerospike-4-4-or-higher/5879) for details. ---
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [April 9, 2019, 10:45pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/6 "2019-04-09T22:45:48Z")
I have got some Histogram Data. You can seet, that the write-restart and write-repl-write values are very high. After stopping the new Node, the whole cluster gets back in nearly 0ms response times. ![rw](https://us1.discourse-cdn.com/flex019/uploads/aerospike/original/2X/7/75eba2f84353ac4fe7ff84424586268e5b7fb36f.jpeg) ![wps](https://us1.discourse-cdn.com/flex019/uploads/aerospike/original/2X/5/58c3ea653ef41eb0385ade7ba99c2fb559461b3f.jpeg) ``` Apr 09 2019 22:40:18 GMT: INFO (info): (ticker.c:884) {rtblab} special-errors: key-busy 60163 record-too-big 60 Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read (1445455775 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 1445421595) (01: 0000015529) (02: 0000011882) (03: 0000006593) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000176) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-start (1445455777 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 1445423015) (01: 0000014554) (02: 0000011595) (03: 0000006447) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000166) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-restart (0 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-dup-res (0 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-repl-ping (0 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-local (1445455779 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 1445454931) (01: 0000000589) (02: 0000000193) (03: 0000000059) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000007) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-read-response (1445455779 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 1445455683) (01: 0000000049) (02: 0000000022) (03: 0000000025) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write (228655197 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0187723300) (01: 0009192659) (02: 0008223924) (03: 0003665270) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (04: 0003055398) (05: 0002116116) (06: 0002763157) (07: 0004710945) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (08: 0006339713) (09: 0000851616) (10: 0000013099) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-start (264709407 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0264703613) (01: 0000002601) (02: 0000001906) (03: 0000001238) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (04: 0000000029) (05: 0000000006) (06: 0000000008) (07: 0000000003) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (08: 0000000003) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-restart (26469005 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0010708228) (01: 0001506141) (02: 0001225920) (03: 0000894694) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (04: 0000995758) (05: 0001191419) (06: 0002145077) (07: 0003876114) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (08: 0003631694) (09: 0000293960) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-dup-res (0 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-master (256458610 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0256458247) (01: 0000000272) (02: 0000000073) (03: 0000000017) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000001) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-repl-write (211625771 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0178382463) (01: 0009595538) (02: 0007735045) (03: 0003272222) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (04: 0002627339) (05: 0001481479) (06: 0001573362) (07: 0002432604) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (08: 0003927606) (09: 0000586710) (10: 0000011403) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-write-response (228655197 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0228655169) (01: 0000000012) (02: 0000000006) (03: 0000000010) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-device-read-size (1108949458 total) bytes Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (10: 0812764001) (11: 0286121393) (12: 0006382386) (13: 0002320274) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (14: 0000990826) (15: 0000306172) (16: 0000058582) (17: 0000005163) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (18: 0000000661) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-device-write-size (2694932607 total) bytes Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (07: 1424592389) (08: 0968278861) (09: 0198560957) (10: 0061463346) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (11: 0021711986) (12: 0010377295) (13: 0005891306) (14: 0002955286) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (15: 0000935093) (16: 0000151664) (17: 0000014355) (18: 0000000069) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-read (554549285 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0554547342) (01: 0000001123) (02: 0000000692) (03: 0000000113) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000015) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-large-block-read (735303 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (00: 0000735301) (01: 0000000002) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme0n1-write (2417197 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (00: 0002417193) (01: 0000000002) (02: 0000000002) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-read (554400185 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:257) (00: 0554398237) (01: 0000001117) (02: 0000000651) (03: 0000000154) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (04: 0000000026) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-large-block-read (746035 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (00: 0000746032) (01: 0000000002) (02: 0000000001) Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:240) histogram dump: {rtblab}-/dev/nvme1n1-write (2429904 total) msec Apr 09 2019 22:40:18 GMT: INFO (info): (hist.c:266) (00: 0002429898) (01: 0000000003) (02: 0000000003) ``` ---
**Author:** ![kporter](https://sea1.discourse-cdn.com/flex019/user_avatar/discuss.aerospike.com/kporter/32/515_2.png) [@kporter](https://discuss.aerospike.com/u/kporter)\ **Post date:** [April 10, 2019, 12:29am UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/7 "2019-04-10T00:29:42Z")
1. Is the new node on a different rack than the original 4? 2. The AMC chart you provide, is the top line the new node? If so, it seems to be getting 2-3x more writes than the others. 3. Are these logs from the new node? The latencies appear to be coming from ‘{rtblab}-write-repl-write’ which typically indicates a network bottleneck. Could you provide the output of `sar -A`. ---
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [June 11, 2019, 12:16pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/8 "2019-06-11T12:16:52Z")
Next try. After adding the new Node, the write Performance increased: ``` asloglatency -h {rtblab}-read Histogram Name : {rtblab}-read Log : /var/log/aerospike/aerospike.log From : 2019-06-11 12:06:07 Jun 11 2019 12:06:07 % > (ms) slice-to (sec) 1 8 64 ops/sec -------------- ------ ------ ------ ---------- 12:06:17 10 0.00 0.00 0.00 2544.4 12:06:27 10 0.02 0.01 0.00 2446.9 12:06:37 10 0.00 0.00 0.00 2570.7 12:06:47 10 0.03 0.00 0.00 2505.5 12:06:57 10 0.01 0.00 0.00 2596.3 12:07:07 10 0.00 0.00 0.00 2757.7 12:07:17 10 0.02 0.00 0.00 2577.2 12:07:27 10 0.00 0.00 0.00 3007.2 12:07:37 10 0.01 0.00 0.00 3152.5 12:07:47 10 0.02 0.00 0.00 3276.6 12:07:57 10 0.00 0.00 0.00 3070.5 12:08:07 10 0.01 0.00 0.00 2439.9 12:08:17 10 0.00 0.00 0.00 2633.9 12:08:27 10 0.00 0.00 0.00 3100.3 12:08:37 10 0.02 0.00 0.00 3157.5 12:08:47 10 0.00 0.00 0.00 3410.6 12:08:57 10 0.02 0.00 0.00 3561.4 12:09:07 10 0.00 0.00 0.00 3690.8 12:09:17 10 0.00 0.00 0.00 3505.6 12:09:27 10 0.04 0.00 0.00 2836.9 12:09:37 10 0.00 0.00 0.00 3152.2 12:09:47 10 0.02 0.00 0.00 3576.7 12:09:57 10 0.02 0.00 0.00 3770.0 12:10:07 10 0.00 0.00 0.00 3912.1 12:10:17 10 0.02 0.00 0.00 3879.6 12:10:27 10 0.00 0.00 0.00 3661.9 12:10:37 10 0.04 0.00 0.00 3758.4 12:10:47 10 0.01 0.00 0.00 4089.0 12:10:57 10 0.00 0.00 0.00 4319.6 12:11:07 10 0.03 0.00 0.00 4080.3 -------------- ------ ------ ------ ---------- avg 0.01 0.00 0.00 3234.0 max 0.04 0.01 0.00 4319.6 asloglatency -h {rtblab}-write Histogram Name : {rtblab}-write Log : /var/log/aerospike/aerospike.log From : 2019-06-11 12:06:17 Jun 11 2019 12:06:17 % > (ms) slice-to (sec) 1 8 64 ops/sec -------------- ------ ------ ------ ---------- 12:06:27 10 21.16 12.84 7.56 285.9 12:06:37 10 10.57 5.18 3.24 278.1 12:06:47 10 23.62 14.03 9.59 308.7 12:06:57 10 9.33 4.80 2.94 295.9 12:07:07 10 12.41 6.61 3.85 348.2 12:07:17 10 35.45 23.16 16.80 358.3 12:07:27 10 3.82 0.20 0.03 351.2 12:07:37 10 18.24 4.26 2.30 378.2 12:07:47 10 26.44 6.79 3.23 418.3 12:07:57 10 41.21 17.40 10.42 411.6 12:08:07 10 15.87 5.50 4.05 276.6 12:08:17 10 13.84 5.47 4.61 314.2 12:08:27 10 6.11 0.34 0.07 445.1 12:08:37 10 0.85 0.00 0.00 390.3 12:08:47 10 4.04 0.00 0.00 415.8 12:08:57 10 2.18 0.00 0.00 440.0 12:09:07 10 15.88 3.38 1.60 455.9 12:09:17 10 38.90 19.04 12.23 408.7 12:09:27 10 31.85 11.03 6.75 349.8 12:09:37 10 18.66 1.88 0.86 405.1 12:09:47 10 30.52 7.77 4.09 481.3 12:09:57 10 14.40 1.00 0.27 488.1 12:10:07 10 12.36 1.62 1.15 532.4 12:10:17 10 21.23 7.63 4.70 553.1 12:10:27 10 10.07 4.04 2.77 490.6 12:10:37 10 10.56 2.95 2.34 504.8 12:10:47 10 7.73 4.57 3.85 527.6 12:10:57 10 25.14 8.39 4.92 564.9 12:11:07 10 41.48 19.28 11.62 570.4 12:11:17 10 42.48 15.66 9.23 593.7 12:11:27 10 30.68 13.62 8.45 586.7 12:11:37 10 25.18 9.29 5.58 593.3 12:11:47 10 45.17 17.85 10.85 637.1 12:11:57 10 24.10 3.59 1.97 663.6 12:12:07 10 28.29 8.17 4.81 619.7 12:12:17 10 15.85 4.11 3.19 620.3 12:12:27 10 15.92 2.18 1.28 650.2 12:12:37 10 26.36 7.55 4.84 642.7 12:12:47 10 28.53 13.63 9.11 625.7 12:12:57 10 35.85 18.34 12.79 716.1 12:13:07 10 35.54 16.08 11.03 532.3 12:13:17 10 30.67 6.93 3.84 606.2 12:13:27 10 46.08 22.02 14.35 547.7 12:13:37 10 43.77 14.53 8.67 649.1 12:13:47 10 30.07 6.28 3.29 698.8 -------------- ------ ------ ------ ---------- avg 22.85 8.42 5.31 489.0 max 46.08 23.16 16.80 716.1 ``` sar -A: ``` Linux 4.15.0-47-generic (easy14) 11.06.2019 _x86_64_ (56 CPU) 11:55:01 CPU %usr %nice %sys %iowait %steal %irq %soft %guest %gnice %idle 12:05:01 all 22,53 0,00 9,08 0,02 0,00 0,00 2,22 0,00 0,00 66,16 12:05:01 0 14,28 0,00 10,81 0,02 0,00 0,00 2,95 0,00 0,00 71,94 12:05:01 1 13,82 0,00 9,55 0,03 0,00 0,00 1,97 0,00 0,00 74,62 12:05:01 2 14,46 0,00 10,53 0,02 0,00 0,00 2,11 0,00 0,00 72,88 12:05:01 3 14,36 0,00 9,38 0,03 0,00 0,00 1,91 0,00 0,00 74,33 12:05:01 4 14,19 0,00 9,48 0,03 0,00 0,00 2,05 0,00 0,00 74,25 12:05:01 5 14,61 0,00 9,39 0,03 0,00 0,00 2,30 0,00 0,00 73,67 12:05:01 6 14,53 0,00 9,76 0,03 0,00 0,00 2,25 0,00 0,00 73,43 12:05:01 7 14,34 0,00 9,45 0,03 0,00 0,00 2,41 0,00 0,00 73,77 12:05:01 8 14,25 0,00 9,72 0,03 0,00 0,00 2,24 0,00 0,00 73,76 12:05:01 9 14,11 0,00 9,03 0,03 0,00 0,00 1,84 0,00 0,00 74,99 12:05:01 10 14,67 0,00 10,12 0,03 0,00 0,00 2,21 0,00 0,00 72,97 12:05:01 11 14,15 0,00 9,29 0,03 0,00 0,00 2,14 0,00 0,00 74,39 12:05:01 12 14,31 0,00 9,66 0,03 0,00 0,00 2,30 0,00 0,00 73,71 12:05:01 13 14,69 0,00 9,89 0,03 0,00 0,00 2,07 0,00 0,00 73,33 12:05:01 14 33,97 0,00 7,35 0,01 0,00 0,00 1,88 0,00 0,00 56,78 12:05:01 15 30,43 0,00 8,22 0,01 0,00 0,00 2,33 0,00 0,00 59,01 12:05:01 16 31,91 0,00 7,63 0,02 0,00 0,00 2,06 0,00 0,00 58,39 12:05:01 17 33,97 0,00 7,99 0,01 0,00 0,00 2,40 0,00 0,00 55,63 12:05:01 18 31,29 0,00 8,33 0,03 0,00 0,00 2,33 0,00 0,00 58,02 12:05:01 19 30,03 0,00 8,98 0,02 0,00 0,00 2,39 0,00 0,00 58,57 12:05:01 20 34,46 0,00 7,83 0,03 0,00 0,00 1,95 0,00 0,00 55,74 12:05:01 21 36,53 0,00 7,59 0,01 0,00 0,00 2,25 0,00 0,00 53,62 12:05:01 22 30,44 0,00 7,52 0,02 0,00 0,00 1,83 0,00 0,00 60,19 12:05:01 23 30,98 0,00 7,94 0,01 0,00 0,00 2,10 0,00 0,00 58,96 12:05:01 24 33,58 0,00 8,01 0,04 0,00 0,00 2,04 0,00 0,00 56,34 12:05:01 25 32,94 0,00 8,09 0,01 0,00 0,00 2,10 0,00 0,00 56,85 12:05:01 26 37,28 0,00 7,52 0,01 0,00 0,00 2,25 0,00 0,00 52,94 12:05:01 27 33,58 0,00 8,13 0,03 0,00 0,00 2,45 0,00 0,00 55,81 12:05:01 28 14,15 0,00 8,79 0,00 0,00 0,00 1,62 0,00 0,00 75,44 12:05:01 29 14,53 0,00 9,97 0,00 0,00 0,00 2,32 0,00 0,00 73,19 12:05:01 30 14,30 0,00 11,02 0,00 0,00 0,00 2,81 0,00 0,00 71,87 12:05:01 31 14,51 0,00 10,17 0,00 0,00 0,00 2,21 0,00 0,00 73,11 12:05:01 32 14,76 0,00 9,62 0,00 0,00 0,00 2,34 0,00 0,00 73,28 12:05:01 33 14,60 0,00 9,99 0,00 0,00 0,00 2,31 0,00 0,00 73,09 12:05:01 34 14,67 0,00 9,88 0,00 0,00 0,00 2,22 0,00 0,00 73,22 12:05:01 35 14,76 0,00 9,53 0,00 0,00 0,00 2,32 0,00 0,00 73,39 12:05:01 36 13,24 0,00 9,30 0,00 0,00 0,00 1,78 0,00 0,00 75,68 12:05:01 37 14,03 0,00 10,57 0,00 0,00 0,00 2,33 0,00 0,00 73,07 12:05:01 38 14,37 0,00 9,35 0,00 0,00 0,00 2,03 0,00 0,00 74,25 12:05:01 39 14,34 0,00 10,69 0,00 0,00 0,00 2,27 0,00 0,00 72,70 12:05:01 40 12,01 0,00 11,68 0,00 0,00 0,00 2,02 0,00 0,00 74,29 12:05:01 41 14,04 0,00 10,94 0,01 0,00 0,00 2,47 0,00 0,00 72,54 12:05:01 42 30,55 0,00 7,94 0,03 0,00 0,00 2,27 0,00 0,00 59,21 12:05:01 43 28,72 0,00 10,57 0,01 0,00 0,00 4,18 0,00 0,00 56,53 12:05:01 44 30,90 0,00 7,94 0,00 0,00 0,00 1,96 0,00 0,00 59,20 12:05:01 45 26,92 0,00 9,18 0,02 0,00 0,00 2,24 0,00 0,00 61,64 12:05:01 46 27,38 0,00 7,88 0,01 0,00 0,00 1,79 0,00 0,00 62,94 12:05:01 47 30,00 0,00 8,53 0,02 0,00 0,00 2,09 0,00 0,00 59,36 12:05:01 48 25,16 0,00 8,40 0,00 0,00 0,00 2,20 0,00 0,00 64,24 12:05:01 49 26,12 0,00 8,52 0,01 0,00 0,00 2,23 0,00 0,00 63,13 12:05:01 50 31,48 0,00 8,06 0,01 0,00 0,00 2,34 0,00 0,00 58,12 12:05:01 51 33,40 0,00 8,19 0,00 0,00 0,00 2,29 0,00 0,00 56,12 12:05:01 52 27,26 0,00 8,44 0,01 0,00 0,00 1,98 0,00 0,00 62,31 12:05:01 53 29,02 0,00 8,71 0,01 0,00 0,00 2,48 0,00 0,00 59,79 12:05:01 54 26,14 0,00 8,31 0,01 0,00 0,00 1,75 0,00 0,00 63,78 12:05:01 55 26,80 0,00 9,14 0,02 0,00 0,00 2,34 0,00 0,00 61,70 12:05:01 CPU %usr %nice %sys %iowait %steal %irq %soft %guest %gnice %idle 12:15:01 all 7,92 0,00 8,86 0,02 0,00 0,00 0,73 0,00 0,00 82,47 12:15:01 0 5,03 0,00 8,99 0,04 0,00 0,00 1,20 0,00 0,00 84,74 12:15:01 1 4,88 0,00 9,36 0,04 0,00 0,00 0,74 0,00 0,00 84,98 12:15:01 2 3,57 0,00 9,62 0,04 0,00 0,00 0,75 0,00 0,00 86,02 12:15:01 3 3,40 0,00 8,75 0,04 0,00 0,00 0,57 0,00 0,00 87,25 12:15:01 4 3,58 0,00 9,59 0,03 0,00 0,00 0,71 0,00 0,00 86,08 12:15:01 5 3,41 0,00 8,46 0,03 0,00 0,00 0,57 0,00 0,00 87,52 12:15:01 6 4,55 0,00 9,14 0,04 0,00 0,00 0,74 0,00 0,00 85,52 12:15:01 7 3,28 0,00 8,52 0,04 0,00 0,00 0,78 0,00 0,00 87,38 12:15:01 8 3,43 0,00 9,21 0,04 0,00 0,00 0,72 0,00 0,00 86,60 12:15:01 9 3,18 0,00 8,06 0,04 0,00 0,00 0,46 0,00 0,00 88,25 12:15:01 10 4,02 0,00 9,51 0,04 0,00 0,00 0,72 0,00 0,00 85,71 12:15:01 11 3,83 0,00 8,89 0,04 0,00 0,00 0,70 0,00 0,00 86,54 12:15:01 12 3,56 0,00 9,75 0,04 0,00 0,00 0,84 0,00 0,00 85,81 12:15:01 13 3,77 0,00 9,89 0,03 0,00 0,00 0,79 0,00 0,00 85,52 12:15:01 14 10,99 0,00 8,45 0,03 0,00 0,00 0,60 0,00 0,00 79,94 12:15:01 15 12,64 0,00 8,79 0,02 0,00 0,00 1,03 0,00 0,00 77,52 12:15:01 16 14,53 0,00 7,82 0,03 0,00 0,00 0,68 0,00 0,00 76,94 12:15:01 17 16,10 0,00 7,89 0,03 0,00 0,00 0,77 0,00 0,00 75,21 12:15:01 18 10,35 0,00 8,13 0,03 0,00 0,00 0,66 0,00 0,00 80,83 12:15:01 19 15,70 0,00 8,16 0,02 0,00 0,00 0,88 0,00 0,00 75,24 12:15:01 20 12,87 0,00 8,46 0,03 0,00 0,00 0,77 0,00 0,00 77,88 12:15:01 21 14,11 0,00 8,07 0,03 0,00 0,00 0,79 0,00 0,00 77,00 12:15:01 22 16,71 0,00 7,93 0,03 0,00 0,00 0,76 0,00 0,00 74,57 12:15:01 23 17,80 0,00 8,32 0,03 0,00 0,00 0,98 0,00 0,00 72,87 12:15:01 24 16,37 0,00 8,16 0,03 0,00 0,00 0,70 0,00 0,00 74,75 12:15:01 25 16,88 0,00 8,50 0,03 0,00 0,00 0,74 0,00 0,00 73,85 12:15:01 26 15,68 0,00 8,20 0,02 0,00 0,00 0,83 0,00 0,00 75,26 12:15:01 27 13,79 0,00 8,48 0,02 0,00 0,00 0,92 0,00 0,00 76,80 12:15:01 28 3,29 0,00 8,09 0,00 0,00 0,00 0,40 0,00 0,00 88,21 12:15:01 29 3,43 0,00 9,70 0,00 0,00 0,00 0,70 0,00 0,00 86,17 12:15:01 30 3,62 0,00 9,93 0,00 0,00 0,00 0,86 0,00 0,00 85,60 12:15:01 31 3,98 0,00 10,46 0,00 0,00 0,00 0,90 0,00 0,00 84,66 12:15:01 32 3,46 0,00 9,38 0,00 0,00 0,00 0,81 0,00 0,00 86,35 12:15:01 33 3,70 0,00 10,37 0,00 0,00 0,00 0,89 0,00 0,00 85,04 12:15:01 34 3,36 0,00 8,85 0,00 0,00 0,00 0,57 0,00 0,00 87,21 12:15:01 35 3,41 0,00 9,18 0,00 0,00 0,00 0,70 0,00 0,00 86,71 12:15:01 36 3,31 0,00 8,28 0,00 0,00 0,00 0,44 0,00 0,00 87,97 12:15:01 37 3,94 0,00 10,86 0,00 0,00 0,00 1,09 0,00 0,00 84,10 12:15:01 38 3,36 0,00 8,83 0,00 0,00 0,00 0,51 0,00 0,00 87,31 12:15:01 39 3,52 0,00 9,76 0,00 0,00 0,00 0,70 0,00 0,00 86,03 12:15:01 40 3,02 0,00 9,42 0,00 0,00 0,00 0,59 0,00 0,00 86,97 12:15:01 41 3,94 0,00 9,92 0,01 0,00 0,00 0,78 0,00 0,00 85,35 12:15:01 42 9,90 0,00 8,33 0,00 0,00 0,00 0,71 0,00 0,00 81,06 12:15:01 43 10,09 0,00 8,64 0,00 0,00 0,00 0,72 0,00 0,00 80,55 12:15:01 44 9,48 0,00 8,36 0,00 0,00 0,00 0,60 0,00 0,00 81,56 12:15:01 45 9,80 0,00 8,69 0,00 0,00 0,00 0,73 0,00 0,00 80,78 12:15:01 46 14,08 0,00 8,07 0,00 0,00 0,00 0,63 0,00 0,00 77,22 12:15:01 47 11,35 0,00 8,47 0,00 0,00 0,00 0,68 0,00 0,00 79,49 12:15:01 48 14,09 0,00 7,57 0,00 0,00 0,00 0,68 0,00 0,00 77,66 12:15:01 49 11,96 0,00 8,18 0,00 0,00 0,00 0,74 0,00 0,00 79,12 12:15:01 50 7,83 0,00 8,39 0,00 0,00 0,00 0,63 0,00 0,00 83,15 12:15:01 51 6,06 0,00 9,54 0,00 0,00 0,00 0,77 0,00 0,00 83,63 12:15:01 52 6,39 0,00 8,82 0,00 0,00 0,00 0,66 0,00 0,00 84,14 12:15:01 53 6,59 0,00 9,58 0,00 0,00 0,00 0,87 0,00 0,00 82,95 12:15:01 54 7,71 0,00 8,55 0,01 0,00 0,00 0,59 0,00 0,00 83,14 12:15:01 55 10,33 0,00 8,71 0,01 0,00 0,00 0,84 0,00 0,00 80,11 Average: CPU %usr %nice %sys %iowait %steal %irq %soft %guest %gnice %idle Average: all 15,26 0,00 8,97 0,02 0,00 0,00 1,48 0,00 0,00 74,28 Average: 0 9,68 0,00 9,91 0,03 0,00 0,00 2,08 0,00 0,00 78,31 Average: 1 9,37 0,00 9,46 0,03 0,00 0,00 1,36 0,00 0,00 79,78 Average: 2 9,03 0,00 10,07 0,03 0,00 0,00 1,44 0,00 0,00 79,43 Average: 3 8,89 0,00 9,06 0,03 0,00 0,00 1,24 0,00 0,00 80,77 Average: 4 8,92 0,00 9,53 0,03 0,00 0,00 1,38 0,00 0,00 80,14 Average: 5 9,03 0,00 8,93 0,03 0,00 0,00 1,44 0,00 0,00 80,57 Average: 6 9,55 0,00 9,45 0,03 0,00 0,00 1,50 0,00 0,00 79,46 Average: 7 8,83 0,00 8,99 0,03 0,00 0,00 1,60 0,00 0,00 80,56 Average: 8 8,86 0,00 9,46 0,04 0,00 0,00 1,48 0,00 0,00 80,15 Average: 9 8,65 0,00 8,55 0,04 0,00 0,00 1,15 0,00 0,00 81,61 Average: 10 9,36 0,00 9,82 0,03 0,00 0,00 1,47 0,00 0,00 79,32 Average: 11 9,01 0,00 9,09 0,03 0,00 0,00 1,42 0,00 0,00 80,45 Average: 12 8,96 0,00 9,71 0,03 0,00 0,00 1,57 0,00 0,00 79,73 Average: 13 9,26 0,00 9,89 0,03 0,00 0,00 1,43 0,00 0,00 79,39 Average: 14 22,55 0,00 7,90 0,02 0,00 0,00 1,24 0,00 0,00 68,29 Average: 15 21,59 0,00 8,50 0,02 0,00 0,00 1,68 0,00 0,00 68,21 Average: 16 23,26 0,00 7,72 0,02 0,00 0,00 1,37 0,00 0,00 67,63 Average: 17 25,07 0,00 7,94 0,02 0,00 0,00 1,59 0,00 0,00 65,38 Average: 18 20,86 0,00 8,23 0,03 0,00 0,00 1,50 0,00 0,00 69,38 Average: 19 22,89 0,00 8,57 0,02 0,00 0,00 1,64 0,00 0,00 66,88 Average: 20 23,73 0,00 8,14 0,03 0,00 0,00 1,36 0,00 0,00 66,74 Average: 21 25,37 0,00 7,83 0,02 0,00 0,00 1,52 0,00 0,00 65,26 Average: 22 23,60 0,00 7,72 0,02 0,00 0,00 1,30 0,00 0,00 67,35 Average: 23 24,43 0,00 8,13 0,02 0,00 0,00 1,54 0,00 0,00 65,88 Average: 24 25,02 0,00 8,08 0,03 0,00 0,00 1,37 0,00 0,00 65,49 Average: 25 24,94 0,00 8,30 0,02 0,00 0,00 1,42 0,00 0,00 65,32 Average: 26 26,52 0,00 7,86 0,02 0,00 0,00 1,54 0,00 0,00 64,05 Average: 27 23,75 0,00 8,30 0,03 0,00 0,00 1,69 0,00 0,00 66,24 Average: 28 8,74 0,00 8,44 0,00 0,00 0,00 1,01 0,00 0,00 81,80 Average: 29 8,99 0,00 9,83 0,00 0,00 0,00 1,51 0,00 0,00 79,66 Average: 30 8,97 0,00 10,48 0,00 0,00 0,00 1,84 0,00 0,00 78,71 Average: 31 9,28 0,00 10,31 0,00 0,00 0,00 1,56 0,00 0,00 78,85 Average: 32 9,14 0,00 9,50 0,00 0,00 0,00 1,58 0,00 0,00 79,79 Average: 33 9,18 0,00 10,18 0,00 0,00 0,00 1,60 0,00 0,00 79,03 Average: 34 9,04 0,00 9,37 0,00 0,00 0,00 1,40 0,00 0,00 80,19 Average: 35 9,12 0,00 9,36 0,00 0,00 0,00 1,51 0,00 0,00 80,01 Average: 36 8,28 0,00 8,79 0,00 0,00 0,00 1,11 0,00 0,00 81,82 Average: 37 9,03 0,00 10,71 0,00 0,00 0,00 1,72 0,00 0,00 78,55 Average: 38 8,88 0,00 9,09 0,00 0,00 0,00 1,27 0,00 0,00 80,76 Average: 39 8,94 0,00 10,23 0,00 0,00 0,00 1,49 0,00 0,00 79,34 Average: 40 7,51 0,00 10,55 0,00 0,00 0,00 1,30 0,00 0,00 80,64 Average: 41 9,02 0,00 10,44 0,01 0,00 0,00 1,63 0,00 0,00 78,92 Average: 42 20,28 0,00 8,13 0,02 0,00 0,00 1,49 0,00 0,00 70,08 Average: 43 19,43 0,00 9,61 0,00 0,00 0,00 2,45 0,00 0,00 68,51 Average: 44 20,24 0,00 8,15 0,00 0,00 0,00 1,28 0,00 0,00 70,33 Average: 45 18,39 0,00 8,94 0,01 0,00 0,00 1,49 0,00 0,00 71,17 Average: 46 20,75 0,00 7,97 0,01 0,00 0,00 1,21 0,00 0,00 70,06 Average: 47 20,71 0,00 8,50 0,01 0,00 0,00 1,39 0,00 0,00 69,38 Average: 48 19,63 0,00 7,99 0,00 0,00 0,00 1,44 0,00 0,00 70,94 Average: 49 19,06 0,00 8,35 0,00 0,00 0,00 1,49 0,00 0,00 71,10 Average: 50 19,72 0,00 8,23 0,00 0,00 0,00 1,49 0,00 0,00 70,56 Average: 51 19,84 0,00 8,86 0,00 0,00 0,00 1,53 0,00 0,00 69,77 Average: 52 16,88 0,00 8,63 0,01 0,00 0,00 1,32 0,00 0,00 73,16 Average: 53 17,89 0,00 9,14 0,00 0,00 0,00 1,68 0,00 0,00 71,29 Average: 54 16,98 0,00 8,43 0,01 0,00 0,00 1,17 0,00 0,00 73,41 Average: 55 18,60 0,00 8,93 0,01 0,00 0,00 1,59 0,00 0,00 70,87 11:55:01 proc/s cswch/s 12:05:01 0,24 446914,70 12:15:01 0,20 411736,95 Average: 0,22 429325,82 11:55:01 pswpin/s pswpout/s 12:05:01 0,00 0,00 12:15:01 0,00 0,00 Average: 0,00 0,00 11:55:01 pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff 12:05:01 518,82 16912,97 20206,13 0,20 3162,92 0,00 0,00 0,00 0,00 12:15:01 855,85 15984,81 19093,66 0,08 1496,63 0,00 0,00 0,00 0,00 Average: 687,34 16448,89 19649,89 0,14 2329,77 0,00 0,00 0,00 0,00 11:55:01 tps rtps wtps bread/s bwrtn/s 12:05:01 405,82 284,06 121,76 1038,08 33825,94 12:15:01 883,80 755,65 128,16 1711,71 31969,62 Average: 644,81 519,86 124,96 1374,89 32897,78 11:55:01 kbmemfree kbavail kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty kbanonpg kbslab kbkstack kbpgtbl kbvmused 12:05:01 218327296 218941576 45701304 17,31 60376 1692800 38049944 13,97 39403972 4270748 396 41895040 1169128 30672 98804 0 12:15:01 215391328 216011448 48637272 18,42 61384 1697080 37897252 13,91 42320900 4274624 304 44810656 1168496 30704 104776 0 Average: 216859312 217476512 47169288 17,87 60880 1694940 37973598 13,94 40862436 4272686 350 43352848 1168812 30688 101790 0 11:55:01 kbswpfree kbswpused %swpused kbswpcad %swpcad 12:05:01 8387836 768 0,01 0 0,00 12:15:01 8387836 768 0,01 0 0,00 Average: 8387836 768 0,01 0 0,00 11:55:01 kbhugfree kbhugused %hugused 12:05:01 0 0 0,00 12:15:01 0 0 0,00 Average: 0 0 0,00 11:55:01 dentunusd file-nr inode-nr pty-nr 12:05:01 49347 4816 52349 1 12:15:01 52960 4032 52355 1 Average: 51154 4424 52352 1 11:55:01 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked 12:05:01 2 1865 11,56 20,72 26,84 0 12:15:01 7 1867 9,94 11,52 19,02 0 Average: 4 1866 10,75 16,12 22,93 0 11:55:01 TTY rcvin/s txmtin/s framerr/s prtyerr/s brk/s ovrun/s 12:05:01 0 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 1 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 0 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 1 0,00 0,00 0,00 0,00 0,00 0,00 Average: 0 0,00 0,00 0,00 0,00 0,00 0,00 Average: 1 0,00 0,00 0,00 0,00 0,00 0,00 11:55:01 DEV tps rkB/s wkB/s areq-sz aqu-sz await svctm %util 12:05:01 dev7-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev7-1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev7-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev7-3 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev7-4 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev259-0 206,68 261,94 7332,72 36,75 0,00 0,04 0,00 0,00 12:05:01 dev259-1 191,35 243,17 7306,05 39,45 0,00 0,04 0,00 0,01 12:05:01 dev8-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 dev8-16 7,79 13,93 2274,20 293,55 0,63 80,39 1,13 0,88 12:15:01 dev7-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev7-1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev7-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev7-3 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev7-4 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev259-0 474,19 435,07 7974,62 17,73 0,00 0,02 0,00 0,01 12:15:01 dev259-1 405,95 416,69 7984,22 20,69 0,00 0,03 0,00 0,01 12:15:01 dev8-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 dev8-16 3,66 4,10 25,97 8,21 0,00 0,14 0,04 0,02 Average: dev7-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev7-1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev7-2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev7-3 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev7-4 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev259-0 340,43 348,50 7653,67 23,51 0,00 0,03 0,00 0,01 Average: dev259-1 298,65 329,93 7645,14 26,70 0,00 0,03 0,00 0,01 Average: dev8-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: dev8-16 5,73 9,01 1150,08 202,32 0,31 54,73 0,78 0,45 11:55:01 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil 12:05:01 lo 319,98 319,98 41,56 41,56 0,00 0,00 0,00 0,00 12:05:01 eno2 116978,54 112969,24 37657,33 16710,04 0,00 0,00 26,65 3,08 12:05:01 eno1 17277,68 17206,34 5637,23 1883,21 0,00 0,00 33,29 4,62 12:15:01 lo 317,85 317,85 35,63 35,63 0,00 0,00 0,00 0,00 12:15:01 eno2 90298,87 86417,37 28777,76 9331,90 0,00 0,00 26,72 2,36 12:15:01 eno1 17069,22 16964,33 6181,79 2013,22 0,00 0,00 33,38 5,06 Average: lo 318,92 318,92 38,60 38,60 0,00 0,00 0,00 0,00 Average: eno2 103638,70 99693,30 33217,54 13020,97 0,00 0,00 26,69 2,72 Average: eno1 17173,45 17085,34 5909,51 1948,22 0,00 0,00 33,33 4,84 11:55:01 IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s 12:05:01 lo 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 eno2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:05:01 eno1 0,50 0,00 0,00 0,00 0,00 0,00 0,50 0,00 0,00 12:15:01 lo 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 eno2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 eno1 0,50 0,00 0,00 0,00 0,00 0,00 0,50 0,00 0,00 Average: lo 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: eno2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: eno1 0,50 0,00 0,00 0,00 0,00 0,00 0,50 0,00 0,00 11:55:01 call/s retrans/s read/s write/s access/s getatt/s 12:05:01 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 0,00 0,00 0,00 0,00 0,00 0,00 Average: 0,00 0,00 0,00 0,00 0,00 0,00 11:55:01 scall/s badcall/s packet/s udp/s tcp/s hit/s miss/s sread/s swrite/s saccess/s sgetatt/s 12:05:01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 12:15:01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Average: 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 11:55:01 totsck tcpsck udpsck rawsck ip-frag tcp-tw 12:05:01 1127 272 2 0 0 8 12:15:01 1136 276 2 0 0 9 Average: 1132 274 2 0 0 8 11:55:01 CPU total/s dropd/s squeezd/s rx_rps/s flw_lim/s 12:05:01 all 127387,80 0,00 394,59 0,00 0,00 12:05:01 0 2331,76 0,00 7,73 0,00 0,00 12:05:01 1 1919,51 0,00 6,28 0,00 0,00 12:05:01 2 2252,85 0,00 7,21 0,00 0,00 12:05:01 3 1911,31 0,00 6,16 0,00 0,00 12:05:01 4 2013,57 0,00 6,29 0,00 0,00 12:05:01 5 2334,63 0,00 6,96 0,00 0,00 12:05:01 6 2387,53 0,00 7,07 0,00 0,00 12:05:01 7 2345,40 0,00 6,90 0,00 0,00 12:05:01 8 2252,36 0,00 7,32 0,00 0,00 12:05:01 9 1839,10 0,00 5,89 0,00 0,00 12:05:01 10 2269,61 0,00 7,34 0,00 0,00 12:05:01 11 2162,62 0,00 6,44 0,00 0,00 12:05:01 12 2383,90 0,00 7,08 0,00 0,00 12:05:01 13 2224,27 0,00 6,79 0,00 0,00 12:05:01 14 1927,33 0,00 5,86 0,00 0,00 12:05:01 15 2357,65 0,00 7,41 0,00 0,00 12:05:01 16 1996,53 0,00 6,27 0,00 0,00 12:05:01 17 2324,72 0,00 7,10 0,00 0,00 12:05:01 18 2288,05 0,00 7,21 0,00 0,00 12:05:01 19 2433,52 0,00 7,95 0,00 0,00 12:05:01 20 2127,31 0,00 6,31 0,00 0,00 12:05:01 21 2177,64 0,00 6,78 0,00 0,00 12:05:01 22 1994,15 0,00 5,98 0,00 0,00 12:05:01 23 2195,83 0,00 6,98 0,00 0,00 12:05:01 24 2199,31 0,00 6,37 0,00 0,00 12:05:01 25 2261,41 0,00 6,90 0,00 0,00 12:05:01 26 2186,70 0,00 6,93 0,00 0,00 12:05:01 27 2442,11 0,00 7,52 0,00 0,00 12:05:01 28 1680,36 0,00 5,28 0,00 0,00 12:05:01 29 2346,12 0,00 7,64 0,00 0,00 12:05:01 30 2746,15 0,00 9,16 0,00 0,00 12:05:01 31 2407,33 0,00 7,19 0,00 0,00 12:05:01 32 2356,33 0,00 6,99 0,00 0,00 12:05:01 33 2442,57 0,00 7,39 0,00 0,00 12:05:01 34 2412,96 0,00 6,94 0,00 0,00 12:05:01 35 2391,90 0,00 7,09 0,00 0,00 12:05:01 36 1836,19 0,00 5,79 0,00 0,00 12:05:01 37 2486,91 0,00 8,00 0,00 0,00 12:05:01 38 2017,39 0,00 6,66 0,00 0,00 12:05:01 39 2413,03 0,00 7,83 0,00 0,00 12:05:01 40 2466,37 0,00 7,93 0,00 0,00 12:05:01 41 2643,10 0,00 8,11 0,00 0,00 12:05:01 42 2236,52 0,00 7,28 0,00 0,00 12:05:01 43 4264,16 0,00 11,88 0,00 0,00 12:05:01 44 2068,30 0,00 6,16 0,00 0,00 12:05:01 45 2500,57 0,00 7,53 0,00 0,00 12:05:01 46 1917,90 0,00 5,67 0,00 0,00 12:05:01 47 2259,51 0,00 6,83 0,00 0,00 12:05:01 48 2243,00 0,00 6,82 0,00 0,00 12:05:01 49 2268,64 0,00 7,15 0,00 0,00 12:05:01 50 2152,38 0,00 6,95 0,00 0,00 12:05:01 51 2363,97 0,00 7,16 0,00 0,00 12:05:01 52 2028,39 0,00 6,48 0,00 0,00 12:05:01 53 2451,14 0,00 7,72 0,00 0,00 12:05:01 54 1961,97 0,00 5,87 0,00 0,00 12:05:01 55 2483,97 0,00 8,03 0,00 0,00 12:05:01 CPU total/s dropd/s squeezd/s rx_rps/s flw_lim/s 12:15:01 all 103598,69 0,00 330,95 0,00 0,00 12:15:01 0 1533,81 0,00 4,90 0,00 0,00 12:15:01 1 1722,90 0,00 5,82 0,00 0,00 12:15:01 2 1913,16 0,00 6,38 0,00 0,00 12:15:01 3 1583,03 0,00 5,32 0,00 0,00 12:15:01 4 1971,24 0,00 6,29 0,00 0,00 12:15:01 5 1699,28 0,00 5,06 0,00 0,00 12:15:01 6 2024,42 0,00 5,98 0,00 0,00 12:15:01 7 1768,07 0,00 5,05 0,00 0,00 12:15:01 8 2027,54 0,00 6,34 0,00 0,00 12:15:01 9 1418,57 0,00 4,61 0,00 0,00 12:15:01 10 2015,88 0,00 6,34 0,00 0,00 12:15:01 11 1870,53 0,00 5,50 0,00 0,00 12:15:01 12 2121,25 0,00 6,46 0,00 0,00 12:15:01 13 2222,82 0,00 6,70 0,00 0,00 12:15:01 14 1541,85 0,00 4,92 0,00 0,00 12:15:01 15 2121,72 0,00 7,05 0,00 0,00 12:15:01 16 1512,16 0,00 4,92 0,00 0,00 12:15:01 17 1602,57 0,00 4,99 0,00 0,00 12:15:01 18 1614,25 0,00 5,49 0,00 0,00 12:15:01 19 1926,33 0,00 6,29 0,00 0,00 12:15:01 20 1874,83 0,00 5,81 0,00 0,00 12:15:01 21 1714,07 0,00 5,65 0,00 0,00 12:15:01 22 1686,06 0,00 5,46 0,00 0,00 12:15:01 23 1842,02 0,00 6,50 0,00 0,00 12:15:01 24 1625,11 0,00 5,21 0,00 0,00 12:15:01 25 1724,99 0,00 5,70 0,00 0,00 12:15:01 26 1712,79 0,00 5,56 0,00 0,00 12:15:01 27 1964,98 0,00 6,44 0,00 0,00 12:15:01 28 1385,04 0,00 4,48 0,00 0,00 12:15:01 29 1983,66 0,00 6,55 0,00 0,00 12:15:01 30 2132,06 0,00 7,10 0,00 0,00 12:15:01 31 2535,35 0,00 7,77 0,00 0,00 12:15:01 32 1960,08 0,00 5,90 0,00 0,00 12:15:01 33 2290,32 0,00 7,17 0,00 0,00 12:15:01 34 1910,59 0,00 5,48 0,00 0,00 12:15:01 35 2066,76 0,00 6,29 0,00 0,00 12:15:01 36 1492,64 0,00 4,02 0,00 0,00 12:15:01 37 2707,03 0,00 8,58 0,00 0,00 12:15:01 38 1580,49 0,00 5,17 0,00 0,00 12:15:01 39 1993,31 0,00 6,72 0,00 0,00 12:15:01 40 1741,54 0,00 5,72 0,00 0,00 12:15:01 41 2187,13 0,00 6,83 0,00 0,00 12:15:01 42 1708,24 0,00 5,99 0,00 0,00 12:15:01 43 1874,98 0,00 6,05 0,00 0,00 12:15:01 44 1660,20 0,00 5,51 0,00 0,00 12:15:01 45 1968,60 0,00 6,30 0,00 0,00 12:15:01 46 1569,96 0,00 4,92 0,00 0,00 12:15:01 47 1802,11 0,00 5,53 0,00 0,00 12:15:01 48 1542,52 0,00 5,06 0,00 0,00 12:15:01 49 1771,35 0,00 5,64 0,00 0,00 12:15:01 50 1785,18 0,00 5,82 0,00 0,00 12:15:01 51 2093,13 0,00 6,59 0,00 0,00 12:15:01 52 1806,87 0,00 5,91 0,00 0,00 12:15:01 53 2115,43 0,00 7,40 0,00 0,00 12:15:01 54 1676,48 0,00 5,18 0,00 0,00 12:15:01 55 1901,40 0,00 6,50 0,00 0,00 Average: CPU total/s dropd/s squeezd/s rx_rps/s flw_lim/s Average: all 115493,24 0,00 362,77 0,00 0,00 Average: 0 1932,79 0,00 6,31 0,00 0,00 Average: 1 1821,20 0,00 6,05 0,00 0,00 Average: 2 2083,00 0,00 6,80 0,00 0,00 Average: 3 1747,17 0,00 5,74 0,00 0,00 Average: 4 1992,40 0,00 6,29 0,00 0,00 Average: 5 2016,96 0,00 6,01 0,00 0,00 Average: 6 2205,97 0,00 6,52 0,00 0,00 Average: 7 2056,74 0,00 5,98 0,00 0,00 Average: 8 2139,95 0,00 6,83 0,00 0,00 Average: 9 1628,84 0,00 5,25 0,00 0,00 Average: 10 2142,75 0,00 6,84 0,00 0,00 Average: 11 2016,57 0,00 5,97 0,00 0,00 Average: 12 2252,58 0,00 6,77 0,00 0,00 Average: 13 2223,55 0,00 6,74 0,00 0,00 Average: 14 1734,59 0,00 5,39 0,00 0,00 Average: 15 2239,68 0,00 7,23 0,00 0,00 Average: 16 1754,35 0,00 5,60 0,00 0,00 Average: 17 1963,64 0,00 6,05 0,00 0,00 Average: 18 1951,15 0,00 6,35 0,00 0,00 Average: 19 2179,92 0,00 7,12 0,00 0,00 Average: 20 2001,07 0,00 6,06 0,00 0,00 Average: 21 1945,86 0,00 6,22 0,00 0,00 Average: 22 1840,10 0,00 5,72 0,00 0,00 Average: 23 2018,92 0,00 6,74 0,00 0,00 Average: 24 1912,21 0,00 5,79 0,00 0,00 Average: 25 1993,20 0,00 6,30 0,00 0,00 Average: 26 1949,75 0,00 6,24 0,00 0,00 Average: 27 2203,54 0,00 6,98 0,00 0,00 Average: 28 1532,70 0,00 4,88 0,00 0,00 Average: 29 2164,89 0,00 7,09 0,00 0,00 Average: 30 2439,11 0,00 8,13 0,00 0,00 Average: 31 2471,34 0,00 7,48 0,00 0,00 Average: 32 2158,20 0,00 6,44 0,00 0,00 Average: 33 2366,44 0,00 7,28 0,00 0,00 Average: 34 2161,78 0,00 6,21 0,00 0,00 Average: 35 2229,33 0,00 6,69 0,00 0,00 Average: 36 1664,41 0,00 4,91 0,00 0,00 Average: 37 2596,97 0,00 8,29 0,00 0,00 Average: 38 1798,94 0,00 5,91 0,00 0,00 Average: 39 2203,17 0,00 7,28 0,00 0,00 Average: 40 2103,96 0,00 6,83 0,00 0,00 Average: 41 2415,11 0,00 7,47 0,00 0,00 Average: 42 1972,38 0,00 6,63 0,00 0,00 Average: 43 3069,57 0,00 8,96 0,00 0,00 Average: 44 1864,25 0,00 5,84 0,00 0,00 Average: 45 2234,58 0,00 6,91 0,00 0,00 Average: 46 1743,93 0,00 5,29 0,00 0,00 Average: 47 2030,81 0,00 6,18 0,00 0,00 Average: 48 1892,76 0,00 5,94 0,00 0,00 Average: 49 2020,00 0,00 6,40 0,00 0,00 Average: 50 1968,78 0,00 6,38 0,00 0,00 Average: 51 2228,55 0,00 6,87 0,00 0,00 Average: 52 1917,63 0,00 6,19 0,00 0,00 Average: 53 2283,29 0,00 7,56 0,00 0,00 Average: 54 1819,23 0,00 5,53 0,00 0,00 Average: 55 2192,68 0,00 7,27 0,00 0,00 ``` ---
**Author:** ![Bikearni](https://avatars.discourse-cdn.com/v4/letter/b/7c8e57/32.png) [@Bikearni](https://discuss.aerospike.com/u/Bikearni)\ **Post date:** [June 11, 2019, 12:17pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/9 "2019-06-11T12:17:35Z")
The Server is connected with 10-G ---
**Author:** ![kporter](https://sea1.discourse-cdn.com/flex019/user_avatar/discuss.aerospike.com/kporter/32/515_2.png) [@kporter](https://discuss.aerospike.com/u/kporter)\ **Post date:** [June 11, 2019, 5:48pm UTC](https://discuss.aerospike.com/t/write-performance-problem-during-migrations-while-adding-a-new-node/6135/10 "2019-06-11T17:48:19Z")
```auto 12:05:01 dev8-16 7,79 13,93 2274,20 293,55 0,63 80,39 1,13 0,88 ``` What is dev8-16 used for, the await seems and svctm seem high.