摘要：本文是從視角理解系統(tǒng)結(jié)構(gòu)連載文章在高性能編程時(shí)經(jīng)常接觸到多線程起初我們的理解是多個(gè)線程并行地執(zhí)行總比單個(gè)線程要快就像多個(gè)人一起干活總比一個(gè)人干要快然而實(shí)際情況是多線程之間需要競(jìng)爭(zhēng)設(shè)備或者競(jìng)爭(zhēng)鎖資源，導(dǎo)致往往執(zhí)行速度還不如單個(gè)線程在這里有一個(gè)

本文是從Java視角理解系統(tǒng)結(jié)構(gòu)連載文章

在高性能編程時(shí),經(jīng)常接觸到多線程. 起初我們的理解是, 多個(gè)線程并行地執(zhí)行總比單個(gè)線程要快, 就像多個(gè)人一起干活總比一個(gè)人干要快. 然而實(shí)際情況是, 多線程之間需要競(jìng)爭(zhēng)IO設(shè)備, 或者競(jìng)爭(zhēng)鎖資源，導(dǎo)致往往執(zhí)行速度還不如單個(gè)線程. 在這里有一個(gè)經(jīng)常提及的概念就是: 上下文切換(Context Switch).

上下文切換的精確定義可以參考: http://www.linfo.org/context_switch.html。下面做個(gè)簡(jiǎn)單的介紹. 多任務(wù)系統(tǒng)往往需要同時(shí)執(zhí)行多道作業(yè).作業(yè)數(shù)往往大于機(jī)器的CPU數(shù), 然而一顆CPU同時(shí)只能執(zhí)行一項(xiàng)任務(wù), 如何讓用戶感覺這些任務(wù)正在同時(shí)進(jìn)行呢? 操作系統(tǒng)的設(shè)計(jì)者巧妙地利用了時(shí)間片輪轉(zhuǎn)的方式, CPU給每個(gè)任務(wù)都服務(wù)一定的時(shí)間, 然后把當(dāng)前任務(wù)的狀態(tài)保存下來, 在加載下一任務(wù)的狀態(tài)后, 繼續(xù)服務(wù)下一任務(wù). 任務(wù)的狀態(tài)保存及再加載, 這段過程就叫做上下文切換. 時(shí)間片輪轉(zhuǎn)的方式使多個(gè)任務(wù)在同一顆CPU上執(zhí)行變成了可能,但同時(shí)也帶來了保存現(xiàn)場(chǎng)和加載現(xiàn)場(chǎng)的直接消耗。

(Note. 更精確地說, 上下文切換會(huì)帶來直接和間接兩種因素影響程序性能的消耗. 直接消耗包括: CPU寄存器需要保存和加載, 系統(tǒng)調(diào)度器的代碼需要執(zhí)行, TLB實(shí)例需要重新加載, CPU 的pipeline需要刷掉; 間接消耗指的是多核的cache之間得共享數(shù)據(jù), 間接消耗對(duì)于程序的影響要看線程工作區(qū)操作數(shù)據(jù)的大小).

在linux中可以使用vmstat觀察上下文切換的次數(shù). 執(zhí)行命令如下:

$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0 4593944 453560 1118192    0    0    14    12  238   30  6  1 92  1
 0  0      0 4593212 453568 1118816    0    0     0    96  958 1108  4  1 94  2
 0  0      0 4593360 453568 1118456    0    0     0     0  895 1044  3  1 95  0
 1  0      0 4593408 453568 1118456    0    0     0     0  929 1073  4  1 95  0
 0  0      0 4593496 453568 1118456    0    0     0     0 1133 1363  6  1 93  0
 0  0      0 4593568 453568 1118476    0    0     0     0  992 1190  4  1 95  0

vmstat 1指每秒統(tǒng)計(jì)一次, 其中cs列就是指上下文切換的數(shù)目. 一般情況下, 空閑系統(tǒng)的上下文切換每秒大概在1500以下.

對(duì)于我們經(jīng)常使用的搶占式操作系統(tǒng)來說, 引起上下文切換的原因大概有以下幾種: 1. 當(dāng)前執(zhí)行任務(wù)的時(shí)間片用完之后, 系統(tǒng)CPU正常調(diào)度下一個(gè)任務(wù) 2. 當(dāng)前執(zhí)行任務(wù)碰到IO阻塞, 調(diào)度器將掛起此任務(wù), 繼續(xù)下一任務(wù) 3. 多個(gè)任務(wù)搶占鎖資源, 當(dāng)前任務(wù)沒有搶到,被調(diào)度器掛起,
繼續(xù)下一任務(wù) 4. 用戶代碼掛起當(dāng)前任務(wù), 讓出CPU時(shí)間 5. 硬件中斷.

前段時(shí)間發(fā)現(xiàn)有人在使用futex的WAIT和WAKE來測(cè)試context switch的直接消耗(鏈接), 也有人使用阻塞IO來測(cè)試context switch的消耗(鏈接).那么Java程序怎么測(cè)試和觀察上下文切換的消耗呢?

我做了一個(gè)小實(shí)驗(yàn), 代碼很簡(jiǎn)單, 有兩個(gè)工作線程. 開始時(shí)，第一個(gè)線程掛起自己;
第二個(gè)線程喚醒第一個(gè)線程，再掛起自己; 第一個(gè)線程醒來之后喚醒第二個(gè)線程,
再掛起自己. 就這樣一來一往,互相喚醒對(duì)方, 掛起自己. 代碼如下:

import java.util.concurrent.atomic.AtomicReference;
import java.util.concurrent.locks.LockSupport;

public final class ContextSwitchTest {
    static final int RUNS = 3;
    static final int ITERATES = 1000000;
    static AtomicReference turn = new AtomicReference();

    static final class WorkerThread extends Thread {
        volatile Thread other;
        volatile int nparks;

        public void run() {
            final AtomicReference t = turn;
            final Thread other = this.other;
            if (turn == null || other == null)
                throw new NullPointerException();
            int p = 0;
            for (int i = 0; i < ITERATES; ++i) {
                while (!t.compareAndSet(other, this)) {
                    LockSupport.park();
                    ++p;
                }
                LockSupport.unpark(other);
            }
            LockSupport.unpark(other);
            nparks = p;
            System.out.println("parks: " + p);

        }
    }

    static void test() throws Exception {
        WorkerThread a = new WorkerThread();
        WorkerThread b = new WorkerThread();
        a.other = b;
        b.other = a;
        turn.set(a);
        long startTime = System.nanoTime();
        a.start();
        b.start();
        a.join();
        b.join();
        long endTime = System.nanoTime();
        int parkNum = a.nparks + b.nparks;
        System.out.println("Average time: " + ((endTime - startTime) / parkNum)
                + "ns");
    }

    public static void main(String[] args) throws Exception {
        for (int i = 0; i < RUNS; i++) {
            test();
        }
    }
}

編譯后,在我自己的筆記本上( Intel(R) Core(TM) i5 CPU M 460 @ 2.53GHz, 2
core, 3M L3 Cache) 用測(cè)試幾輪，結(jié)果如下:

java -cp . ContextSwitchTest
parks: 953495
parks: 953485
Average time: 11373ns
parks: 936305
parks: 936302
Average time: 11975ns
parks: 965563
parks: 965560
Average time: 13261ns

我們會(huì)發(fā)現(xiàn)這么簡(jiǎn)單的for循環(huán), 線性執(zhí)行會(huì)非?？?不需要1秒, 而執(zhí)行這段程序需要幾十秒的耗時(shí). 每個(gè)上下文切換需要耗去十幾u(yù)s的時(shí)間,這對(duì)于程序吞吐量的影響很大.

同時(shí)我們可以執(zhí)行vmstat 1 觀查一下上下文切換的頻率是否變快

$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0 4424988 457964 1154912    0    0    13    12  252   80  6  1 92  1
 0  0      0 4420452 457964 1159900    0    0     0     0 1586 2069  6  1 93  0
 1  0      0 4407676 457964 1171552    0    0     0     0 1436 1883  8  3 89  0
 1  0      0 4402916 457964 1172032    0    0     0    84 22982 45792  9  4 85  2
 1  0      0 4416024 457964 1158912    0    0     0     0 95382 198544 17 10 73  0
 1  1      0 4416096 457964 1158968    0    0     0   116 79973 159934 18  7 74  0
 1  0      0 4420384 457964 1154776    0    0     0     0 96265 196076 15 10 74  1
 1  0      0 4403012 457972 1171096    0    0     0   152 104321 213537 20 12 66  2

再使用strace觀察以上程序中Unsafe.park()究竟是哪道系統(tǒng)調(diào)用造成了上下文切換:

$strace -f java -cp . ContextSwitchTest
[pid  5969] futex(0x9571a9c, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x9571a98, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1
[pid  5968]  )       = 0
[pid  5969] futex(0x9571ad4, FUTEX_WAIT_PRIVATE, 949, NULL
[pid  5968] futex(0x9564368, FUTEX_WAKE_PRIVATE, 1) = 0
[pid  5968] futex(0x9571ad4, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x9571ad0, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}
[pid  5969]  )       = 0
[pid  5968]  )       = 1
[pid  5969] futex(0x9571628, FUTEX_WAIT_PRIVATE, 2, NULL

果然還是futex.

再使用perf看看上下文對(duì)于Cache的影響:

$ perf stat -e cache-misses   java -cp . ContextSwitchTest
parks: 999999
parks: 1000000
Average time: 16201ns
parks: 998930
parks: 998926
Average time: 14426ns
parks: 998034
parks: 998204
Average time: 14489ns

 Performance counter stats for "java -cp . ContextSwitchTest":

         2,550,605 cache-misses

      90.221827008 seconds time elapsed

1分半鐘內(nèi)有255萬多次cache未命中.

嗯, 貌似太長(zhǎng)了, 可以結(jié)束了.接下來會(huì)繼續(xù)幾篇博文繼續(xù)分析一些有意思的東西.
(1) 從Java視角看內(nèi)存屏障 (Memory Barrier)
(2) 從java視角看CPU親緣性 (CPU Affinity)
等..敬請(qǐng)關(guān)注

PS. 其實(shí)還做了一個(gè)實(shí)驗(yàn), 測(cè)試CPU Affinity對(duì)于Context Switch的影響.

$ taskset -c 0 java -cp . ContextSwitchTest
parks: 992713
parks: 1000000
Average time: 2169ns
parks: 978428
parks: 1000000
Average time: 2196ns
parks: 989897
parks: 1000000
Average time: 2214ns

這個(gè)命令把進(jìn)程綁定在0號(hào)CPU上,結(jié)果Context Switch的消耗小了一個(gè)數(shù)量級(jí), 什么原因呢? 賣個(gè)關(guān)子, 在談到CPU Affinity的博文再說 :)。

by Minzhou via ifeve