摘要:進(jìn)程線程和協(xié)程進(jìn)程的定義進(jìn)程,是計(jì)算機(jī)中已運(yùn)行程序的實(shí)體。協(xié)程和線程的關(guān)系協(xié)程是在語言層面實(shí)現(xiàn)對(duì)線程的調(diào)度,避免了內(nèi)核級(jí)別的上下文消耗。和都引入了消息調(diào)度系統(tǒng)模型,來避免鎖的影響和進(jìn)程線程開銷大的問題。
進(jìn)程、線程和協(xié)程 進(jìn)程的定義:
進(jìn)程,是計(jì)算機(jī)中已運(yùn)行程序的實(shí)體。程序本身只是指令、數(shù)據(jù)及其組織形式的描述,進(jìn)程才是程序的真正運(yùn)行實(shí)例。
線程的定義:操作系統(tǒng)能夠進(jìn)行運(yùn)算調(diào)度的最小單位。它被包含在進(jìn)程之中,是進(jìn)程中的實(shí)際運(yùn)作單位。
進(jìn)程和線程的關(guān)系:一條線程指的是進(jìn)程中一個(gè)單一順序的控制流,一個(gè)進(jìn)程中可以并發(fā)多個(gè)線程,每條線程并行執(zhí)行不同的任務(wù)。
CPU的最小調(diào)度單元是線程不是進(jìn)程,所以單進(jìn)程多線程也可以利用多核CPU.
協(xié)程通過在線程中實(shí)現(xiàn)調(diào)度,避免了陷入內(nèi)核級(jí)別的上下文切換造成的性能損失,進(jìn)而突破了線程在IO上的性能瓶頸。
協(xié)程和線程的關(guān)系協(xié)程是在語言層面實(shí)現(xiàn)對(duì)線程的調(diào)度,避免了內(nèi)核級(jí)別的上下文消耗。
python協(xié)程與調(diào)度Python的協(xié)程源于yield指令。yield有兩個(gè)功能:
yield item用于產(chǎn)出一個(gè)值,反饋給next()的調(diào)用方。
作出讓步,暫停執(zhí)行生成器,讓調(diào)用方繼續(xù)工作,直到需要使用另一個(gè)值時(shí)再調(diào)用next()。
import asyncio async def compute(x, y): print("Compute %s + %s ..." % (x, y)) await asyncio.sleep(x + y) return x + y async def print_sum(x, y): result = await compute(x, y) print("%s + %s = %s" % (x, y, result)) loop = asyncio.get_event_loop() tasks = [print_sum(1, 2), print_sum(3, 4)] loop.run_until_complete(asyncio.wait(tasks)) loop.close()
協(xié)程是對(duì)線程的調(diào)度,yield類似惰性求值方式可以視為一種流程控制工具,
實(shí)現(xiàn)協(xié)作式多任務(wù),在Python3.5正式引入了 async/await表達(dá)式,使得協(xié)程正式在語言層面得到支持和優(yōu)化,大大簡(jiǎn)化之前的yield寫法。
線程是內(nèi)核進(jìn)行搶占式的調(diào)度的,這樣就確保了每個(gè)線程都有執(zhí)行的機(jī)會(huì)。
而 coroutine 運(yùn)行在同一個(gè)線程中,由語言的運(yùn)行時(shí)中的 EventLoop(事件循環(huán))來進(jìn)行調(diào)度。
和大多數(shù)語言一樣,在 Python 中,協(xié)程的調(diào)度是非搶占式的,也就是說一個(gè)協(xié)程必須主動(dòng)讓出執(zhí)行機(jī)會(huì),其他協(xié)程才有機(jī)會(huì)運(yùn)行。
讓出執(zhí)行的關(guān)鍵字就是 await。也就是說一個(gè)協(xié)程如果阻塞了,持續(xù)不讓出 CPU,那么整個(gè)線程就卡住了,沒有任何并發(fā)。
Go天生在語言層面支持,和Python類似都是采用了關(guān)鍵字,而Go語言使用了go這個(gè)關(guān)鍵字,可能是想表明協(xié)程是Go語言中最重要的特性。
go協(xié)程之間的通信,Go采用了channel關(guān)鍵字。
Go實(shí)現(xiàn)了兩種并發(fā)形式:
多線程共享內(nèi)存。如Java或者C++等在多線程中共享數(shù)據(jù)(例如數(shù)組、Map、或者某個(gè)結(jié)構(gòu)體或?qū)ο螅┑臅r(shí)候,通過鎖來訪問.
Go語言特有的,也是Go語言推薦的:CSP(communicating sequential processes)并發(fā)模型。
Go的CSP并發(fā)模型實(shí)現(xiàn):M, P, G : [https://www.cnblogs.com/sunsk...]
package main import ( "fmt" ) //Go 協(xié)程(goroutines)和協(xié)程(coroutines) //Go 協(xié)程意味著并行(或者可以以并行的方式部署),協(xié)程一般來說不是這樣的 //Go 協(xié)程通過通道來通信;協(xié)程通過讓出和恢復(fù)操作來通信 // 進(jìn)程退出時(shí)不會(huì)等待并發(fā)任務(wù)結(jié)束,可用通道(channel)阻塞,然后發(fā)出退出信號(hào) func main() { jobs := make(chan int) done := make(chan bool) // 結(jié)束標(biāo)志 go func() { for { j, more := <-jobs // 利用more這個(gè)值來判斷通道是否關(guān)閉,如果關(guān)閉了,那么more的值為false,并且通知給通道done fmt.Println("----->:", j, more) if more { fmt.Println("received job", j) } else { fmt.Println("end received jobs") done <- true return } } }() go func() { for j := 1; j <= 3; j++ { jobs <- j fmt.Println("sent job", j) } close(jobs) // 寫完最后的數(shù)據(jù),緊接著就close掉 fmt.Println("close(jobs)") }() fmt.Println("sent all jobs") <-done // 讓main等待全部協(xié)程完成工作 }
通過在函數(shù)調(diào)用前使用關(guān)鍵字 go,我們即可讓該函數(shù)以 goroutine 方式執(zhí)行。goroutine 是一種 比線程更加輕盈、更省資源的協(xié)程。協(xié)程的4種狀態(tài)
Go 語言通過系統(tǒng)的線程來多路派遣這些函數(shù)的執(zhí)行,使得 每個(gè)用 go 關(guān)鍵字執(zhí)行的函數(shù)可以運(yùn)行成為一個(gè)單位協(xié)程。
當(dāng)一個(gè)協(xié)程阻塞的時(shí)候,調(diào)度器就會(huì)自 動(dòng)把其他協(xié)程安排到另外的線程中去執(zhí)行,從而實(shí)現(xiàn)了程序無等待并行化運(yùn)行。
而且調(diào)度的開銷非常小,一顆 CPU 調(diào)度的規(guī)模不下于每秒百萬次,這使得我們能夠創(chuàng)建大量的 goroutine,
從而可以很輕松地編寫高并發(fā)程序,達(dá)到我們想要的目的。 ---- 某書
Pending
Running
Done
Cacelled
和系統(tǒng)線程之間的映射關(guān)系go的協(xié)程本質(zhì)上還是系統(tǒng)的線程調(diào)用,而Python中的協(xié)程是eventloop模型實(shí)現(xiàn),所以雖然都叫協(xié)程,但并不是一個(gè)東西.
Python 中的協(xié)程是嚴(yán)格的 1:N 關(guān)系,也就是一個(gè)線程對(duì)應(yīng)了多個(gè)協(xié)程。雖然可以實(shí)現(xiàn)異步I/O,但是不能有效利用多核(GIL)。
而 Go 中是 M:N 的關(guān)系,也就是 N 個(gè)協(xié)程會(huì)映射分配到 M 個(gè)線程上,這樣帶來了兩點(diǎn)好處:
多個(gè)線程能分配到不同核心上,CPU 密集的應(yīng)用使用 goroutine 也會(huì)獲得加速.
即使有少量阻塞的操作,也只會(huì)阻塞某個(gè) worker 線程,而不會(huì)把整個(gè)程序阻塞。
PS: Go中很少提及線程或進(jìn)程,也就是因?yàn)樯厦娴脑? 兩種協(xié)程對(duì)比:async是非搶占式的,一旦開始采用 async 函數(shù),那么你整個(gè)程序都必須是 async 的,不然總會(huì)有阻塞的地方(一遇阻塞對(duì)于沒有實(shí)現(xiàn)異步特性的庫就無法主動(dòng)讓調(diào)度器調(diào)度其他協(xié)程了),也就是說 async 具有傳染性。
Python 整個(gè)異步編程生態(tài)的問題,之前標(biāo)準(zhǔn)庫和各種第三方庫的阻塞性函數(shù)都不能用了,如:requests,redis.py,open 函數(shù)等。所以 Python3.5后加入?yún)f(xié)程的最大問題不是不好用,而是生態(tài)環(huán)境不好,歷史包袱再次上演,動(dòng)態(tài)語言基礎(chǔ)上再加上多核之間的任務(wù)調(diào)度,應(yīng)該是很難的技術(shù)吧,真心希望python4.0能優(yōu)化或者放棄GIL鎖,使用多核提升性能。
goroutine 是 go 與生俱來的特性,所以幾乎所有庫都是可以直接用的,避免了 Python 中需要把所有庫重寫一遍的問題。
goroutine 中不需要顯式使用 await 交出控制權(quán),但是 Go 也不會(huì)嚴(yán)格按照時(shí)間片去調(diào)度 goroutine,而是會(huì)在可能阻塞的地方插入調(diào)度。goroutine 的調(diào)度可以看做是半搶占式的。
PS: python異步庫列表 [https://github.com/timofurrer...]Do not communicate by sharing memory; instead, share memory by communicating.(不要以共享內(nèi)存的方式來通信,相反,要通過通信來共享內(nèi)存) -- CSP并發(fā)模型
erlang和golang都是采用了CSP(Communicating Sequential Processes)模式(Python中的協(xié)程是eventloop模型)
但是erlang是基于進(jìn)程的消息通信,go是基于goroutine和channel的通信。
Python和Go都引入了消息調(diào)度系統(tǒng)模型,來避免鎖的影響和進(jìn)程/線程開銷大的問題。
協(xié)程從本質(zhì)上來說是一種用戶態(tài)的線程,不需要系統(tǒng)來執(zhí)行搶占式調(diào)度,而是在語言層面實(shí)現(xiàn)線程的調(diào)度。
因?yàn)閰f(xié)程不再使用共享內(nèi)存/數(shù)據(jù),而是使用通信來共享內(nèi)存/鎖,因?yàn)樵谝粋€(gè)超級(jí)大系統(tǒng)里具有無數(shù)的鎖,
共享變量等等會(huì)使得整個(gè)系統(tǒng)變得無比的臃腫,而通過消息機(jī)制來交流,可以使得每個(gè)并發(fā)的單元都成為一個(gè)獨(dú)立的個(gè)體,
擁有自己的變量,單元之間變量并不共享,對(duì)于單元的輸入輸出只有消息。
開發(fā)者只需要關(guān)心在一個(gè)并發(fā)單元的輸入與輸出的影響,而不需要再考慮類似于修改共享內(nèi)存/數(shù)據(jù)對(duì)其它程序的影響。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.hztianpu.com/yun/43738.html
摘要:事件循環(huán)是異步編程的底層基石。對(duì)事件集合進(jìn)行輪詢,調(diào)用回調(diào)函數(shù)等一輪事件循環(huán)結(jié)束,循環(huán)往復(fù)。協(xié)程直接利用代碼的執(zhí)行位置來表示狀態(tài),而回調(diào)則是維護(hù)了一堆數(shù)據(jù)結(jié)構(gòu)來處理狀態(tài)。時(shí)代的協(xié)程技術(shù)主要是,另一個(gè)比較小眾。 Coding Crush Python開發(fā)工程師 主要負(fù)責(zé)豈安科技業(yè)務(wù)風(fēng)險(xiǎn)情報(bào)系統(tǒng)redq。 引言 1.1. 存儲(chǔ)器山 存儲(chǔ)器山是 Randal Bryant 在《深入...
摘要:項(xiàng)目地址我之前翻譯了協(xié)程原理這篇文章之后嘗試用了模式下的協(xié)程進(jìn)行異步開發(fā),確實(shí)感受到協(xié)程所帶來的好處至少是語法上的。 項(xiàng)目地址:https://git.io/pytips 我之前翻譯了Python 3.5 協(xié)程原理這篇文章之后嘗試用了 Tornado + Motor 模式下的協(xié)程進(jìn)行異步開發(fā),確實(shí)感受到協(xié)程所帶來的好處(至少是語法上的:D)。至于協(xié)程的 async/await 語法是如...
摘要:協(xié)程的基本行為協(xié)程包含四種狀態(tài)等待開始執(zhí)行。協(xié)程中重要的兩個(gè)方法調(diào)用方把數(shù)據(jù)提供給協(xié)程。注意使用調(diào)用協(xié)程時(shí)會(huì)自動(dòng)預(yù)激,因此與裝飾器不兼容標(biāo)準(zhǔn)庫中的裝飾器不會(huì)預(yù)激協(xié)程,因此能兼容句法。因此,終止協(xié)程的本質(zhì)在于向協(xié)程發(fā)送其無法處理的異常。 導(dǎo)語:本文章記錄了本人在學(xué)習(xí)Python基礎(chǔ)之控制流程篇的重點(diǎn)知識(shí)及個(gè)人心得,打算入門Python的朋友們可以來一起學(xué)習(xí)并交流。 本文重點(diǎn): 1、掌握協(xié)...
摘要:初識(shí)協(xié)程執(zhí)行結(jié)果協(xié)程與同步模式比較我們一直在說協(xié)程適合用于密集場(chǎng)景,在同樣的硬件配置環(huán)境下,它會(huì)比傳統(tǒng)的同步模式承載更多的訪問量。假設(shè)一次查詢?yōu)椋趥鹘y(tǒng)同步模式下,當(dāng)前進(jìn)程在這的時(shí)間里,是不能做其它操作的。同步模式,耗費(fèi)左右的是。 如果說數(shù)組是 PHP 的精髓,數(shù)組玩得不6的,根本不能算是會(huì)用PHP。那協(xié)程對(duì)于 Swoole 也是同理,不理解協(xié)程去用 Swoole,那就是在瞎用。 首先...
摘要:協(xié)程,又稱微線程,纖程。最大的優(yōu)勢(shì)就是協(xié)程極高的執(zhí)行效率。生產(chǎn)者產(chǎn)出第條數(shù)據(jù)返回更新值更新消費(fèi)者正在調(diào)用第條數(shù)據(jù)查看當(dāng)前進(jìn)行的線程函數(shù)中有,返回值為生成器庫實(shí)現(xiàn)協(xié)程通過提供了對(duì)協(xié)程的基本支持,但是不完全。 協(xié)程,又稱微線程,纖程。英文名Coroutine協(xié)程看上去也是子程序,但執(zhí)行過程中,在子程序內(nèi)部可中斷,然后轉(zhuǎn)而執(zhí)行別的子程序,在適當(dāng)?shù)臅r(shí)候再返回來接著執(zhí)行。 最大的優(yōu)勢(shì)就是協(xié)程極高...
閱讀 3828·2021-11-24 09:39
閱讀 3025·2021-11-16 11:49
閱讀 2143·2019-08-30 13:54
閱讀 1174·2019-08-30 13:03
閱讀 1150·2019-08-30 11:10
閱讀 787·2019-08-29 17:10
閱讀 1310·2019-08-29 15:04
閱讀 1274·2019-08-29 13:02