python大佬養(yǎng)成計劃----分布式進程

honmaple 發(fā)布于2019-07-30 17:53 / 1129人閱讀

摘要：分布式進程在和中，應當優(yōu)選，因為更穩(wěn)定，而且，可以分布到多臺機器上，而最多只能分布到同一臺機器的多個上。由于模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細節(jié)，就可以很容易地編寫分布式多進程程序。

分布式進程

在Thread和Process中，應當優(yōu)選Process，因為Process更穩(wěn)定，而且，Process可以分布到多臺機器上，而Thread最多只能分布到同一臺機器的多個CPU上。

Python的 multiprocessing 模塊不但支持多進程，其中 managers 子模塊還支持把多進程分布到多臺機器上。一個服務(wù)進程可以作為調(diào)度者，將任務(wù)分布到其他多個進程中，依靠網(wǎng)絡(luò)通信。由于managers模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細節(jié)，就可以很容易地編寫分布式多進程程序。

通過managers模塊把Queue通過網(wǎng)絡(luò)暴露出去，就可以讓其他機器的進程訪問Queue了。先看服務(wù)進程，服務(wù)進程負責啟動Queue，把Queue注冊到網(wǎng)絡(luò)上，然后往Queue里面寫入任務(wù)。

BaseManager：提供了不同機器進程之間共享數(shù)據(jù)的一種方法;

(重要的點: ip:port)

# task_master.py

import random
from multiprocessing import freeze_support
from queue import Queue
from multiprocessing.managers import  BaseManager
# 1. 創(chuàng)建需要的隊列
# task_queue：發(fā)送任務(wù)的隊列
# coding=utf-8

import random,time
from queue import Queue
from multiprocessing.managers import BaseManager
from multiprocessing import freeze_support

task_queue =  Queue()  # 發(fā)送任務(wù)的隊列:
result_queue = Queue() # 接收結(jié)果的隊列:
class QueueManager(BaseManager):  # 從BaseManager繼承的QueueManager:
    pass
# windows下運行
def return_task_queue():
    global task_queue
    return task_queue  # 返回發(fā)送任務(wù)隊列
def return_result_queue ():
    global result_queue
    return result_queue # 返回接收結(jié)果隊列

def test():
    # 把兩個Queue都注冊到網(wǎng)絡(luò)上, callable參數(shù)關(guān)聯(lián)了Queue對象,它們用來進行進程間通信，交換對象
    #QueueManager.register("get_task_queue", callable=lambda: task_queue)
    #QueueManager.register("get_result_queue", callable=lambda: result_queue)
    QueueManager.register("get_task_queue", callable=return_task_queue)
    QueueManager.register("get_result_queue", callable=return_result_queue)
    # 綁定端口4000, 設(shè)置驗證碼"sheenstar":
    #manager = QueueManager(address=("", 4000), authkey=b"sheenstar")
    # windows需要寫ip地址
    manager = QueueManager(address=("192.168.1.160", 4000), authkey=b"sheenstar")
    manager.start()  # 啟動Queue:
    # 獲得通過網(wǎng)絡(luò)訪問的Queue對象:
    task = manager.get_task_queue()
    result = manager.get_result_queue()
    for i in range(13):   # 放幾個任務(wù)進去:
        n = random.randint(0, 10000)
        print("Put task %d..." % n)
        task.put(n)
    # 從result隊列讀取結(jié)果:
    print("Try get results...")
    for i in range(13):
        r = result.get(timeout=10)
        print("Result: %s" % r)

    # 關(guān)閉:
    manager.shutdown()
    print("master exit.")
if __name__=="__main__":
    freeze_support()
    print("start!")
    test()

運行程序，會等待執(zhí)行結(jié)果10s，如果沒有worker端獲取任務(wù)，返回結(jié)果，程序?qū)箦e。

當我們在一臺機器上寫多進程程序時，創(chuàng)建的 Queue 可以直接拿來用，但是，在分布式多進程環(huán)境下，添加任務(wù)到Queue不可以直接對原始的 task_queue 進行操作，那樣就繞過了QueueManager 的封裝，必須通過manager.get_task_queue()獲得的 Queue 接口添加。

# coding=utf-8
import time, sys
from queue import Queue
from multiprocessing.managers import BaseManager

# 創(chuàng)建類似的QueueManager:
class QueueManager(BaseManager):
    pass

# 由于這個QueueManager只從網(wǎng)絡(luò)上獲取Queue，所以注冊時只提供名字:
QueueManager.register("get_task_queue")
QueueManager.register("get_result_queue")

# 連接到服務(wù)器，也就是運行task_master.py的機器:
server_addr = "192.168.1.160"
print("Connect to server %s..." % server_addr)
# 端口和驗證碼注意保持與task_master.py設(shè)置的完全一致:
m = QueueManager(address=(server_addr, 4000), authkey=b"sheenstar")
# 從網(wǎng)絡(luò)連接:
try:
    m.connect()
except:
    print("請先啟動task_master.py!")
    #sys.exit("sorry, goodbye!");
# 獲取Queue的對象:
task = m.get_task_queue()
result = m.get_result_queue()
# 從task隊列取任務(wù),并把結(jié)果寫入result隊列:
for i in range(13):
    try:
        n = task.get()
        print("run task %d * %d..." % (n, n))
        r = "%d * %d = %d" % (n, n, n*n)
        time.sleep(1)
        result.put(r)
    except ConnectionResetError as e:
        print("任務(wù)執(zhí)行結(jié)束，自動斷開連接")
# 處理結(jié)束:
print("worker exit.")

使用命令行運行程序，結(jié)果更直觀

云服務(wù)器 GPU云服務(wù)器 python計劃任務(wù) python任務(wù)計劃多進程分布式服務(wù)器架構(gòu) 養(yǎng)成

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/42481.html

發(fā)表評論

登陸后可評論

0條評論

honmaple

男|高級講師

我要關(guān)注我要私信

TA的文章

精詞快排SEO不限指數(shù)任意關(guān)鍵詞1元/天最快最快隔天上首頁

閱讀 3267·2021-11-24 10:30
PIGYun：國慶優(yōu)惠，香港CN2線路60M帶寬月付19元，韓國CN2線路30M帶寬月付14元

閱讀 1382·2021-09-30 09:56
華納云：美國服務(wù)器正式發(fā)售，24元/月買 5M美國云機，50M CN2回國/100M國際大帶寬月付6

閱讀 2483·2021-09-07 10:20
NameSilo域名優(yōu)惠碼及商家介紹整理匯總

閱讀 2673·2021-08-27 13:10
實用瀏覽器調(diào)試技巧（動畫、節(jié)點刪除、節(jié)點增加）

閱讀 784·2019-08-30 11:11
前端實例練習 - 任務(wù)清單 To do list

閱讀 2125·2019-08-29 12:13
javascript性能優(yōu)化

閱讀 818·2019-08-26 12:24
Router入門0x201: 從 URL 到 SPA

閱讀 2991·2019-08-26 12:20

成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲中文字幕日韩无码

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

python大佬養(yǎng)成計劃----分布式進程

相關(guān)文章

python大佬養(yǎng)成計劃----進程、線程與多進程

python大佬養(yǎng)成計劃--協(xié)程實現(xiàn)TCP連接

python大佬養(yǎng)成計劃-----多進程

python大佬養(yǎng)成計劃----socket網(wǎng)絡(luò)編程

python大佬養(yǎng)成計劃----socket實現(xiàn)TCP通信

發(fā)表評論

0條評論

honmaple

男|高級講師

TA的文章

精詞快排SEO不限指數(shù)任意關(guān)鍵詞1元/天最快最快隔天上首頁

PIGYun：國慶優(yōu)惠，香港CN2線路60M帶寬月付19元，韓國CN2線路30M帶寬月付14元

華納云：美國服務(wù)器正式發(fā)售，24元/月買 5M美國云機，50M CN2回國/100M國際大帶寬月付6

NameSilo域名優(yōu)惠碼及商家介紹整理匯總

實用瀏覽器調(diào)試技巧（動畫、節(jié)點刪除、節(jié)點增加）

前端實例練習 - 任務(wù)清單 To do list

javascript性能優(yōu)化

Router入門0x201: 從 URL 到 SPA

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

python大佬養(yǎng)成計劃----分布式進程

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！