Python Logging庫(kù)HTTPHandler的消息格式化的方法

tunny 發(fā)布于2019-07-31 11:36 / 2800人閱讀

摘要：原因是，直接傳遞格式化后的字符串會(huì)導(dǎo)致參數(shù)被完全求值，這個(gè)有可能是非必要的，會(huì)導(dǎo)致日志性能下降。添加一個(gè)過濾器用來進(jìn)行消息格式化上面的中的中文注釋部分直接說明了解決方案。

問題

Python的logging庫(kù)是標(biāo)準(zhǔn)庫(kù)中用來實(shí)現(xiàn)日志的庫(kù)，功能強(qiáng)大，而且使用起來也算是方便。該庫(kù)提供了很多個(gè)不同的Handler，用來對(duì)日志進(jìn)行不同的處理。例如FileHandler用來將日志記錄到文件，RotateFileHandler用來將日志記錄到文件而且支持日志文件滾動(dòng)備份，還有本文中所說的HttpHandler，可以將日志通過HTTP請(qǐng)求發(fā)送到服務(wù)器上。

使用Python的logging模塊的過程大約有如下幾個(gè)步驟：

根據(jù)配置文件、配置字典或者調(diào)用方法的方式初始化日志配置，并獲取一個(gè)logger。

調(diào)用logger實(shí)例的如下方法來發(fā)出一條日志：critical, error, warning, info, debug。這些方法的定義如下，以info為例：

logger.info(fmt, *args, exc_info, extra)

P.S. 本文的目的不是說明logging如何使用，所以具體的用法請(qǐng)參考官方文檔。

當(dāng)logger對(duì)象調(diào)用info等方法發(fā)出一條日志時(shí)，他可以接受像C語言中的printf函數(shù)或者Python3中的pritnf函數(shù)一樣的前兩個(gè)參數(shù)：格式化字符串和對(duì)應(yīng)的參數(shù)列表，用來表示要發(fā)出的日志的內(nèi)容。當(dāng)logging模塊真的要發(fā)出這條日志時(shí)，才會(huì)對(duì)字符串進(jìn)行格式化，并且加入最終的日志字符串中。因此，在Python參考手冊(cè)(第4版)中(19.7節(jié)，289頁(yè))有強(qiáng)調(diào)了如下這一點(diǎn)：發(fā)出日志消息時(shí)，應(yīng)該避免在發(fā)出消息時(shí)帶有字符串格式化的代碼(即格式化一條消息，然后把結(jié)果傳遞到日志記錄模塊中）。原因是，直接傳遞格式化后的字符串會(huì)導(dǎo)致參數(shù)被完全求值，這個(gè)有可能是非必要的，會(huì)導(dǎo)致日志性能下降。舉個(gè)例子：

正確方式：
logger.info("hello, %s", "myname")

錯(cuò)誤方式：
logger.info("hello, %s" % "myname")

那么問題來了，如果一個(gè)logger的handler使用了HttpHandler，這個(gè)坑爹貨居然不會(huì)在發(fā)出日志前對(duì)日志內(nèi)容部分進(jìn)行格式化，而是只發(fā)送了前面的fmt字符串到http服務(wù)器，結(jié)果就像下面這樣：

WARNING Tue Jan 27 15:27:34 2015 admin.config 192.168.100.126 POST /user/login User [%s] logged in failed.
而我們期待的應(yīng)該是：

WARNING Fri Jan 23 11:36:45 2015 admin.config 192.168.100.126 POST /user/login User [admin] logged in failed.

解決方法

使用logging模塊提供的Filter功能。

直接給出實(shí)例代碼：

# -*- coding: utf-8 -*-

import logging
import logging.config
import logging.handlers


log_config_dict = {
    "version": 1,
    "formatters": {
        "format_def": {
            "format": "%(levelname)-8s %(asctime)s %(name)s %(ip)s "
            "%(method)s %(path)s %(message)s",
        },
    },
    "handlers": {
        "handler_http": {
            "class": "logging.handlers.HTTPHandler",
            "formatter": "format_def",
            "level": "INFO",
            "host": "192.168.100.1:8888",
            "url": "/log/admin",
            "method": "POST",
        },
    },
    "loggers": {
        "admin.config": {
            "level": "INFO",
            "propagate": 0,
            "handlers": ["handler_http"],
        },
        "admin.api": {
            "level": "INFO",
            "propagate": 0,
            "handlers": ["handler_http"],
        }
    },
}


class RequestFilter(logging.Filter):
    """A filter used to add extra information to a record.

    Add ip, method and path information to a record for a HTTP request.

    Attributes:
        name: logger"s name
    """
    def __init__(self, name):
        self.name = name

    def filter(self, record):
        # 這里調(diào)用getMessage()方法得到格式化后的日志內(nèi)容，
        # HTTP服務(wù)器上只要讀取POST中的message參數(shù)即可。
        record.message = record.getMessage()
        return True


def init_log():
    logging.config.dictConfig(log_config_dict)


def get_logger(name):
    if type(name) is not str:
        return None

    log = logging.getLogger(name)
    log.addFilter(RequestFilter(name))  # 添加一個(gè)過濾器用來進(jìn)行消息格式化
    log.addHandler(logging.NullHandler())

    return log


def get_config_logger():
    return get_logger("admin.config")


def get_api_logger():
    return get_logger("admin.api")

上面的中的中文注釋部分直接說明了解決方案。