Hướng dẫn logging error in python - lỗi ghi nhật ký trong python

Source code trong bài viết này được tổng hợp từ nhiều nguồn khác nhau kết hợp với code của cá nhân, đối với code được tổng hợp về các bạn có thể tham khảo nguồn ở đường link chú thích trong code hoặc tham khảo links ở cuối bài viết.

Nội dung chính Show

• Sử dụng module logging cơ bản
• Log ra nhiều nguồn cùng lúc
• In nội dung biến
• Format nội dung và thêm các thông tin chi tiết về log
• Logging trong exception (in thông tin Traceback)
• Sử dụng logging trong nhiều module
• Tham khảo:

Thói quen của mình và có lẽ cũng là thói quen của nhiều người lúc mới học Python cũng như khi viết những script nhỏ để lấy thông tin chương trình lúc runtime đó là sử dụng

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

try:
    print("Find PID in current url")
    wait.until(lambda mydriver: "{}".format(PID) in mydriver.current_url)
except:
    print("Could not find PID in url")
    print("Current url: {}".format(mydriver.current_url))
    mydriver.find_element_by_xpath('//select[@id="aex-view-3"]/option[text()="Vietnam"]').click()
    mydriver.find_element_by_xpath('//button[@id="create-profile-submit-btn"]').click()

Tuy nhiên khi chương trình lớn dần lên, một vấn đề khá đau đầu nảy sinh đó là thông tin được print ra khá điên loạn, không được phân loại, mất thời gian xác định cũng như giảm hiệu suất của chương trình. Hàm print mặc định sẽ xuất nội dung ra

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Giải pháp mình muốn giới thiệu trong bài viết này đó là sử dụng module logging. Đây là module tiêu chuẩn (được pack kèm bộ cài mặc định) do cộng đồng Python phát triển, dễ dàng sử dụng và cực kỳ linh hoạt. Logging cung cấp cho lập trình viên những tiện ích như:

• Phân chia level cho các thông báo lỗi, cho phép tuỳ chọn mức độ nghiêm trọng của các thông báo, cho phép hoặc không cho phép hiển thị một thông báo đã được phân loại.
• Cho phép cấu hình output của thông báo lỗi là trên console hoặc file hoặc nguồn khác

Lập trình viên có thể chọn các mức sau khi viết nội dung log, các mức được liệt kê có độ nghiêm trọng lớn dần:

Sử dụng module logging cơ bản

Ví dụ đơn giản nhất khi sử dụng logging:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Mặc định, mức thông báo sẽ được đặt ở mức

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

Bạn cũng có thể log ra file:

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

Nội dung được in ra sẽ tương tự khi bạn in ra console:

DEBUG:root:This message should go to the log file
INFO:root:So should this
WARNING:root:And this, too

Cần chú ý là nội dung log mới sẽ ghi nối tiếp vào cùng 1 file với nội dung log cũ (lần chạy trước đó), trong trường hợp nội dung cũ không còn quan trọng nữa, có thể setup để logging luôn tạo log mới bằng cách chỉnh chế độ

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

logging.basicConfig(level=logging.DEBUG, filename='runtime.log', filemode='w')

Một ví dụ phức tạp hơn về việc dùng hỗn hợp các log với mức độ khác nhau:

# source: https://code.tutsplus.com/tutorials/error-handling-logging-in-python--cms-27932
import logging

# initialize the log settings
logging.basicConfig(filename='app.log',level=logging.INFO)

try:
    logging.info('Trying to open the file')
    filePointer = open('appFile','r')
    try:
        logging.info('Trying to read the file content')
        content = filePointer.readline()
    finally:
        filePointer.close()
except IOError as e:
    logging.error('Error occurred ' + str(e))

Log ra nhiều nguồn cùng lúc

Việc sử dụng logger cơ bản chỉ cho phép chúng ta in log ra một nguồn tại một thời điểm, trong ví dụ trên, khi đặt

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

# source: https://www.smartfile.com/blog/what-is-good-logging-in-python/
import logging

# create the logging instance for logging to file only
logger = logging.getLogger('SmartfileTest')

# create the handler for the main logger
file_logger = logging.FileHandler('smartfile_test.log')
NEW_FORMAT = '[%(asctime)s] - [%(levelname)s] - %(message)s'
file_logger_format = logging.Formatter(NEW_FORMAT)

# tell the handler to use the above format
file_logger.setFormatter(file_logger_format)

# finally, add the handler to the base logger
logger.addHandler(file_logger)

# remember that by default, logging will start at 'warning' unless
# we set it manually
logger.setLevel(logging.DEBUG)

# log some stuff!
logger.debug("This is a debug message!")
logger.info("This is an info message!")
logger.warning("This is a warning message!")

Đoạn code trên sẽ tạo file log và in nội dung log vào file đó tương tự như việc bổ xung config

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

# source: https://www.smartfile.com/blog/what-is-good-logging-in-python/
# now we can add the console logging
console = logging.StreamHandler()
console.setLevel(logging.INFO)
logging.getLogger('SmartfileTest').addHandler(console)

Ngoài

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

import logging
logging.basicConfig(level=logging.DEBUG)
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # sẽ in ra warning trên console

In nội dung biến

Để in nội dung biến, bạn chỉ cần đưa chuỗi format vào sau đó truyền các biến tương ứng với format trong đối số. Xem ví dụ sau để hiểu rõ hơn.

>>> import logging
>>> logString = "Hi"
>>> logging.warning('%s, this i a %s', logString, 'warning!')
WARNING:root:Hi, this i a warning!

Chú ý là bạn không cần format chuỗi trước khi truyền vào hàm

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

Format nội dung và thêm các thông tin chi tiết về log

Logging cho phép thêm các thông tin chi tiết hơn về chương trình khi gọi log như: Vị trí gọi log (dòng code), tên module gọi log, file đang chạy ...

Một config đầy đủ có thể như sau:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Thông tin in ra sẽ như sau:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Việc phân loại chi tiết như trên rất hữu ích khi bạn phải phân tích các file log dài, khi đó bạn có thể dùng các chương trình soạn thảo code để filter hoặc search các thông tin tương ứng một cách nhanh chóng.

Logging trong exception (in thông tin Traceback)

Việc ghi log ra khi có exception là rất cần thiết, tuy nhiên ghi log ra mà không có thông tin chi tiết về exception đó thì không có ý nghĩa lắm. Để bổ xung thông tin khi bắt được exception chúng ta chỉ cần thêm config

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Thông tin in ra:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Bạn cũng có thể gọi

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

import logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

Sử dụng logging trong nhiều module

chi tiết

Nếu phần mềm của bạn có nhiều modules thì đây là một cách đơn giản để setup hệ thống logging xuyên suốt cả phần mềm:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Trong module:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Kết quả:

# source: https://docs.python.org/3.6/howto/logging.html#a-simple-example
import logging
logging.warning('Watch out!')  # sẽ in ra warning trên console
logging.info('I told you so')  # không in gì cả

Kết hợp với việc format nội dung logging như đã nêu trước đó, bạn có thể in ra thông tin log được gọi từ module nào.

Trên đây là khái quát một số ví dụ đơn giản sử dụng logging, bạn có thể khám phá thêm một số tính năng phức tạp hơn của logging ở: advanced logging tutorial

Tham khảo:

• Logging HOWTO
• What is Good Logging in Python?
• Good logging practice in Python
• Python for Dummies: Log sao cho đúng

Cover image: opensourcehacker.com