日志 on nayun blog

读日志

Wed, 30 Jul 2025 16:44:17 +0800

读取单个日志
#

1. 读全部日志
#

处理方法：直接读取整体文件内容，或者逐行读取，返回lines列表

</>
python


1def readlog(logfile):
2 with open(logfile, 'r') as f:
3 return f.read() or f.readlines()

2. 读部分日志（限定时间范围）
#

需要考虑：日志文件过大，逐行判断时间戳性能过低
处理方法：

二分查找起始位置

</>
python


 1import datetime
 2import os
 3
 4def bs_read_log(logfile, st, et):
 5 text = []
 6 file_size = os.path.getsize(logfile)
 7
 8 with open(logfile, 'r', encoding='utf-8') as f:
 9 # 二分查找定位起始位置
10 low, high = 0, file_size
11 start_pos = 0
12
13 while low < high:
14 mid = (low + high) // 2
15 f.seek(mid)
16 f.readline() # 移动到完整行首
17 line = f.readline()
18
19 if not line:
20 break
21
22 line_tm = logline_time(line)
23 if line_tm is None: # 跳过无效行
24 continue
25
26 if line_tm < st:
27 low = mid + 1
28 start_pos = f.tell() # 记录最后有效位置
29 else:
30 high = mid
31
32 # 定位到起始区域
33 f.seek(start_pos)
34 while True:
35 line = f.readline()
36 if not line:
37 break
38
39 line_tm = logline_time(line)
40 if line_tm is None:
41 continue
42
43 if line_tm > et:
44 break
45
46 if st <= line_tm <= et:
47 text.append(line.strip())
48
49 return text

二分查找起始位置 + 分块检测日志时间

</>
python


 1def readlog(logfile, st, et):
# 入参检测
if st > et:
return None
# 根据日志大小设置分块大小
chunksize = 1024
# chunk值初始设置为chunksize 大小，可以在读第一行日志时先判断日志时间是否在(st, et)区间，不在即可直接退出
chunk = 1024
text = []
file_size = os.path.getsize(logfile)
with open(logfile, 'rb') as f:
# 二分查找定位起始位置
low, high = 0, file_size
start_pos = 0
15
while low < high:
mid = (low + high) // 2
f.seek(mid)
f.readline() # 移动到完整行首
line = f.readline()
21
if not line:
break
24
line_tm = logline_time(line)
if line_tm is None: # 跳过无效行
continue
28
if line_tm < st:
low = mid + 1
start_pos = f.tell() # 记录最后有效位置
else:
high = mid
34
# 定位到起始区域
f.seek(start_pos)
while(line:=f.readline().decode(errors='ignore')):
chunk += 1
if chunk >= chunksize:
chunk = 1
if (tm:=logline_time(line)) != None and tm > et:
break
43
text.append(line)
45
# 如果追求读取范围结束时间准确性，可以从后往前逐行清除区间外日志，不追求结束时间准确性可以不做
while logline_time(text[-1]) > et:
text.pop(-1)
return text

3. 反向读日志
#

思路：定位到文件尾，逐行读取
核心：

日志分析

Wed, 30 Jul 2025 16:44:17 +0800

纯python处理
#

支持关键字正则表达式组合，逐行后处理，跨平台兼容

日志关键字处理
#

需求：

1次遍历，O(n)
多关键字(支持regex pattern)
关键字一对一自定义处理方法解耦
处理结果统计，每个关键字的成功/失败处理量+处理总量

例子：
找到日志中包含kwA的日志，执行dealA(line) -> pass/fail处理方法
找到日志中包含kwB的日志，执行dealB(line) -> pass/fail处理方法
…

思路：

每行日志查询全部关键字，有关键字出现，进入deallog回调
通过deal_log回调函数，在回调内部区分kw，执行不同逻辑
结束时输出关键字相关处理总量

</>
python


 1import re
 2from collection import defaultdict
 3def keywords_check(checktitle, text, checklist, deal_log=(lambda pt, line:True)) -> int, str:
# checklist 入参多类型支持(dict, list)
checklist = list(dict.fromkeys(checklist))
# 计数器
kw_counter, err_counter = defaultdict(int), defaultdict(int)
for line in text:
found = [pattern for pattern in checklist if re.search(pattern, line) is not None]
if not found:continue
for pattern in found:
kw_counter[pattern] += 1
if False == deal_log(pattern, line):
err_counter[pattern] += 1
msg = "{} done, total {} records, {} errors\n{}".format(
checktitle
, (kw_sum:=sum(kw_counter.values()))
, sum(err_counter.values())
, "".join(["[{}]: {} records, {} errors\n".format(
pattern
, kw_counter.get(pattern, 0)
, err_counter.get(pattern, 0)
) for pattern in checklist
])
)
return kw_sum, msg
27
28checklist = {
'pt1':r"^kwA*$",
'pt2':r"^kwB*$",
'pt3':r"^kwC*$",
32}
33def deal_log(pt, line):
if pt == checklist['pt1']:
return dealA(line)
elif pt == checklist['pt2']:
return dealB(line)
elif pt == checklist['pt3']:
return dealC(line)
else:
return False
42
43keywords_check('check keywords', checklist.values(), deal_log)

数据收集
#

可以使用上面的keywords_check方法，通过自定义deal_log方法收集数据
完成数据收集之后自定义数据分析方法

脚本日志

Wed, 30 Jul 2025 14:10:07 +0800

print
#

纯print输出
#

通过sys.stdout/sys.stderr重定向输出至文件

</>
python


 1import sys
 2class Tee:
 3 """同时重定向 stdout 和 stderr 到文件和终端"""
 4 def __init__(self, filename):
 5 self.file = open(filename, 'a') # 追加模式
 6 self.stdout = sys.stdout
 7 self.stderr = sys.stderr
 8
 9 def write(self, message):
10 self.file.write(message)
11 self.stdout.write(message) # 标准输出到终端
12 self.file.flush() # 确保实时写入文件
13
14 def flush(self):
15 self.file.flush()
16
17# 脚本日志重定向
18sys.stdout = Tee(f"{__file__.split('.')[0]}.log")
19sys.stderr = Tee(f"{__file__.split('.')[0]}.log")

封装print，自定义输出
#

</>
python


1from datetime import datetime
2class Logger:
3 def now(self):return datetime.now().strftime("%Y-%m-%d %H:%M:%S.%f")
4 def info(self, msg):print(self.now() + ' - INFO - ' + msg)
5 def warning(self, msg):print(self.now() + ' - WARN - ' + msg)
6 def error(self, msg):print(self.now() + ' - ERROR - ' + msg)
7
8logger = Logger()

logging
#

通用代码
#

</>
python


 1import logging
 2import os
 3from datetime import datetime
 4
 5def setup_logger(name, log_level=logging.INFO, log_file_path=None):
 6 logger = logging.getLogger(name)
 7 logger.setLevel(log_level)
 8 formatter = logging.Formatter(
 9 '%(asctime)s - %(name)s - %(levelname)s - %(message)s',
10 datefmt='%Y-%m-%d %H:%M:%S'
11 )
12 console_handler = logging.StreamHandler()
13 console_handler.setFormatter(formatter)
14 logger.addHandler(console_handler)
15
16 if log_file_path is None:
17 return logger
18
19 file_handler = logging.FileHandler(log_file_path)
20
21 file_handler.setFormatter(formatter)
22 logger.addHandler(file_handler)
23 return logger

默认logger再封装
#

不设置formatter，自定义logging的info/debug/error方法
实现：

日志 on nayun blog

读日志

读取单个日志 #

1. 读全部日志 #

2. 读部分日志（限定时间范围） #

3. 反向读日志 #

日志分析

纯python处理 #

日志关键字处理 #

数据收集 #