AWK 文本分析工具核心总结
大家好,欢迎来到程序视点
!我是你们的老朋友.小二!
AWK 文本分析工具核心总结
1. AWK 简介
- 定义:AWK 是一种强大的文本分析工具,擅长数据扫描、处理及生成报告。
- 版本:awk(原始版)、nawk(增强版)、gawk(GNU 版,最常用)。
- 核心功能:逐行读取文本,默认以空格分隔字段(域),支持自定义分隔符,对切片后的数据进行处理。
2. 基本语法与调用方式
- 语法结构:
awk '{pattern + action}' filename
pattern
:匹配模式(如正则表达式)。action
:匹配后执行的操作(如打印、计算)。
- 调用方法:
- 命令行直接调用:awk -F '分隔符' '命令' 输入文件
- 脚本调用:将 AWK 命令写入可执行文件,首行指定解释器(如
#!/bin/awk
)。 - 加载脚本文件:awk -f 脚本文件 输入文件
3. 核心功能示例
- 提取字段: # 显示文件每行的第1列(默认空格分隔) awk '{print $1}' file # 指定冒号分隔符(如处理 /etc/passwd) awk -F: '{print $1}' /etc/passwd
- 添加表头与表尾: awk -F: 'BEGIN {print "Name,Shell"} {print $1","$7} END {print "End"}' /etc/passwd
- 条件过滤: # 匹配含 "root" 的行 awk -F: '/root/' /etc/passwd # 正则匹配(root 开头) awk -F: '/^root/' /etc/passwd
4. 内置变量
变量 | 用途 |
---|---|
$0 | 当前整行记录 |
$1, $2… | 第1、2…个字段 |
NF | 当前行的字段数 |
NR | 当前行号 |
FS | 输入字段分隔符(默认空格) |
OFS | 输出字段分隔符(默认空格) |
FILENAME | 当前文件名 |
5. 进阶功能
- 自定义变量与统计: # 统计行数 awk '{count++; print $0} END {print "Total:", count}' file # 初始化变量 awk 'BEGIN {count=0} {count++} END {print count}' file
- 条件与循环: # 条件判断(过滤非4096字节的文件) ls -l | awk '{if ($5 != 4096) size+=$5} END {print size/1024 "KB"}' # 循环遍历数组 awk -F: '{name[NR]=$1} END {for (i=1; i<=NR; i++) print i, name[i]}' /etc/passwd
6. 输出格式化
- **
printf
替代print
**:支持类似 C 语言的格式化输出。awk '{printf("Line %d: %s\n", NR, $0)}' file
7. 典型应用场景
- 日志分析(提取特定字段)。
- 数据统计(如文件大小总和、行数统计)。
- 格式化报告生成(添加表头、表尾、分隔符)。
总结
AWK 的核心价值在于其 字段处理能力 和 灵活的脚本编程,适用于结构化文本的快速分析。通过内置变量、条件判断、循环和数组,可实现复杂的数据处理任务,是 Linux 系统管理及数据分析的利器。
更详细文档参考:GNU AWK 手册
最后
【程序视点】助力打工人减负,从来不是说说而已!后续小二哥会继续详细分享更多实用的工具和功能。
如果这篇文章对你有帮助的话,别忘了【在看】【点赞】支持下哦~