awk技巧

15-06-02 来源：[db:作者]
收藏我要投稿
awk默认就是空格和TAB，如果要指定用TAB可以用
awk -F '\t'
如果要指定多个TAB当作一个处理，可以用
awk -F '\t+' 


***********************
1.基本完整用法
***********************


---1.基本完整用法

last -n 5 |awk '!/^$/' | awk 'BEGIN {print "username,IP" } {print $1,$3} \
END {print "最后登录的用户和ip地址"}'


---2.查看最后登录的五个用户和ip地址并去掉空行

last -n 5 |awk '!/^$/' | awk 'BEGIN {print "username,IP" } {print $1,$3} \
END {print "最后登录的用户和ip地址"}'

--首选
last -n 5 |awk 'BEGIN {print "username,IP" } !/^$/ {print $1,$3} \
END {print "最后登录的用户和ip地址"}'



***********************
----2.AWK循环
***********************
---2.1 显示所有用户名
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; \
END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd

---2.2循环显示目录名

find  /etc/sysconfig/network-scripts/ -name "ifcfg-*"  |awk -F "/" ' {print $5}'  >test.txt


cat test.txt

ifcfg-em1
ifcfg-em2
ifcfg-lo
ifcfg-em1
ifcfg-em2
ifcfg-lo
ifcfg-em1
ifcfg-em2
ifcfg-lo
ifcfg-08
ifcfg-10
ifcfg-l1

--#带行号显示(数组)

awk  'BEGIN {count=0;} {name[count] = $1;count++;}; \
END{for (i = 0; i < NR; i++) print i, name[i]}' /root/test.txt


---结果为:
0 ifcfg-em1
1 ifcfg-em2
2 ifcfg-lo
3 ifcfg-em1
4 ifcfg-em2
5 ifcfg-lo
6 ifcfg-em1
7 ifcfg-em2
8 ifcfg-lo
9 ifcfg-08
10 ifcfg-10
11 ifcfg-l1



--#不带行号显示

# awk '{for(i=1;i<=NF;i++) {printf $i" "} printf "\n"}'   /root/test.txt

ifcfg-em1 
ifcfg-em2 
ifcfg-lo 
ifcfg-em1 
ifcfg-em2 
ifcfg-lo 
ifcfg-em1 
ifcfg-em2 
ifcfg-lo 
ifcfg-08 
ifcfg-10 
ifcfg-l1 



df -H |awk -F '\t' '{ print $1,$2,$3,$4,$5,$6}'



***********************
3.awk模糊
***********************
--3.1模糊匹配:

             查询第四列中是否含有Brown

             $awk  '{if($4~/Brown/) print $0}'   grade.txt

             如果在文本中查询字符串"Brown"，使用/Brown/

                 和

             $awk   '$4~/Brown/'  grade.txt                 

             作用相同。

--3.2模糊不匹配
            $ awk '$0 !~ /Brown/' grade.txt
            $ awk '{if($4 !~ /Brown/) print $0' grade.txt



--3.3匹配字符或字符串

# awk -F: '$1~/me/' passwd 
games:x:12:100:games:/usr/games:/sbin/nologin

# awk -F: '$1~/user/' passwd 
user1:x:600:501::/home/user1:/bin/bash
可以让某个段去匹配，~ 表示匹配的意思，以冒号分隔第一字段然后匹配//里的关键字；
1
2
3
4
5
6

# awk -F: '/root/ {print $1,$3} /user/ {print $1,$3}' passwd 
root 0
operator 11
ftp 14
saslauth 499
user1 600
awk还可以多次匹配


***********************
4.精确匹配
***********************

$ awk '$3 == "48" {print $0}' grade.txt

$ awk '{if ($3=="48") print $0}' grade.txt


# awk -F: '$3=="0"' passwd 
root:x:0:0:root:/root:/bin/bash

# awk -F: '$3==10' passwd 
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

判断第3个字段为10的并且打印该行的第7字段；
1
2
3
4

# awk -F: '$3==10 {print $7}' passwd 
/sbin/nologin
# awk -F: '$3=="600"' passwd 
user1:x:600:501::/home/user1:/bin/bash

awk中是可以用逻辑符号判断的，比如 ‘==’ 就是等于，也可以理解为 ‘精确匹配’ 另外也有 >, ‘>=, ‘<, ‘<=, ‘!= 等等，值得注意的是，在和数字比较时，若把比较的数字用双引号引起来后，那么awk不会认为是数字，而认为是字符，不加双引号则认为是数字。

示例，双引号括起来认为是字符；加单引号和不加则认为是数字；

# awk -F: '$3>"500"' passwd | sort -t: -k 3 -n 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
sshd:x:74:74:privilege-separated ssh:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:system message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:nobody:/:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash


# awk -F: '$3>500' passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash

# awk -F: '$3>'500'' passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash


***********************
5.精确不匹配
***********************

$awk '$4!="brwon" {print $0}'   grade.txt

# awk -F: '$7!="/sbin/nologin"' passwd 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
user1:x:600:501::/home/user1:/bin/bash
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash




# awk -F: '$3>"5" && $3<"7"' passwd 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash


另外还可以使用 && “并且”和  || “或者” 的意思。
示例，打印第3段大于第4段，并且第7段为/bin/bash的行；

# awk -F: '$3>$4 && $7=="/bin/bash"' passwd 
user1:x:600:501::/home/user1:/bin/bash

NOTE:尖角符号代表行首，“.”代表任意字符。



***********************
6.统计功能
***********************

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

NOTE: ^ 是开头的意思,就是说开头是TCP字样的,$NF表示最后一个字段,把它放入数组S中,然后自加.
END最后用for取出数组中的下标,也就是TCP的几种状态,然后对应该下标的值,就是统计的数量.

理解如下：
观察一、先输出两个值，其中NF为awk正在处理记录（行）的字段总数，$NF为每行最后一个字段的值
# netstat -na |awk '/^tcp/ {print NF,$NF}'
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 LISTEN
6 TIME_WAIT
6 TIME_WAIT
6 TIME_WAIT
6 TIME_WAIT
6 ESTABLISHED
6 ESTABLISHED
6 ESTABLISHED
6 ESTABLISHED
6 ESTABLISHED
6 TIME_WAIT
6 TIME_WAIT
6 LISTEN
6 LISTEN
6 ESTABLISHED

观察二、如下命令输出4个值，注意前后俩字段的值是怎么来的。。。S[LISTEN], ++S[LISTEN]

# netstat -na |awk '/^tcp/ {print NF,$NF,S[$NF],++S[$NF]}'
6 LISTEN   1
6 LISTEN 1 2
6 LISTEN 2 3
6 LISTEN 3 4
6 LISTEN 4 5
6 LISTEN 5 6
6 LISTEN 6 7
6 LISTEN 7 8
6 LISTEN 8 9
6 LISTEN 9 10
6 TIME_WAIT  1
6 ESTABLISHED  1
6 TIME_WAIT 1 2
6 TIME_WAIT 2 3
6 TIME_WAIT 3 4
6 ESTABLISHED 1 2
6 ESTABLISHED 2 3
6 ESTABLISHED 3 4
6 ESTABLISHED 4 5
6 LISTEN 10 11
6 LISTEN 11 12
6 ESTABLISHED 5 6

观察三、利用awk的行处理特性，遍历了所有tcp开头的行。
定义出不同状态命名的数组下标，并分别++计数赋值给数组元素，
最后打印$NF和数组S[$NF]的值。观察粗体部分
 # netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 
TIME_WAIT 4
ESTABLISHED 6
LISTEN 12
SYN_RECV表示正在等待处理的请求数；
ESTABLISHED表示正常数据传输状态；
TIME_WAIT表示处理完毕，等待超时结束的请求数。

***********************
7.awk小技巧
***********************

第一行：　　　　　　　　NR==1 或 !i++
第ｎ行：　　　　　　　　NR==n
最后一行：　　　　　　　0 或 "" 或 1==0 或 1>2 ，总之任一个假值就可以
匹配正则表达式RE的行：　/RE/

--7.1取指定行

--7.2从第二行开始打印
awk 'FNR>1 { print $1}' a.txt


awk 'NR==2,NR==0 { print $1}' a.txt


--7.3取中间几行
awk '{if(NR>=302&&NR<=379)$0="#"$0}1' sphinx.conf


--7.4打印每行，并删除第二列
awk '{$2="";print }' test.txt 

--7.5打印部分文本，即输出所有行，但是第一、二列为空

awk '{ $1 = "";$3 = ""; print }' test1          


--7.6打印文件中除第一列和第三列外的其它列、同时从第二行开始打印

awk 'BEGIN{print "ocpyang"}  FNR>1  { $1 = "";$3 = ""; print }' test.txt 


--7.7打印文件中除第一列和第三列外的其它列以及第一行第二行

awk '  NR==1,NR==2  { $1 = "";$3 = ""; print }' test.txt 


--7.8文本间隔：

# 每行后面增加一行空行

awk '1;{print ""}'

awk 'BEGIN{ORS="\n\n"};1'

# 每行后面增加两行空行

awk '1;{print "\n"}'


--7.9每句行前加上编号
awk '{print FNR "\t" $0}' test.txt

其中，0为显示所有列；亦可用1,2来显示1,2列


--7.10用制表符 （\t） 给所有文件加上连贯的编号

awk '{print NR "\t" $0}' test.txt 



---7.11去除#开始的行同时删除空行

awk '!/^#/ && !/^$/ ' wsrep.cnf
点击复制链接与好友分享!回本站首页