频道栏目
首页 > 系统 > Linux > 正文

linux中的文本处理方法集锦

2016-05-17 08:58:51         来源:yimingsilence的专栏  
收藏   我要投稿

sed awk grep
这三个工具都要用到正则表达式,把常用贴出来。

1.行的匹配
[root@mypc /]# sed -n ‘2p’ /etc/passwd 打印出第2行
[root@mypc /]# sed -n ‘1,3p’ /etc/passwd 打印出第1到第3行
[root@mypc /]# sed -n ‘$p’ /etc/passwd 打印出最后一行
[root@mypc /]# sed -n ‘/user/p' /etc/passwd 打印出含有user的行
[root@mypc /]# sed -n ‘/\$/p' /etc/passwd 打印出含有$元字符的行,$为特殊字符,表示最后一行

2.插入文本和附加文本(插入新行)
[root@mypc /]# sed -n ‘/FTP/p’ /etc/passwd 打印出有FTP的行
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@mypc /]# sed ‘/FTP/ a/ 456′ /etc/passwd 在含有FTP的行后面新插入一行,内容为456
[root@mypc /]# sed ‘/FTP/ i/ 123′ /etc/passwd在含有FTP的行前面新插入一行,内容为123
[root@mypc /]# sed ‘/FTP/ i/ “123″‘ /etc/passwd在含有FTP的行前面新插入一行,内容为”123″
[root@mypc /]# sed ‘5 a/ 123′ /etc/passwd 在第5行后插入一新行,内容为123
[root@mypc /]# sed ‘5 i/ “12345″‘ /etc/passwd 在第5行前插入一新行,内容为”12345″

3.删除文本
[root@mypc /]# sed ‘1d’ /etc/passwd 删除第1行
[root@mypc /]# sed ‘1,3d’ /etc/passwd 删除第1至3行
[root@mypc /]# sed ‘/user/d’ /etc/passwd 删除带有user的行

4. 替换文本,替换命令用替换模式替换指定模式,格式为:
[ a d d r e s s [,address]] s/ pattern-to-find /replacement-pattern/[g p w n]
[root@mypc /]# sed ’s/user/USER/’ /etc/passwd 将第1个user替换成USER,g表明全局替换
[root@mypc /]# sed ’s/user/USER/g’ /etc/passwd 将所有user替换成USER
[root@mypc /]# sed ’s/user/#user/’ /etc/passwd 将第1个user替换成#user,如用于屏蔽作用
[root@mypc /]# sed ’s/user//’ /etc/passwd 将第1个user替换成空
[root@mypc /]# sed ’s/user/&11111111111111/’ /etc/passwd 如果要附加或修改一个很长的字符串,可以使用( &)命令,&命令保存发现模式以便重新调用它,然后把它放在替换字符串里面,这里是把&放前面
[root@mypc /]# sed ’s/user/11111111111111&/’ /etc/passwd 这里是将&放后面

5. 快速一行命令
下面是一些一行命令集。([ ]表示空格,[ ]表示t a b键)

[plain] view plaincopy
  1. ‘s / / . $ / / g’ 删除以句点结尾行
  2. ‘-e /abcd/d’ 删除包含a b c d的行
  3. ‘s / [ ] [ ] [ ] * / [ ] / g’ 删除一个以上空格,用一个空格代替
  4. ‘s / ^ [ ] [ ] * / / g’ 删除行首空格
  5. ‘s / / . [ ] [ ] * / [ ] / g’ 删除句点后跟两个或更多空格,代之以一个空格
  6. ‘/ ^ $ / d’ 删除空行
  7. ‘s / ^ . / / g’ 删除第一个字符
  8. ‘s /COL / ( . . . / ) / / g’ 删除紧跟C O L的后三个字母
  9. ‘s / ^ / / / / g’ 从路径中删除第一个/
  10. ‘s / [ ] / [ ] / / g’ 删除所有空格并用t a b键替代
  11. ‘S / ^ [ ] / / g’ 删除行首所有t a b键
  12. ‘s / [ ] * / / g’ 删除所有t a b键
  13. 's/^/:/g' 在每行首部加一个:
  14. 's/$/:/g' 在第行尾部加一个:

    如果使用s e d对文件进行过滤,最好将问题分成几步,分步执行,且边执行边测试结果。

    vim

    移动光标的方法

    h 或 向左箭头键(←)

    光标向左移动一个字符

    j 或 向下箭头键(↓)

    光标向下移动一个字符

    k 或 向上箭头键(↑)

    光标向上移动一个字符

    l 或 向右箭头键(→)

    光标向右移动一个字符

    如果你将右手放在键盘上的话,你会发现 hjkl 是排列在一起的,因此可以使用这四个按钮来移动光标。 如果想要进行多次移动的话,例如向下移动 30 行,可以使用 "30j" 或 "30↓" 的组合按键, 亦即加上想要进行的次数(数字)后,按下动作即可!

    [Ctrl] + [f]

    屏幕『向下』移动一页,相当于 [Page Down]按键 (常用)

    [Ctrl] + [b]

    屏幕『向上』移动一页,相当于 [Page Up] 按键 (常用)

    [Ctrl] + [d]

    屏幕『向下』移动半页

    [Ctrl] + [u]

    屏幕『向上』移动半页

    +

    光标移动到非空格符的下一列

    -

    光标移动到非空格符的上一列

    n<space>

    那个 n 表示『数字』,例如 20 。按下数字后再按空格键,光标会向右移动这一行的 n 个字符。例如 20<space> 则光标会向后面移动 20 个字符距离。

    0 或功能键[Home]

    这是数字『 0 』:移动到这一行的最前面字符处 (常用)

    $ 或功能键[End]

    移动到这一行的最后面字符处(常用)

    H

    光标移动到这个屏幕的最上方那一行的第一个字符

    M

    光标移动到这个屏幕的中央那一行的第一个字符

    L

    光标移动到这个屏幕的最下方那一行的第一个字符

    G

    移动到这个档案的最后一行(常用)

    nG

    n 为数字。移动到这个档案的第 n 行。例如 20G 则会移动到这个档案的第 20 行(可配合 :set nu)

    gg

    移动到这个档案的第一行,相当于 1G 啊! (常用)

    n<Enter>

    n 为数字。光标向下移动 n 行(常用)

    搜寻与取代

    /word

    向光标之下寻找一个名称为 word 的字符串。例如要在档案内搜寻 vbird 这个字符串,就输入 /vbird 即可! (常用)

    ?word

    向光标之上寻找一个字符串名称为 word 的字符串。

    n

    这个 n 是英文按键。代表『重复前一个搜寻的动作』。举例来说, 如果刚刚我们执行 /vbird 去向下搜寻 vbird 这个字符串,则按下 n 后,会向下继续搜寻下一个名称为 vbird 的字符串。如果是执行 ?vbird 的话,那么按下 n 则会向上继续搜寻名称为 vbird 的字符串!

    N

    这个 N 是英文按键。与 n 刚好相反,为『反向』进行前一个搜寻动作。 例如 /vbird 后,按下 N 则表示『向上』搜寻 vbird 。

    使用 /word 配合 n 及 N 是非常有帮助的!可以让你重复的找到一些你搜寻的关键词!

    :n1,n2s/word1/word2/g

    n1 与 n2 为数字。在第 n1 与 n2 行之间寻找 word1 这个字符串,并将该字符串取代为 word2 !举例来说,在 100 到 200 行之间搜寻 vbird 并取代为 VBIRD 则:
    『:100,200s/vbird/VBIRD/g』。(常用)

    :1,$s/word1/word2/g

    从第一行到最后一行寻找 word1 字符串,并将该字符串取代为 word2 !(常用)

    :1,$s/word1/word2/gc

    从第一行到最后一行寻找 word1 字符串,并将该字符串取代为 word2 !且在取代前显示提示字符给用户确认 (confirm) 是否需要取代!(常用)

    删除、复制与贴上

    x, X

    在一行字当中,x 为向后删除一个字符 (相当于 [del] 按键), X 为向前删除一个字符(相当于 [backspace] 亦即是退格键) (常用)

    nx

    n 为数字,连续向后删除 n 个字符。举例来说,我要连续删除 10 个字符, 『10x』。

    dd

    删除游标所在的那一整列(常用)

    ndd

    n 为数字。删除光标所在的向下 n 列,例如 20dd 则是删除 20 列 (常用)

    d1G

    删除光标所在到第一行的所有数据

    dG

    删除光标所在到最后一行的所有数据

    d$

    删除游标所在处,到该行的最后一个字符

    d0

    那个是数字的 0 ,删除游标所在处,到该行的最前面一个字符

    yy

    复制游标所在的那一行(常用)

    nyy

    n 为数字。复制光标所在的向下 n 列,例如 20yy 则是复制 20 列(常用)

    y1G

    复制游标所在列到第一列的所有数据

    yG

    复制游标所在列到最后一列的所有数据

    y0

    复制光标所在的那个字符到该行行首的所有数据

    y$

    复制光标所在的那个字符到该行行尾的所有数据

    p, P

    p 为将已复制的数据在光标下一行贴上,P 则为贴在游标上一行! 举例来说,我目前光标在第 20 行,且已经复制了 10 行数据。则按下 p 后, 那 10 行数据会贴在原本的 20 行之后,亦即由 21 行开始贴。但如果是按下 P 呢? 那么原本的第 20 行会被推到变成 30 行。 (常用)

    J

    将光标所在列与下一列的数据结合成同一列

    c

    重复删除多个数据,例如向下删除 10 行,[ 10cj ]

    u

    复原前一个动作。(常用)

    [Ctrl]+r

    重做上一个动作。(常用)

    这个 u 与 [Ctrl]+r 是很常用的指令!一个是复原,另一个则是重做一次~ 利用这两个功能按键,你的编辑,嘿嘿!很快乐的啦!

    .

    不要怀疑!这就是小数点!意思是重复前一个动作的意思。 如果你想要重复删除、重复贴上等等动作,按下小数点『.』就好了! (常用)

    进入插入或取代的编辑模式

    i, I

    进入插入模式(Insert mode):
    i 为『从目前光标所在处插入』, I 为『在目前所在行的第一个非空格符处开始插入』。 (常用)

    a, A

    进入插入模式(Insert mode):
    a 为『从目前光标所在的下一个字符处开始插入』, A 为『从光标所在行的最后一个字符处开始插入』。(常用)

    o, O

    进入插入模式(Insert mode):
    这是英文字母 o 的大小写。o 为『在目前光标所在的下一行处插入新的一行』; O 为在目前光标所在处的上一行插入新的一行!(常用)

    r, R

    进入取代模式(Replace mode):
    r 只会取代光标所在的那一个字符一次;R会一直取代光标所在的文字,直到按下 ESC 为止;(常用)

    上面这些按键中,在 vi 画面的左下角处会出现『--INSERT--』或『--REPLACE--』的字样。 由名称就知道该动作了吧!!特别注意的是,我们上面也提过了,你想要在档案里面输入字符时, 一定要在左下角处看到 INSERT 或 REPLACE 才能输入喔!

    [Esc]

    退出编辑模式,回到一般模式中(常用)

    指令列的储存、离开等指令

    :w

    将编辑的数据写入硬盘档案中(常用)

    :w!

    若文件属性为『只读』时,强制写入该档案。不过,到底能不能写入, 还是跟你对该档案的档案权限有关啊!

    :q

    离开 vi (常用)

    :q!

    若曾修改过档案,又不想储存,使用 ! 为强制离开不储存档案。

    注意一下啊,那个惊叹号 (!) 在 vi 当中,常常具有『强制』的意思~

    :wq

    储存后离开,若为 :wq! 则为强制储存后离开 (常用)

    ZZ

    这是大写的 Z 喔!若档案没有更动,则不储存离开,若档案已经被更动过,则储存后离开!

    :w [filename]

    将编辑的数据储存成另一个档案(类似另存新档)

    :r [filename]

    在编辑的数据中,读入另一个档案的数据。亦即将 『filename』 这个档案内容加到游标所在行后面

    :n1,n2 w [filename]

    将 n1 到 n2 的内容储存成 filename 这个档案。

    :! command

    暂时离开 vi 到指令列模式下执行 command 的显示结果!例如 :! ls /home 即可在 vi 当中察看 /home 底下以 ls 输出的档案信息!

    vim 环境的变更

    :set nu

    显示行号,设定之后,会在每一行的前缀显示该行的行号

    :set nonu

    与 set nu 相反,为取消行号!

    多窗口情况下的按键功能

    :sp [filename]

    开启一个新窗口,如果有加 filename, 表示在新窗口开启一个新档案,否则表示两个窗口为同一个档案内容(同步显示)。

    [ctrl]+w+ j
    [ctrl]+w+↓

    按键的按法是:先按下 [ctrl] 不放, 再按下 w 后放开所有的按键,然后再按下 j (或向下箭头键),则光标可移动到下方的窗口。

    [ctrl]+w+ k
    [ctrl]+w+↑

    同上,不过光标移动到上面的窗口。

    [ctrl]+w+ q

    其实就是 :q 结束离开啦! 举例来说,如果我想要结束下方的窗口,那么利用 [ctrl]+w+↓ 移动到下方窗口后,按下 :q 即可离开, 也可以按下 [ctrl]+w+q

    vim 的环境设定参数

    :set nu
    :set nonu

    就是设定与取消行号啊!

    :set hlsearch
    :set nohlsearch

    hlsearch 就是 high light search(高亮度搜寻)。 这个就是设定是否将搜寻的字符串反白的设定值。默认值是 hlsearch

    :set autoindent
    :set noautoindent

    是否自动缩排?autoindent 就是自动缩排。

    :set backup

    是否自动储存备份档?一般是 nobackup 的, 如果设定 backup 的话,那么当你更动任何一个档案时,则源文件会被另存成一个档名为 filename~ 的档案。 举例来说,我们编辑 hosts ,设定 :set backup ,那么当更动 hosts 时,在同目录下,就会产生 hosts~ 文件名的档案,记录原始的 hosts 档案内容

    :set ruler

    还记得我们提到的右下角的一些状态栏说明吗? 这个 ruler 就是在显示或不显示该设定值的啦!

    :set showmode

    这个则是,是否要显示 --INSERT-- 之类的字眼在左下角的状态栏。

    :set backspace=(012)

    一般来说, 如果我们按下 i 进入编辑模式后,可以利用退格键 (backspace) 来删除任意字符的。 但是,某些 distribution 则不许如此。此时,我们就可以透过 backspace 来设定啰~ 当 backspace 为 2 时,就是可以删除任意值;0 或 1 时,仅可删除刚刚输入的字符, 而无法删除原本就已经存在的文字了!

    :set all

    显示目前所有的环境参数设定值。

    :set

    显示与系统默认值不同的设定参数, 一般来说就是你有自行变动过的设定参数啦!

    :syntax on
    :syntax off

    是否依据程序相关语法显示不同颜色? 举例来说,在编辑一个纯文本档时,如果开头是以 # 开始,那么该行就会变成蓝色。 如果你懂得写程序,那么这个 :syntax on 还会主动的帮你除错呢!但是, 如果你仅是编写纯文本档案,要避免颜色对你的屏幕产生的干扰,则可以取消这个设定 。

    :set bg=dark
    :set bg=light

    可用以显示不同的颜色色调,预设是『 light 』。如果你常常发现批注的字体深蓝色实在很不容易看, 那么这里可以设定为 dark 喔!试看看,会有不同的样式呢!


    妙招1 交换等号两边的内容。

    我们在写代码的时候难免会遇到左值和右值交换,若是这样的语句多达百条,痛苦万分。

    sed 's//(.*/) = /(.*/);//2 = /1;/' 注意等号左右各有一个空格,当然这要取决于你的赋值语句。


    另一篇:

    1、grep命令:查找文件里符合条件的字符串
    一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来
    语法格式: grep [options]
    -i:ignore-case 忽略大小写差别
    -c:count 只打印匹配的总行数,不显示匹配的内容信息
    -n:line-number 在匹配的行前面打印行号
    -v:revert-match 反检索,只显示不匹配的行
    -r:recursion递归地,读取每个文件夹下的所有档案
    -l :不显示平常一般的输出结果,只显示符合的文件名称

    Bash常用文本处理工具用法

    2、awk命令:一个强大的文本处理工具,逐行扫描,从第一行到最后一行
    使用语法:awk 'pattern{action}' filename
    pattern:正则表达式
    action:输出语法
    你可以省略pattern和 action之一,但不能两者同时省略,当省略pattern时没有样式匹配,表示对所有行(记录)均执行操作,省略action时执行缺省的操作——在标准输出上显示。
    语法格式:awk [ -F re] [parameter...]
    -F re:允许awk更改其字段分隔符
    parameter: 该参数帮助为不同的变量赋值
    -v:定义变量
    -f:指定脚本文件
    三种调用方式:
    1、awk命令行
    2、使用-f选项调用awk程序,例如:awk -f progfile file ,其中progfile是指定一个文本文件
    3、利用命令解释器调用awk程序,需要在awk脚本声明调用方式,例如:#!/bin/awk -f
    命令行方式使用内容过滤:
    [root@test ~]# awk '/root/' /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin
    #显示分隔符指定列(1列),分隔符默认是空格,$1是显示分隔符前面一列

    Bash常用文本处理工具用法

    #显示test文件中匹配123的行
    [root@test ~]# awk '/123/ {print $1}' test
    #显示所有以a或f开头的行

    Bash常用文本处理工具用法

    4、sed命令:一种在线编辑器,它一次处理一行内容
    处理时,把当前处理的行存储在临时缓冲区中,称为'模式空间'(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
    常用参数:
    i 插入
    s 替换
    e 多点编辑
    d 删除
    a 追加到行后面
    g 全部替换,无g只替换每行第一个
    q 退出
    #将所有包含aaa替换为jjj
    sed 's/aaa/jjj/' test
    #把这行注释去掉,替换文本
    sed -i 's/#ServerName www.example.com:80/ ServerName 192.168.0.202:80/g'
    将所有包含/var/www/html/替换为/opt/web/,分隔符'/'可以用别的符号代替,比如 ',' '_' '|' 等
    sed -i s/\/var\/www\/html/\/opt\/web/' /etc/httpd/conf/httpd.conf
    等同于:
    sed -i 's_/var/www/html/_/opt/web/_' /etc/httpd/conf/httpd.conf
    #插入一行到391行,包括特殊符号'/'
    sed -i '391 s/^/AddType application\/x-httpd-php .php.html/' httpd.conf
    #只打印第一行数据
    sed -n '1p' /etc/passwd
    #打印包含root的行,禁止默认输出
    sed -n '/root/p' /etc/passwd
    #删除13行
    sed -i '13d' /etc/passwd
    #删除13行到最后一行
    sed -i '13,$d' /etc/passwd
    #将包含uucp的行删除
    sed -i '/uucp/d' /etc/passwd
    5、find命令:查找具有某一特征的文件(例如文件权限、文件属主、文件长度、文件类型等
    用法:find [path] [options] [条件]
    Path:查找路径
    Options:选项
    例如:
    -name:按照文件名查找文件
    -mtime:按照文件的更改时间来查找文件,后跟-n、+n来表示多少天内和以前
    -user:按照文件属主来查找文件
    -group:按照文件所属的组来查找文件
    -type:查找某一个类型的文件,诸如:b(块设备)、d(目录)、l(符号链接)、f(普通文件)
    -size:根据文件大小来查找文件
    #在根目录查找更改时间在5日以内的文件
    find /tmp -mtime -5
    #在/var目录下查找更改时间在3日以前的文件
    find /var/ -mtime +3
    #查找系统中所有文件长度为0的普通文件,并列出他们的完整路径
    find / -type f -size 0 -exec ls -l {} \;
    #查找/var/log目录中更改时间在7日以前的普通文件,并删除他们
    find /var/log/ -type f -mtime +7 -exec rm {} \;
    #找出用户test拥有的文件,并将他们拷贝到/root/test目录中
    find / -user test -exec cp {} /root/test \;
    6、sort命令:对文件中的各行进行排序
    sort命令将逐行对文件中的内容进行排序,如果两行的首字符相同,该命令将继续比较这两行的下一字符,如果还相同,将继续进行比较.
    格式:sort [选项] 文件
    主要选项:
    -r:倒序排序,默认是升序。
    -n:按数值大小进行排序
    -k:KeyDefinition 指定排序关键字。
    -t:Character 指定 Character 作为字段分隔符
    -d:使用字典顺序排序。比较中仅考虑字母、数字和空格
    -f:将小写字母与大写字母同等对待
    -u:去掉重复的行,使文件中的每一行唯一
    7、uniq命令:删除文件中的重复行
    文件经过处理后在它的输出文件中可能会出现重复的行。例如,使用cat命令将两个文件合并后,再使用sort命令进行排序,就可能出现重复行。这时可以使用uniq命令将这些重复行从输出文件中删除,只留下每条记录的唯一样本。
    格式:uniq [选项] 文件
    主要选项:
    -c:显示行号
    -d:只显示重复行。
    -u:只显示文件中不重复的各行。
    8、cut命令:显示文件中每行的指定内容
    格式:cut -d 分隔字符 [-cf] fields
    -d:后面接的是分隔字符,默认情况下为Tab;
    -c:后面接的是第几个字符
    -f:后面接的 是第几个区块
    #列出/etc/passwd文件中的所有用户,按照升序排列
    cut -d : -f 1 /etc/passwd | sort
    #显示/etc/passwd文件下uid为0的用户名以及uid。
    cut -d : -f 1,3/etc/passwd|grep ':0$'
    正则表达式'$'表示以字符结尾,'^'表示以某字符开始。
    9、tr命令:从标准输入删除或替换字符,可以看为sed简化软件
    常用选项的tr命令格式为:
    -d 删除字符串1中所有输入字符。
    -s 删除所有重复出现字符序列,只保留第一个。
    #将小写字符转换成大写
    tr 'a-z' 'A-Z' < file
    #将文件中删除所有空字符
    tr –d ‘\0’< file
    #删除文件中shell字符
    cat test | tr -d 'shell'
    #将文件中所有abc字符替换efg并另存为新文件
    cat test | tr 'abc' 'efg' >new file
    10、其他文本处理命令
    cat:从头开始显示内容,并将所有内容输出
    常用参数,-n显示输出的行数编号
    tac:从最后一行倒序显示内容,并将所有内容输出
    head:默认显示头10行,-n指定显示多少行数
    tail:默认显示最后10行,-n指定显示多少行数,-f实时显示内容
    more:分屏查看文本文件
    less:和more类似,但可以往前翻页
    nl:显示时输出行号
    wc:计算文件的字节数、单词数和行数
    常用参数:-c统计字节数,-l统计行数,-m统计字符数


    其他

    内容目录:

    • find 文件查找
    • grep 文本搜索
    • xargs 命令行参数转换
    • sort 排序
    • uniq 消除重复行
    • 用tr进行转换
    • cut 按列切分文本
    • paste 按列拼接文本
    • wc 统计行和字符的工具
    • sed 文本替换利器
    • awk 数据流处理工具
    • 迭代文件中的行、单词和字符

      本文将介绍Linux下使用Shell处理文本时最常用的工具:
      find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;
      提供的例子和参数都是最常用和最为实用的;
      我对shell脚本使用的原则是命令单行书写,尽量不要超过2行;
      如果有更为复杂的任务需求,还是考虑python吧;

      find 文件查找

      • 查找txt和pdf文件

          find . \( -name "*.txt" -o -name "*.pdf" \) -print
      • 正则方式查找.txt和pdf

          find . -regex  ".*\(\.txt|\.pdf\)$"

        -iregex: 忽略大小写的正则

      • 否定参数
        查找所有非txt文本

           find . ! -name "*.txt" -print
      • 指定搜索深度
        打印出当前目录的文件(深度为1)

          find . -maxdepth 1 -type f  

        定制搜索

        • 按类型搜索:

            find . -type d -print  //只列出所有目录

          -type f 文件 / l 符号链接

        • 按时间搜索:
          -atime 访问时间 (单位是天,分钟单位则是-amin,以下类似)
          -mtime 修改时间 (内容被修改)
          -ctime 变化时间 (元数据或权限变化)
          最近7天被访问过的所有文件:

            find . -atime 7 -type f -print
        • 按大小搜索:
          w字 k M G
          寻找大于2k的文件

            find . -type f -size +2k

          按权限查找:

            find . -type f -perm 644 -print //找具有可执行权限的所有文件

          按用户查找:

            find . -type f -user weber -print// 找用户weber所拥有的文件

          找到后的后续动作

          • 删除:
            删除当前目录下所有的swp文件:

              find . -type f -name "*.swp" -delete
          • 执行动作(强大的exec)

              find . -type f -user root -exec chown weber {} \; //将当前目录下的所有权变更为weber

            注:{}是一个特殊的字符串,对于每一个匹配的文件,{}会被替换成相应的文件名;
            eg:将找到的文件全都copy到另一个目录:

              find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD \;
          • 结合多个命令
            tips: 如果需要后续执行多个命令,可以将多个命令写成一个脚本。然后 -exec 调用时执行脚本即可;

              -exec ./commands.sh {} \;

            -print的定界符

            默认使用'\n'作为文件的定界符;
            -print0 使用'\0'作为文件的定界符,这样就可以搜索包含空格的文件;

            grep 文本搜索

            grep match_patten file // 默认访问匹配行

            • 常用参数
              -o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行
              -c 统计文件中包含文本的次数

                grep -c "text" filename

              -n 打印匹配的行号
              -i 搜索时忽略大小写
              -l 只打印文件名

            • 在多级目录中对文本递归搜索(程序员搜代码的最爱):

                grep "class" . -R -n
            • 匹配多个模式
                grep -e "class" -e "vitural" file
            • grep输出以\0作为结尾符的文件名:(-z)
                grep "test" file* -lZ| xargs -0 rm

              xargs 命令行参数转换

              xargs 能够将输入数据转化为特定命令的命令行参数;这样,可以配合很多命令来组合使用。比如grep,比如find;

              • 将多行输出转化为单行输出
                cat file.txt| xargs
                \n 是多行文本间的定界符

              • 将单行转化为多行输出
                cat single.txt | xargs -n 3
                -n:指定每行显示的字段数

                xargs参数说明

                -d 定义定界符 (默认为空格 多行的定界符为 \n)
                -n 指定输出为多行
                -I {} 指定替换字符串,这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
                eg:

                cat file.txt | xargs -I {} ./command.sh -p {} -1

                -0:指定\0为输入定界符
                eg:统计程序行数

                find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

                sort 排序

                字段说明:
                -n 按数字进行排序 VS -d 按字典序进行排序
                -r 逆序排序
                -k N 指定按第N列排序
                eg:

                sort -nrk 1 data.txt
                sort -bd data // 忽略像空格之类的前导空白字符

                uniq 消除重复行

                • 消除重复行
                    sort unsort.txt | uniq 
                • 统计各行在文件中出现的次数
                    sort unsort.txt | uniq -c
                • 找出重复行
                    sort unsort.txt | uniq -d
                  可指定每行中需要比较的重复内容:-s 开始位置 -w 比较字符数

                  用tr进行转换

                  • 通用用法

                      echo 12345 | tr '0-9' '9876543210' //加解密转换,替换对应字符
                      cat text| tr '\t' ' '  //制表符转空格
                  • tr删除字符

                      cat file | tr -d '0-9' // 删除所有数字

                    -c 求补集

                      cat file | tr -c '0-9' //获取文件中所有数字
                      cat file | tr -d -c '0-9 \n'  //删除非数字数据
                  • tr压缩字符
                    tr -s 压缩文本中出现的重复字符;最常用于压缩多余的空格

                      cat file | tr -s ' '
                  • 字符类
                    tr中可用各种字符类:
                    alnum:字母和数字
                    alpha:字母
                    digit:数字
                    space:空白字符
                    lower:小写
                    upper:大写
                    cntrl:控制(非可打印)字符
                    print:可打印字符
                    使用方法:tr [:class:] [:class:]

                      eg: tr '[:lower:]' '[:upper:]'

                    cut 按列切分文本

                    • 截取文件的第2列和第4列:
                        cut -f2,4 filename
                    • 去文件除第3列的所有列:
                        cut -f3 --complement filename
                    • -d 指定定界符:
                        cat -f2 -d";" filename
                    • cut 取的范围
                      N- 第N个字段到结尾
                      -M 第1个字段为M
                      N-M N到M个字段
                    • cut 取的单位
                      -b 以字节为单位
                      -c 以字符为单位
                      -f 以字段为单位(使用定界符)
                    • eg:
                        cut -c1-5 file //打印第一到5个字符
                        cut -c-2 file  //打印前2个字符

                      paste 按列拼接文本

                      将两个文本按列拼接到一起;

                      cat file1
                      1
                      2
                      
                      cat file2
                      colin
                      book
                      
                      paste file1 file2
                      1 colin
                      2 book

                      默认的定界符是制表符,可以用-d指明定界符
                      paste file1 file2 -d ","
                      1,colin
                      2,book

                      wc 统计行和字符的工具

                      wc -l file // 统计行数
                      wc -w file // 统计单词数
                      wc -c file // 统计字符数

                      sed 文本替换利器

                      • 首处替换
                          seg 's/text/replace_text/' file   //替换每一行的第一处匹配的text
                      • 全局替换

                           seg 's/text/replace_text/g' file

                        默认替换后,输出替换后的内容,如果需要直接替换原文件,使用-i:

                          seg -i 's/text/repalce_text/g' file
                      • 移除空白行:

                          sed '/^$/d' file
                      • 变量转换
                        已匹配的字符串通过标记&来引用.

                        echo this is en example | seg 's/\w+/[&]/g'
                        $>[this]  [is] [en] [example]
                      • 子串匹配标记
                        第一个匹配的括号内容使用标记 \1 来引用

                          sed 's/hello\([0-9]\)/\1/'
                      • 双引号求值
                        sed通常用单引号来引用;也可使用双引号,使用双引号后,双引号会对表达式求值:

                          sed 's/$var/HLLOE/' 

                        当使用双引号时,我们可以在sed样式和替换字符串中指定变量;

                        eg:
                        p=patten
                        r=replaced
                        echo "line con a patten" | sed "s/$p/$r/g"
                        $>line con a replaced
                      • 其它示例
                        字符串插入字符:将文本中每行内容(PEKSHA) 转换为 PEK/SHA

                          sed 's/^.\{3\}/&\//g' file

                        awk 数据流处理工具

                        • awk脚本结构
                          awk ' BEGIN{ statements } statements2 END{ statements } '

                        • 工作方式
                          1.执行begin中语句块;
                          2.从文件或stdin中读入一行,然后执行statements2,重复这个过程,直到文件全部被读取完毕;
                          3.执行end语句块;

                          • 使用不带参数的print时,会打印当前行;

                              echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }' 
                          • print 以逗号分割时,参数以空格定界;

                            echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
                            print var1, var2 , var3; }'
                            $>v1 V2 v3
                          • 使用-拼接符的方式(""作为拼接符);
                            echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
                            print var1"-"var2"-"var3; }'
                            $>v1-V2-v3

                            特殊变量: NR NF $0 $1 $2

                            NR:表示记录数量,在执行过程中对应当前行号;
                            NF:表示字段数量,在执行过程总对应当前行的字段数;
                            $0:这个变量包含执行过程中当前行的文本内容;
                            $1:第一个字段的文本内容;
                            $2:第二个字段的文本内容;

                            echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"$0"-"$1"-"$2}'
                            • 打印每一行的第二和第三个字段:
                                awk '{print $2, $3}' file
                            • 统计文件的行数:

                                awk ' END {print NR}' file
                            • 累加每一行的第一个字段:

                                echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{num = 0 ;
                                print "begin";} {sum += $1;} END {print "=="; print sum }'

                              传递外部变量

                              var=1000
                              echo | awk '{print vara}' vara=$var #  输入来自stdin
                              awk '{print vara}' vara=$var file # 输入来自文件

                              用样式对awk处理的行进行过滤

                              awk 'NR < 5' #行号小于5
                              awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来
                              awk '/linux/' #包含linux文本的行(可以用正则表达式来指定,超级强大)
                              awk '!/linux/' #不包含linux文本的行

                              设置定界符

                              使用-F来设置定界符(默认为空格)
                              awk -F: '{print $NF}' /etc/passwd

                              读取命令输出

                              使用getline,将外部shell命令的输出读入到变量cmdout中;

                              echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }' 

                              在awk中使用循环

                              for(i=0;i<10;i++){print $i;}
                              for(i in array){print array[i];}

                              eg:
                              以逆序的形式打印行:(tac命令的实现)

                              seq 9| \
                              awk '{lifo[NR] = $0; lno=NR} \
                              END{ for(;lno>-1;lno--){print lifo[lno];}
                              } '

                              awk实现head、tail命令

                              • head:

                                  awk 'NR<=10{print}' filename
                              • tail:

                                  awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){ \
                                  print buffer[i %10]} } ' filename

                                打印指定列

                                • awk方式实现:
                                    ls -lrt | awk '{print $6}'
                                • cut方式实现
                                    ls -lrt | cut -f6

                                  打印指定文本区域

                                  • 确定行号
                                      seq 100| awk 'NR==4,NR==6{print}'
                                  • 确定文本
                                    打印处于start_pattern 和end_pattern之间的文本;
                                      awk '/start_pattern/, /end_pattern/' filename
                                    eg:
                                    seq 100 | awk '/13/,/15/'
                                    cat /etc/passwd| awk '/mai.*mail/,/news.*news/'

                                    awk常用内建函数

                                    index(string,search_string):返回search_string在string中出现的位置
                                    sub(regex,replacement_str,string):将正则匹配到的第一处内容替换为replacement_str;
                                    match(regex,string):检查正则表达式是否能够匹配字符串;
                                    length(string):返回字符串长度

                                    echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }' 

                                    printf 类似c语言中的printf,对输出进行格式化
                                    eg:

                                    seq 10 | awk '{printf "->%4s\n", $1}'

                                    迭代文件中的行、单词和字符

                                    1. 迭代文件中的每一行

                                    • while 循环法

                                      while read line;
                                      do
                                      echo $line;
                                      done < file.txt
                                      改成子shell:
                                      cat file.txt | (while read line;do echo $line;done)
                                    • awk法:
                                      cat file.txt| awk '{print}'

                                      2.迭代一行中的每一个单词

                                      for word in $line;
                                      do 
                                      echo $word;
                                      done

                                      3. 迭代每一个字符

                                      ${string:start_pos:num_of_chars}:从字符串中提取一个字符;(bash文本切片)
                                      ${#word}:返回变量word的长度

                                      for((i=0;i<${#word};i++))
                                      do
                                      echo ${word:i:1);
                                      done

                                      本文为《linux Shell脚本攻略》的读书笔记,文中主要内容和示例来自于
                                      《linux Shell脚本攻略》;



相关TAG标签 集锦 文本 方法
上一篇:服务器监控(包括性能指标与web应用程序)
下一篇:魅族大数据上云之路
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站