Linux指令入门-文本文件处理命令grep

文章目录 「隐藏」
  1. 文本文件处理命令
  2. grep
  3. sed
  4. awk
  5. cut
  6. tr

文本文件处理命令

grep

命令描述:grep命令用于查找文件里符合条件的字符串。

grep全称是Global Regular Expression Print,表示全局正则表达式版本,它能使用正则表达式搜索文本,并把匹配的行打印出来。

在Shell脚本中,grep通过返回一个状态值来表示搜索的状态:

  • 0:匹配成功。
  • 1:匹配失败。
  • 2:搜索的文件不存在。

命令格式:grep [参数] [正则表达式] [文件]

命令常用参数说明:

 
参数说明
-c或--count计算符合样式的列数
-d recurse或-r指定要查找的是目录而非文件
-e [范本样式]指定字符串做为查找文件内容的样式
-E 或 --extended-regexp将样式为延伸的正则表达式来使用
-F 或 --fixed-regexp将样式视为固定字符串的列表
-G 或 --basic-regexp将样式视为普通的表示法来使用
-i 或 --ignore-case忽略字符大小写的差别
-n 或 --line-number在显示符合样式的那一行之前,标示出该行的列数编号
-v 或 --revert-match显示不包含匹配文本的所有行

命令使用示例:

  • 查看sshd服务配置文件中监听端口配置所在行编号。
    <span class="hljs-title">grep</span> -n Port /etc/ssh/ssh_config
    1 < span class = "hljs-title" > grep < / span > - n Port / etc / ssh / ssh_config

    命令输出结果:

  • 查询字符串在文本中出现的行数。

    <span class="hljs-title">grep</span> -c localhost /etc/hosts

    1 < span class = "hljs-title" > grep < / span > - c localhost / etc / hosts

    命令输出结果:

  • 反向查找,不显示符合条件的行。

    <span class="hljs-title">ps</span> -ef | grep sshd

    1 < span class = "hljs-title" > ps < / span > - ef | grep sshd

    ps -ef | <span class="hljs-keyword">grep</span> -v <span class="hljs-keyword">grep</span> | <span class="hljs-keyword">grep</span> sshd

    1 2 ps - ef | < span class = "hljs-keyword" > grep < / span > - v < span class = "hljs-keyword" > grep < / span > | < span class = "hljs-keyword" > grep < / span > sshd  

     命令输出结果:

    

  • 以递归的方式查找目录下含有关键字的文件。
    <span class="hljs-title">grep</span> -r <span class="hljs-regexp">*.sh</span> /etc
    1 < span class = "hljs-title" > grep < / span > - r < span class = "hljs-regexp" > * . sh < / span > / etc

    命令输出结果:

  • 使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置。

    <span class="hljs-title">grep</span> <span class="hljs-string">\'ntp[0-9].aliyun.com\'</span> /etc/ntp.conf

    1 < span class = "hljs-title" > grep < / span > < span class = "hljs-string" > \' ntp [ 0 - 9 ] . aliyun . com \' < / span > / etc / ntp . conf

    命令输出结果:

sed

命令描述:sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用。

1. 处理时,把当前处理的行存储在临时缓冲区中,称为模式空间(pattern space)。
2. 接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
3. 接着处理下一行,这样不断重复,直到文件末尾。

注意:

  • sed命令不会修改原文件,例如删除命令只表示某些行不打印输出,而不是从原文件中删去。
  • 如果要改变源文件,需要使用-i选项。

命令格式:sed [参数] [动作] [文件]

参数说明:

 
参数说明
-e [script]执行多个script
-f [script文件]执行指定script文件
-n仅显示script处理后的结果
-i输出到原文件,静默执行(修改原文件)

动作说明:

 
动作说明
a在行后面增加内容
c替换行
d删除行
i在行前面插入
p打印相关的行
s替换内容

命令使用示例:

  • 删除第3行到最后一行内容。
    <span class="hljs-title">sed</span> <span class="hljs-string">\'3,<span class="hljs-variable">$d</span>\'</span> /etc/passwd
    1 < span class = "hljs-title" > sed < / span > < span class = "hljs-string" > \' 3 , < span class = "hljs-variable" > $ d < / span > \' < / span > / etc / passwd

    命令输出结果:

  • 在最后一行新增行。

    <span class="hljs-title">sed</span> <span class="hljs-string">\'<span class="hljs-variable">$a</span> admin:x:1000:1000:admin:/home/admin:/bin/bash\'</span> /etc/passwd

    1 < span class = "hljs-title" > sed < / span > < span class = "hljs-string" > \' < span class = "hljs-variable" > $ a < / span > admin : x : 1000 : 1000 : admin : / home / admin : / bin / bash \' < / span > / etc / passwd

    命令输出结果:

  • 替换内容。

    <span class="hljs-title">sed</span> <span class="hljs-string">\'s/SELINUX=disabled/SELINUX=enforcing/\'</span> /etc/selinux/config

    1 < span class = "hljs-title" > sed < / span > < span class = "hljs-string" > \' s / SELINUX = disabled / SELINUX = enforcing / \' < / span > / etc / selinux / config

    命令输出结果:

  • 替换行。

    <span class="hljs-title">sed</span> <span class="hljs-string">\'1c abcdefg\'</span> /etc/passwd

    1 < span class = "hljs-title" > sed < / span > < span class = "hljs-string" > \' 1c abcdefg \' < / span > / etc / passwd

    命令输出结果:

awk

命令描述:和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

命令格式:awk [参数] [脚本] [文件]

参数说明:

 
参数说明
-F fs指定以fs作为输入行的分隔符,awk 命令默认分隔符为空格或制表符
-f file读取awk脚本
-v val=val在执行处理过程之前,设置一个变量var,并给其设置初始值为val

内置变量:

 
变量用途
FS字段分隔符
$n指定分隔的第n个字段,如$1、$3分别表示第1、第三列
$0当前读入的整行文本内容
NF记录当前处理行的字段个数(列数)
NR记录当前已读入的行数
FNR当前行在源文件中的行号

awk中还可以指定脚本命令的运行时机。默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用BEGIN关键字,BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。

和BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

命令使用示例:

  • 查看本机IP地址。
    <span class="hljs-title">ifconfig</span> eth0 |awk <span class="hljs-string">\'/inet/{print <span class="hljs-variable">$2</span>}\'</span>
    1 < span class = "hljs-title" > ifconfig < / span > eth0 | awk < span class = "hljs-string" > \' / inet / { print < span class = "hljs-variable" > $ 2 < / span > } \' < / span >

    命令输出结果:

  • 查看本机剩余磁盘容量。

    <span class="hljs-title">df</span> -h |awk <span class="hljs-string">\'/\/$/{print <span class="hljs-variable">$4</span>}\'</span>

    1 < span class = "hljs-title" > df < / span > - h | awk < span class = "hljs-string" > \' / \ / $ / { print < span class = "hljs-variable" > $ 4 < / span > } \' < / span >

    命令输出结果:

  • 统计系统用户个数。

    <span class="hljs-title">awk</span> -F: <span class="hljs-string">\'<span class="hljs-variable">$3</span>&lt;1000{x } END{print x}\'</span> /etc/passwd

    1 < span class = "hljs-title" > awk < / span > - F : < span class = "hljs-string" > \' < span class = "hljs-variable" > $ 3 < / span > & lt ; 1000 { x    } END { print x } \' < / span > / etc / passwd

    命令输出结果:

  • 输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息。

    <span class="hljs-title">awk</span> -F: <span class="hljs-string">\'<span class="hljs-variable">$7</span>!~/nologin$/{print <span class="hljs-variable">$1</span>,<span class="hljs-variable">$7</span>}\'</span> /etc/passwd

    1 < span class = "hljs-title" > awk < / span > - F : < span class = "hljs-string" > \' < span class = "hljs-variable" > $ 7 < / span > ! ~ / nologin $ / { print < span class = "hljs-variable" > $ 1 < / span > , < span class = "hljs-variable" > $ 7 < / span > } \' < / span > / etc / passwd

    命令输出结果:

  • 输出/etc/passwd文件中前三行记录的用户名和用户uid。

    <span class="hljs-keyword">head</span> -3 /etc/passwd | awk \'BEGIN{FS=<span class="hljs-string">":"</span>;print <span class="hljs-string">"name\tuid"</span>}{print <span class="hljs-number">$1</span>,<span class="hljs-string">"\t"</span><span class="hljs-number">$3</span>}END{print <span class="hljs-string">"sum lines "</span>NR}\'

    1 < span class = "hljs-keyword" > head < / span > - 3 / etc / passwd | awk    \' BEGIN { FS = < span class = "hljs-string" > ":" < / span > ; print < span class = "hljs-string" > "name\tuid" < / span > } { print < span class = "hljs-number" > $ 1 < / span > , < span class = "hljs-string" > "\t" < / span > < span class = "hljs-number" > $ 3 < / span > } END { print < span class = "hljs-string" > "sum lines " < / span > NR } \'

    命令输出结果:

  • 查看tcp连接数。

    <span class="hljs-title">netstat</span> -na | awk <span class="hljs-string">\'/^tcp/ { S[<span class="hljs-variable">$NF</span>]} END {for(a in S) print a, S[a]}\'</span>

    1 < span class = "hljs-title" > netstat < / span > - na | awk < span class = "hljs-string" > \' / ^ tcp / {    S [ < span class = "hljs-variable" > $ NF < / span > ] } END { for ( a in S ) print a , S [ a ] } \' < / span >

    命令输出结果:

  • 关闭指定服务的所有的进程。

    ps -ef | <span class="hljs-keyword">grep</span> httpd | awk {<span class="hljs-string">\'print $2\'</span>} | xargs <span class="hljs-keyword">kill</span> -<span class="hljs-number">9</span>

    1 ps - ef | < span class = "hljs-keyword" > grep < / span > httpd | awk { < span class = "hljs-string" > \' print $ 2 \' < / span > } | xargs < span class = "hljs-keyword" > kill < / span > - < span class = "hljs-number" > 9 < / span >

cut

命令描述:cut命令主要用来切割字符串,可以对输入的数据进行切割然后输出。

命令格式:cut [参数] [文件]

参数说明:

 
参数说明
-b以字节为单位进行分割
-c以字符为单位进行分割
-d自定义分隔符,默认为制表符

命令使用示例:

  • 按字节进行切割。
  •  按字符进行切割。
  • 按指定字符进行切割。

tr

命令描述:tr命令用于对来自标准输入的字符进行替换、压缩和删除。

命令格式:tr [参数] [文本]

参数说明:

 
参数说明
-c反选指定字符
-d删除指定字符
-s将重复的字符缩减成一个字符
-t [第一字符集] [第二字符集]删除第一字符集较第二字符集多出的字符,使两个字符集长度相等

命令使用示例:

  • 将输入字符由大写转换为小写。
    <span class="hljs-title">echo</span> <span class="hljs-string">"HELLO WORLD"</span> | tr <span class="hljs-string">\'A-Z\'</span> <span class="hljs-string">\'a-z\'</span>
    1 < span class = "hljs-title" > echo < / span > < span class = "hljs-string" > "HELLO WORLD" < / span > | tr < span class = "hljs-string" > \' A - Z \' < / span > < span class = "hljs-string" > \' a - z \' < / span >

    命令输出结果:

  • 删除字符。

    <span class="hljs-built_in">echo</span> <span class="hljs-string">"hello 123 world 456"</span> | tr <span class="hljs-operator">-d</span> <span class="hljs-string">\'0-9\'</span>

    1 < span class = "hljs-built_in" > echo < / span > < span class = "hljs-string" > "hello 123 world 456" < / span > | tr < span class = "hljs-operator" > - d < / span > < span class = "hljs-string" > \' 0 - 9 \' < / span >

    命令输出结果:

  • 压缩字符。

    <span class="hljs-built_in">echo</span> <span class="hljs-string">"thissss is a text linnnnnnne."</span> | tr <span class="hljs-operator">-s</span> <span class="hljs-string">\' sn\'</span>

    1 < span class = "hljs-built_in" > echo < / span > < span class = "hljs-string" > "thissss is      a text linnnnnnne." < / span > | tr < span class = "hljs-operator" > - s < / span > < span class = "hljs-string" > \' sn \' < / span >

    命令输出结果:

  • 产生随机密码。

    cat /dev/urandom | tr -dc a-zA-Z0-<span class="hljs-number">9</span> | head -c <span class="hljs-number">13</span>

    1 cat / dev / urandom | tr - dc a - zA - Z0 - < span class = "hljs-number" > 9 < / span > | head - c < span class = "hljs-number" > 13 < / span >

    命令输出结果:

《Linux指令入门-文本文件处理命令grep》留言数:0

    发表留言