目录

一、进程管理

二、系统信息

三、关机 (系统的关机、重启以及登出 )

四、文件和目录

五、文件搜索

六、挂载一个文件系统

七、磁盘空间

八、系统负载 -- top

九、用户和群组

十、文件的权限 - 使用 "+" 设置权限，使用 "-" 用于取消

十一、文件的特殊属性 - 使用 "+" 设置权限，使用 "-" 用于取消

十二、打包和压缩文件

十三、OS包管理器

①、RPM 包 - （Fedora, Redhat及类似系统）

②、YUM 软件包升级器 - （Fedora, RedHat及类似系统）

③、DEB 包 (Debian, Ubuntu 以及类似系统)

④、APT 软件工具 (Debian, Ubuntu 以及类似系统)

十四、文本查看、处理

①、查看文件内容

②、文本处理

十五、vim专题

①、大小写转换

②、字符串处理专题

③、vi中文本操作

④、vim基础操作

⑤、shell脚本中的注释(单行注释/多行注释)

十五、字符设置和文件格式转换

十六、文件系统分析

十七、初始化一个文件系统

十八、SWAP文件系统

十九、备份

二十、光盘操作

二一、网络 - （以太网和WIFI无线）

二二、JPS工具

二三、crontab调度器

①、语法

二四、Shell编程相关

①、内置变量

②、数据结构

1、数组

for i in in {1..10}; do rm -f hadoop-cmf-hive-HIVEMETASTORE-nn1.testhdp.com.log.out.$i;done

2、字典dict 或 Map

3、管道输出中执行下一条指令

4、循环、迭代逻辑控制

5、break 与 contine区别

6、大文件拆分处理

7、awk

8、实现脚本中切换用户并执行该用户相关的命令操作

③、echo在shell中控制颜色&闪烁显示

1、在shell中显示色彩

​

二十五、程序开机自启动服务配置

二十六、持续监控Linux命令的执行情况
————————————————
版权声明：本文为CSDN博主「江畔独步」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/liuwei0376/article/details/88245472

三、关机 (系统的关机、重启以及登出 )


shutdown -h now 关闭系统(1)
init 0 关闭系统(2)
telinit 0 关闭系统(3)
shutdown -h hours:minutes & 按预定时间关闭系统
shutdown -c 取消按预定时间关闭系统
shutdown -r now 重启(1)
reboot 重启(2)
logout 注销

四、文件和目录


cd /home 进入 '/ home' 目录'
cd .. 返回上一级目录
cd ../.. 返回上两级目录
cd 进入个人的主目录
cd ~user1 进入个人的主目录
cd - 返回上次所在的目录
pwd 显示工作路径
ls 查看目录中的文件
ls -F 查看目录中的文件
ls -l 显示文件和目录的详细资料
ls -a 显示隐藏文件
ls *[0-9]* 显示包含数字的文件名和目录名
tree 显示文件和目录由根目录开始的树形结构(1)
lstree 显示文件和目录由根目录开始的树形结构(2)
mkdir dir1 创建一个叫做 'dir1' 的目录'
mkdir dir1 dir2 同时创建两个目录
mkdir -p /tmp/dir1/dir2 创建一个目录树
rm -f file1 删除一个叫做 'file1' 的文件'
rmdir dir1 删除一个叫做 'dir1' 的目录'
rm -rf dir1 删除一个叫做 'dir1' 的目录并同时删除其内容
rm -rf dir1 dir2 同时删除两个目录及它们的内容
mv dir1 new_dir 重命名/移动 一个目录
cp file1 file2 复制一个文件
cp dir/* . 复制一个目录下的所有文件到当前工作目录
cp -a /tmp/dir1 . 复制一个目录到当前工作目录
cp -a dir1 dir2 复制一个目录
ln -s file1 lnk1 创建一个指向文件或目录的软链接
ln file1 lnk1 创建一个指向文件或目录的物理链接
touch -t 0712250000 file1 修改一个文件或目录的时间戳 - (YYMMDDhhmm)
file file1 outputs the mime type of the file as text
iconv -l 列出已知的编码
iconv -f fromEncoding -t toEncoding inputFile > outputFile creates a new from the given input file by assuming it is encoded in fromEncoding and converting it to toEncoding.
find . -maxdepth 1 -name *.jpg -print -exec convert "{}" -resize 80x60 "thumbs/{}" \; batch resize files in the current directory and send them to a thumbnails directory (requires convert from Imagemagick)


五、文件搜索


find / -name file1 从 '/' 开始进入根文件系统搜索文件和目录
find / -user user1 搜索属于用户 'user1' 的文件和目录
find /home/user1 -name \*.bin 在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件
find /usr/bin -type f -atime +100 搜索在过去100天内未被使用过的执行文件
find /usr/bin -type f -mtime -10 搜索在10天内被创建或者修改过的文件
find / -name \*.rpm -exec chmod 755 '{}' \; 搜索以 '.rpm' 结尾的文件并定义其权限 ^                        find /tmp -name \*.hprof -exec rm -f {} \;批量删除java堆栈.hprof文件
find / -xdev -name \*.rpm 搜索以 '.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备
locate \*.ps 寻找以 '.ps' 结尾的文件 - 先运行 'updatedb' 命令
whereis halt 显示一个二进制文件、源码或man的位置
which halt 显示一个二进制文件或可执行文件的完整路径

grep -rn "query_string" *  Linux目录下全局查找所有文件中是否包含指定字符串（-r：递归；-n：显示行号）

六、挂载一个文件系统


mount /dev/hda2 /mnt/hda2 挂载一个叫做hda2的盘 - 确定目录 '/ mnt/hda2' 已经存在
umount /dev/hda2 卸载一个叫做hda2的盘 - 先从挂载点 '/ mnt/hda2' 退出
fuser -km /mnt/hda2 当设备繁忙时强制卸载
umount -n /mnt/hda2 运行卸载操作而不写入 /etc/mtab 文件- 当文件为只读或当磁盘写满时非常有用
mount /dev/fd0 /mnt/floppy 挂载一个软盘
mount /dev/cdrom /mnt/cdrom 挂载一个cdrom或dvdrom
mount /dev/hdc /mnt/cdrecorder 挂载一个cdrw或dvdrom
mount /dev/hdb /mnt/cdrecorder 挂载一个cdrw或dvdrom
mount -o loop file.iso /mnt/cdrom 挂载一个文件或ISO镜像文件
mount -t vfat /dev/hda5 /mnt/hda5 挂载一个Windows FAT32文件系统
mount /dev/sda1 /mnt/usbdisk 挂载一个usb 捷盘或闪存设备
mount -t smbfs -o username=user,password=pass //WinClient/share /mnt/share 挂载一个windows网络共享

九、用户和群组

groupadd group_name 创建一个新用户组
groupdel group_name 删除一个用户组
groupmod -n new_group_name old_group_name 重命名一个用户组
useradd -c "Name Surname " -g admin -d /home/user1 -s /bin/bash user1 创建一个属于 "admin" 用户组的用户
useradd user1 创建一个新用户
userdel -r user1 删除一个用户 ( '-r' 排除主目录)
usermod -c "User FTP" -g system -d /ftp/user1 -s /bin/nologin user1 修改用户属性
passwd 修改口令
passwd user1 修改一个用户的口令 (只允许root执行)
chage -E 2005-12-31 user1 设置用户口令的失效期限
pwck 检查 '/etc/passwd' 的文件格式和语法修正以及存在的用户
grpck 检查 '/etc/passwd' 的文件格式和语法修正以及存在的群组
newgrp group_name 登陆进一个新的群组以改变新创建文件的预设群组

案例 1：

    #### 1-创建用户、2-追加附加组、3-删除附加组
    # 1
    useradd san_zhang -m
    passwd san_zhang san_zhang@163.com
   
    # 从管道输出中修改密码(如果非root且可以转为root，请使用sudo)
    echo san_zhang@163.com | sudo passwd --stdin san_zhang
   
   
    #-----------------------------------------------------
    # 2
    usermod -aG hdfs san_zhang (将san_zhang追加到附加组hdfs中(可以添加多个附加组，多个组之间用空格隔开，如"hdfs,yarn,spark")，其默认在san_zhang中)
    此时查看其所在的用户组，可以发现其所属组为san_zhang，附加组为hdfs，如下：
    id san_zhang
    uid=1001(san_zhang) gid=1001(san_zhang) groups=1001(san_zhang),992(hdfs)
   
    引申：
    如果上一步顺序写错，误将hdfs追加到san_zhang用户组中，如使用了如下错误的命令：
    usermod -aG san_zhang hdfs
    则此时查看hdfs所属组，就会发现其也在san_zhang组下了
    id hdfs
    uid=995(hdfs) gid=992(hdfs) groups=992(hdfs),994(hadoop),1001(san_zhang)
   
    这时再查看san_zhang组，就会看到误加入的hdfs用户了
    groups san_zhang
    san_zhang : san_zhang hdfs
    #-----------------------------------------------------
    # 3
    gpasswd -d hdfs san_zhang (从san_zhang组中删除误加入的hdfs用户)
    执行后的日志：Removing user hdfs from group san_zhang
    #-----------------------------------------------------

案例 2：

统计某个分组下有哪些用户

    [root@cdh01 ~]# grep hdfs /etc/group
    hdfs:x:993:
   
    [root@cdh01 ~]# awk -F : '{print $1,$4}' /etc/passwd | grep '993'
    hdfs 993

十三、OS包管理器
①、RPM 包 - （Fedora, Redhat及类似系统）

rpm -ivh package.rpm 安装一个rpm包
rpm -ivh --nodeps package.rpm 安装一个rpm包而忽略依赖关系警告
rpm -U package.rpm 更新一个rpm包但不改变其配置文件
rpm -F package.rpm 更新一个确定已经安装的rpm包
rpm -e [--nodeps] package_name.rpm 删除一个rpm包[--nodeps表示忽略依赖关系]
rpm -qa 显示系统中所有已经安装的rpm包
rpm -qa | grep httpd 显示所有名称中包含 "httpd" 字样的rpm包
rpm -qi package_name 获取一个已安装包的特殊信息
rpm -qg "System Environment/Daemons" 显示一个组件的rpm包
rpm -ql package_name 显示一个已经安装的rpm包提供的文件列表
rpm -qc package_name 显示一个已经安装的rpm包提供的配置文件列表
rpm -q package_name --whatrequires 显示与一个rpm包存在依赖关系的列表
rpm -q package_name --whatprovides 显示一个rpm包所占的体积
rpm -q package_name --scripts 显示在安装/删除期间所执行的脚本l
rpm -q package_name --changelog 显示一个rpm包的修改历史
rpm -qf /etc/httpd/conf/httpd.conf 确认所给的文件由哪个rpm包所提供
rpm -qp package.rpm -l 显示由一个尚未安装的rpm包提供的文件列表
rpm --import /media/cdrom/RPM-GPG-KEY 导入公钥数字证书
rpm --checksig package.rpm 确认一个rpm包的完整性
rpm -qa gpg-pubkey 确认已安装的所有rpm包的完整性
rpm -V package_name 检查文件尺寸、 许可、类型、所有者、群组、MD5检查以及最后修改时间
rpm -Va 检查系统中所有已安装的rpm包- 小心使用
rpm -Vp package.rpm 确认一个rpm包还未安装
rpm2cpio package.rpm | cpio --extract --make-directories *bin* 从一个rpm包运行可执行文件
rpm -ivh /usr/src/redhat/RPMS/`arch`/package.rpm 从一个rpm源码安装一个构建好的包
rpmbuild --rebuild package_name.src.rpm 从一个rpm源码构建一个 rpm 包

②、YUM 软件包升级器 - （Fedora, RedHat及类似系统）


yum install package_name 下载并安装一个rpm包 (如: yum -y install zip unzip)
yum localinstall package_name.rpm 将安装一个rpm包，使用你自己的软件仓库为你解决所有依赖关系
yum update package_name.rpm 更新当前系统中所有安装的rpm包
yum update package_name 更新一个rpm包
yum remove package_name 删除一个rpm包
yum list | grep tmux  列出所有可安裝的软件清单命令
yum search package_name 在rpm仓库中搜寻软件包
yum clean packages 清理rpm缓存删除下载的包
yum clean headers 删除所有头文件
yum clean all 删除所有缓存的包和头文件

③、DEB 包 (Debian, Ubuntu 以及类似系统)

dpkg -i package.deb 安装/更新一个 deb 包
dpkg -r package_name 从系统删除一个 deb 包
dpkg -l 显示系统中所有已经安装的 deb 包
dpkg -l | grep httpd 显示所有名称中包含 "httpd" 字样的deb包
dpkg -s package_name 获得已经安装在系统中一个特殊包的信息
dpkg -L package_name 显示系统中已经安装的一个deb包所提供的文件列表
dpkg --contents package.deb 显示尚未安装的一个包所提供的文件列表
dpkg -S /bin/ping 确认所给的文件由哪个deb包提供

④、APT 软件工具 (Debian, Ubuntu 以及类似系统)

apt-get install package_name 安装/更新一个 deb 包
apt-cdrom install package_name 从光盘安装/更新一个 deb 包
apt-get update 升级列表中的软件包
apt-get upgrade 升级所有已安装的软件
apt-get remove package_name 从系统删除一个deb包
apt-get check 确认依赖的软件仓库正确
apt-get clean 从下载的软件包中清理缓存
apt-cache search searched-package 返回包含所要搜索字符串的软件包名称

Example-1:  使用sed进行文本批量替换

    #!/bin/bash
   
    ddl_file_path=/c/Users/user/Downloads/sqoop_data/hive_2_mysql
   
   
    ls $ddl_file_path | while read f;
    do
    echo "--------->"$ddl_file_path/$f
   
    ## Template
    #sed -i 's///g' $ddl_file_path/$f
    #sed -i "s///g" $ddl_file_path/$f
   
    sed -i 's/111.111.111.111:3306/222.222.222.222:3307/g' $ddl_file_path/$f
    sed -i "s/'password_1'/'password_2'/g" $ddl_file_path/$f
   
    done
   
    # echo -e "=========>\n\t Files contains keyword "/WARN:" in path $ddl_file_path are deleted!!!"

    #!/bin/bash
   
    set -x
   
    ## Template
    #sed -i 's///g' $ddl_file_path/$f
    #sed -i "s///g" $ddl_file_path/$f
   
    ## Func 1 - 实现在所有文件的第四行、第五行插入指定文本
   
    ddl_file_path=/e/迅雷下载/user_data_after
   
    ls $ddl_file_path | while read f;
    do   
        # 如果文件不是文件夹类型，才允许插入操作
        if [ ! -d $f ];then
            echo "--------->"$ddl_file_path/$f
   
            sed -i '4i retries=10' $ddl_file_path/$f
            sed -i '5i retry.backoff=3' $ddl_file_path/$f
        fi
    done
   
   
    ## Func 2 - 如果文件夹不存在，则创建；反之提示文件已存在
   
    if [ ! -d "beijing" ];then
        mkdir beijing
    else
        echo "File already exists"
    fi

文件类型的参数判别大全：

    shell脚本判断文件类型
   
    shell判断文件,目录是否存在或者具有权限
    #!/bin/sh
   
    myPath="/var/log/httpd/"
    myFile="/var/log/httpd/access.log"
   
    # 这里的-x 参数判断$myPath是否存在并且是否具有可执行权限
    if [ ! -x "$myPath"]; then
    mkdir "$myPath"
    fi
   
    # 这里的-d 参数判断$myPath是否存在
    if [ ! -d "$myPath"]; then
    mkdir "$myPath"
    fi
   
    # 这里的-f参数判断$myFile是否存在
    if [ ! -f "$myFile" ]; then
    touch "$myFile"
    fi
   
    # 其他参数还有-n,-n是判断一个变量是否是否有值
    if [ ! -n "$myVar" ]; then
    echo "$myVar is empty"
    exit 0
    fi
   
    # 两个变量判断是否相等
    if [ "$var1" = "$var2" ]; then
    echo '$var1 eq $var2'
    else
    echo '$var1 not eq $var2'
    fi
   
    文件的判别逻辑大全：
    --------------------------------------------------------------------
    -a file exists.
    -b file exists and is a block special file.
    -c file exists and is a character special file.
    -d file exists and is a directory.
    -e file exists (just the same as -a).
    -f file exists and is a regular file.
    -g file exists and has its setgid(2) bit set.
    -G file exists and has the same group ID as this process.
    -k file exists and has its sticky bit set.
    -L file exists and is a symbolic link.
    -n string length is not zero.
    -o Named option is set on.
    -O file exists and is owned by the user ID of this process.
    -p file exists and is a first in, first out (FIFO) special file or
    named pipe.
    -r file exists and is readable by the current process.
    -s file exists and has a size greater than zero.
    -S file exists and is a socket.
    -t file descriptor number fildes is open and associated with a
    terminal device.
    -u file exists and has its setuid(2) bit set.
    -w file exists and is writable by the current process.
    -x file exists and is executable by the current process.
    -z string length is zero.
   
    注意-s 和 -f 参数的区别

③：使用uniq进行滤重

cut的具体用法，如下：

    A).去除重复行
    sort target_file | uniq

    B).查找非重复行
    sort target_file | uniq -u

    C).查找重复行
    sort target_file | uniq -d

    D).统计每一个文件出现的次数
    sort target_file | uniq -c

④：排序

sort linux下的排序工具

参数说明:

    　　-r　　降序排列
    　　-u　　去重
    　　-n　　以数字大小排序(默认是首字母排序)
    　　-t　　指定分隔符 这里我们指定'|'为分隔符
    　　-k　　指定分隔后的第几位进行排序 这里我们指定第2位

任务:report.txt文件里有以下内容：记录了一些方法的执行时间，要求按执行时间降序排列.

命令：sort -run -k 2 -t '|' report.txt

    1 void com.dustpan.zeus.core.service.MergeService.startService(int)|2
    2 void com.dustpan.zeus.core.service.InitShopDateService.startService(int)|1
    3 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|475
    4 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|96
    5 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|1013
    6 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|184
    7 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|729
    8 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|14
    9 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|394
    10 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|90
    11 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|569
    12 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|796
    13 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|1648
    14 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|82
    15 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|1018
    16 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|14
    17 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|937
    18 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|17
    19 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|601
    20 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|52
    21 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|5081
    22 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|388
    23 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|198
    24 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|11
    25 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|203
    26 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|11
    27 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|241
    28 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|13
    29 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|176
    30 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|12
    31 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|206
    32 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|33
    33 boolean com.dustpan.zeus.core.service.MergeService.executeGePrintSyncTask()|242
    34 boolean com.dustpan.zeus.core.service.InitShopDateService.executeInitShopTask()|19

案例一、找出本文件夹中包含my_test_calendar关键字的所有文件(含全路径+文件名)，并滤重。

查询hive_sh目录下，包含搜索关键字'my_test_calendar'的文本出现的文件及关键字所在的行，将文件(文件路径+文件名) 字段提取出来，并做滤重处理。

[hdfs@nn1 hive_sh]$ find . -type f | xargs grep -rn 'my_test_calendar' | cut -d : -f 1 | uniq