④、vim基础操作

在命令模式下：

1、填到指定行，如5

:5

2、跳到最后一行

G（shift + g）

3、跳到行首

gg

4、转到第N行，如第7行

7G

5、删除所有内容

A).使用shift+g转到最后一行

B).命令模式下输入:1,.d

引申：深处第3行到最后一行

A).使用shift+g转到最后一行

B).命令模式下输入:3,.d

6、删除光标所在字符

x

7、删除表过所在前的字符（大写X）

X

8、删除到下一个单词开头

dw

9、删除到本单词末尾

de

10、删除到本单词末尾包括标点在内

dE

11、删除到前一个单词

db

12、删除到前一个单词包括标点在内

dB

13、删除一整行

dd

14、删除光标位置到本行结尾

ud$

15、删除光标位置到本行开头

d0

在vim中 ，“.”当前行 ，“1,.”表示从第一行到当前行 ，“d”删除，3dd代表删除三行。

16、vim 统计单词匹配数量

:%s/hello world/&/gn
上句统计hello world 在全文出现的次数

如果要统计从50行到100行，出现的次数，则使用：
:50,100s/hello world//gn

⑤、shell脚本中的注释(单行注释/多行注释)

1、单行注释

"#" 置于行首位置

2、多行注释

A) 方式一

    :<<!
    # 需要注释的内容
    !

B) 方式二

    if false; then
    # 待注释的代码块
    fi

C) 方式三

    ((0)) && {
    # 待注释的代码块
    }
————————————————
版权声明：本文为CSDN博主「江畔独步」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/liuwei0376/article/details/88245472

二十、光盘操作

cdrecord -v gracetime=2 dev=/dev/cdrom -eject blank=fast -force 清空一个可复写的光盘内容
mkisofs /dev/cdrom > cd.iso 在磁盘上创建一个光盘的iso镜像文件
mkisofs /dev/cdrom | gzip > cd_iso.gz 在磁盘上创建一个压缩了的光盘iso镜像文件
mkisofs -J -allow-leading-dots -R -V "Label CD" -iso-level 4 -o ./cd.iso data_cd 创建一个目录的iso镜像文件
cdrecord -v dev=/dev/cdrom cd.iso 刻录一个ISO镜像文件
gzip -dc cd_iso.gz | cdrecord dev=/dev/cdrom - 刻录一个压缩了的ISO镜像文件
mount -o loop cd.iso /mnt/iso 挂载一个ISO镜像文件
cd-paranoia -B 从一个CD光盘转录音轨到 wav 文件中
cd-paranoia -- "-3" 从一个CD光盘转录音轨到 wav 文件中（参数-3）
cdrecord --scanbus 扫描总线以识别scsi通道
dd if=/dev/hdc | md5sum 校验一个设备的md5sum编码，例如一张 CD

二一、网络 - （以太网和WIFI无线）


ifconfig eth0 显示一个以太网卡的配置
ifup eth0 启用一个 'eth0' 网络设备
ifdown eth0 禁用一个 'eth0' 网络设备
ifconfig eth0 192.168.1.1 netmask 255.255.255.0 控制IP地址
ifconfig eth0 promisc 设置 'eth0' 成混杂模式以嗅探数据包 (sniffing)
dhclient eth0 以dhcp模式启用 'eth0'
route -n show routing table
route add -net 0/0 gw IP_Gateway configura default gateway
route add -net 192.168.0.0 netmask 255.255.0.0 gw 192.168.1.1 configure static route to reach network '192.168.0.0/16'
route del 0/0 gw IP_gateway remove static route
echo "1" > /proc/sys/net/ipv4/ip_forward activate ip routing
hostname show hostname of system
host www.example.com lookup hostname to resolve name to ip address and viceversa(1)
nslookup www.example.com lookup hostname to resolve name to ip address and viceversa(2)
ip link show show link status of all interfaces
mii-tool eth0 show link status of 'eth0'
ethtool eth0 show statistics of network card 'eth0'
netstat -tup show all active network connections and their PID
netstat -tupl show all network services listening on the system and their PID
tcpdump tcp port 80 show all HTTP traffic
iwlist scan show wireless networks
iwconfig eth1 show configuration of a wireless network card
hostname show hostname
host www.example.com lookup hostname to resolve name to ip address and viceversa
nslookup www.example.com lookup hostname to resolve name to ip address and viceversa
whois www.example.com lookup on Whois database

二二、JPS工具

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。

    我想很多人都是用过unix系统里的ps命令，这个命令主要是用来显示当前系统的进程情况，有哪些进程，及其 id。 jps 也是一样，它的作用是显示当前系统的java进程情况，及其id号。我们可以通过它来查看我们到底启动了几个java进程（因为每一个java程序都会独占一个java虚拟机实例），和他们的进程号（为下面几个程序做准备），并可通过opt来查看这些进程的详细启动参数。

    使用方法：在当前命令行下打 jps(需要JAVA_HOME，没有的话，到改程序的目录下打) 。

jps存放在JAVA_HOME/bin/jps，使用时为了方便请将JAVA_HOME/bin/加入到Path.

$> jps
23991 Jps
23789 BossMain
23651 Resin


比较常用的参数：

-q 只显示pid，不显示class名称,jar文件名和传递给main 方法的参数
$>  jps -q
28680
23789
23651

-m 输出传递给main 方法的参数，在嵌入式jvm上可能是null

$> jps -m
28715 Jps -m
23789 BossMain
23651 Resin -socketwait 32768 -stdout /data/aoxj/resin/log/stdout.log -stderr /data/aoxj/resin/log/stderr.log

-l 输出应用程序main class的完整package名 或者 应用程序的jar文件完整路径名

$> jps -l
28729 sun.tools.jps.Jps
23789 com.asiainfo.aimc.bossbi.BossMain
23651 com.caucho.server.resin.Resin

-v 输出传递给JVM的参数

$> jps -v
23789 BossMain
28802 Jps -Denv.class.path=/data/aoxj/bossbi/twsecurity/java/trustwork140.jar:/data/aoxj/bossbi/twsecurity/java/:/data/aoxj/bossbi/twsecurity/java/twcmcc.jar:/data/aoxj/jdk15/lib/rt.jar:/data/aoxj/jd

k15/lib/tools.jar -Dapplication.home=/data/aoxj/jdk15 -Xms8m
23651 Resin -Xss1m -Dresin.home=/data/aoxj/resin -Dserver.root=/data/aoxj/resin -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -

Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl

sudo jps看到的进程数量最全

jps 192.168.0.77

列出远程服务器192.168.0.77机器所有的jvm实例，采用rmi协议，默认连接端口为1099

（前提是远程服务器提供jstatd服务）

注：jps命令有个地方很不好，似乎只能显示当前用户的java进程，要显示其他用户的还是只能用unix/linux的ps命令。
————————————————
版权声明：本文为CSDN博主「江畔独步」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/liuwei0376/article/details/88245472

用户所建立的crontab文件中，每一行都代表一项任务，每行的每个字段代表一项设置，它的格式共分为六个字段：
》前五段是时间设定段；
》第六段是要执行的命令段

crontab表达式 格式如下：
minute hour day month week command

crontab用法与实例crontab用法与实例

在以上各个字段中，还可以使用以下特殊字符：

    "*"代表所有的取值范围内的数字，如月份字段为*，则表示1到12个月；
    "/"代表每一定时间间隔的意思，如分钟字段为*/10，表示每10分钟执行1次。
    "-"代表从某个区间范围，是闭区间。如“2-5”表示“2,3,4,5”，小时字段中0-23/2表示在0~23点范围内每2个小时执行一次。
    ","分散的数字（不一定连续），如1,2,3,4,7,9。
    注：由于各个地方每周第一天不一样，因此Sunday=0（第一天）或Sunday=7（最后1天）。

case: 每隔2分钟,删除指定目录下,创建时间超过10个小时的文件

*/2 * * * * /bin/sh -c "find /tmp/hadoop-hdfs/mapred/local -cmin +600 -type d -exec rm -rf {} \;" >> /var/lib/hadoop-hdfs/auto_remove_mr_output.out

二四、Shell编程相关

①、内置变量

1、declare

declare声明变量的使用，总结如下：
declare [+/-][选项] 变量名
选项：
  -：给变量添加类型属性
  +：取消变量的类型属性
  -a：将变量声明为数组型，-A将声明一个关联数组，俗称字典。  关联知识：Shell 数组与关联数组详解及实例代码（https://www.jb51.net/article/103915.htm）
  -i：将变量声明为整型
  -x：将变量声明为环境变量
  -r：将变量声明为只读变量
  -p：查看变量的被声明的类型

declare -i 说明：

和 (())、let、$[] 不同，declare -i的功能非常有限，仅支持最基本的数学运算（加减乘除和取余），不支持逻辑运算（比较运算、与运算、或运算、非运算），所以在实际开发中很少使用。

    declare -i m n ret
    m=10
    n=30
   
    ret=$m+$n
    echo $ret
   
    ret=$n/$m
    echo $ret

declare的作用域，只在函数内，出来后就失效了，如下：

    #!/bin/bash
   
    foo()
    {
    declare FOO="bar"
    }
   
    bar()
    {
    foo
    echo $FOO
    }
   
    bar

2、字典dict 或 Map

1). 声明字典类型：
declare -A dic

这里一定要-A来声明，-a只能用来声明数组类型。

2). 字典赋初值
dic=([key1]="value1" [key2]="value2" [key3]="value3")

3). 字典动态赋值
dic['key']=value

4). 打印指定key的value
echo ${dic['key']}

5). 打印所有key值
echo ${!dic[*]}

6). 打印所有value
echo ${dic[*]}

7). 遍历key值
for key in $(echo ${!dic[*]})
do
    echo "$key : ${dic[$key]}"
done
8). 综合案例

    #! /bin/sh
    #输入格式为一行一个单词
   
    declare -A dict
    dict=([k1]="v1" [k2]="v2")
    echo ${dict["k1"]}
    echo ${!dict[*]}
    echo ${dict[*]}
   
    for key in ${!dict[*]}
    do
            echo "$key : ${dict[$key]}"
    done
    set -x
    aa="null"
    bb=
    cc=''
   
    #    -z 字符串为"null".就是长度为0.
    #
    #    -n 字符串不为"null"
    #
    #    注意:
    #
    #    使用-n在[]结构中测试必须要用""把变量引起来.使用一个未被""的字符串来使用! -z
    #
    #    或者就是未用""引用的字符串本身,放到[]结构中。虽然一般情况下可
    #
    #    以工作,但这是不安全的.习惯于使用""来测试字符串是一种好习惯.
    if [ -n "$cc" ];then
            echo "aa is not null"
    fi
    set +x
   
   
    #定义字典类型变量
    declare -A dict
   
    #从标准输入读取
    while read word
    do
        #若key为word的变量不存在，则为未定义，即第一次遇到此word，则将此word加入字典并设置其value为1。，否则自增value值
        if [ ! -n dict[${word}] ];then
            dict[${word}]=1
        else
            ((dict[${word}]++))
        fi
    done
    #打印统计结果
    echo -e "word\t\tcount"
    for key in $(echo ${!dict[*]})
    do
        echo -e "$key\t\t${dict[$key]}"
    done

综合案例二: shell的map简单的添加、查找、删除、遍历

3、管道输出中执行下一条指令

    ps -ef | grep 'new-consumer' | awk '{print $2}' |xargs kill -9      #删除kafka consumer进程
   
    ps -ef|grep java|grep -v grep|awk '{print $2}'|xargs kill -9          #删除java进程 
   
    find /opt/flume-custom/ -name *.conf|xargs grep -re "127.0.0.1:9092" #查找到的文件中查找指定字符串
   
    find /opt/ -type f -name '*.log' |xargs grep 'db.hostname'
   
    cat ~/.ssh/id_rsa.pub | ssh my_admin@111.111.111.111 "cat - >> ~/.ssh/authorized_keys"
   
    kill -9 $(ps -ef|grep "sh\ *start_new.sh\ *main"|grep -v grep|awk '{print $2}') #\ *表任意多空格
   
    kill -9 `ps -ef|grep data-integration|awk '{print $2}'`
   
    ls|while read f;do zip -r ${f}.zip $f;done  #压缩所有ls出来的文件夹
   
    ls|grep 'hadoop-cmf-yarn-RESOURCEMANAGER-nn1.hadoop.com.log.out.[0-9]\{1,\}'|while read f;do cat /dev/null > $f;done #将所有RESOURCEMANAGER日志文件内容置为空，文件尾缀为1个以上从0到9的数字，如1、2、9、12均能匹配查找到,在nn1上磁盘（/var/log/{hadoop-hdfs,hadoop-yarn}）上日志一般都比较大
   
    # 查找10日前创建的文件，并情况其内容
    find . -type f -name '*oozie-instrumentation.log.*' -atime +10 | while read f;do cat /dev/null > $f;done
   
    #查看所有用户的crontab任务，其中"-I {}"参数，可以使用-i来等量实现
    cat /etc/passwd | cut -f 1 -d : |xargs -I {} crontab -l -u {}
    cat /etc/passwd | cut -f 1 -d : |xargs -i crontab -l -u {}
   
    # 查询当前目录下所有文件(含目录下文件)中包含关键字(sku)的文件路径, 滤重, 并过滤掉路径中含指定字符(000)
    grep -rn 'sku' * | awk -F ':' '{print $1}' | uniq | grep -v 000

传送门：Shell基础知识》xargs详解

5、break 与 contine区别

如下代码所示：
不带参数 N：   
break    循环只能退出最内层的循环；
continue    只能去掉本次循环的剩余代码；

带参数 N：   
break N    可以退出N层循环；
continue N    将会把N层循环剩余代码都去掉，单循环次数不变；

    #!/bin/bash
   
    for i in a b c d
    do
        echo -n $i
   
        for j in `seq 10`
        do
            if test $j -eq 5;then
                #break
              # continue
                #break 2
                continue 2
            fi
            echo -n $j
        done
   
        #换行
        echo
    done
   
    ##########################################
    ###
    ### Program result:
    ###
    ##########################################
    #
    #>>>>>>>>>>>>>> 1. break >>>>>>>>>>>>>>>>>
    # a1234
    # b1234
    # c1234
    # d1234
   
    #>>>>>>>>>>>>>> 2. continue >>>>>>>>>>>>>>>>>
    # a1234678910
    # b1234678910
    # c1234678910
    # d1234678910
   
    #>>>>>>>>>>>>>> 3. "break 2","break 3" has same effect >>>>>>>>>>>>>>>>>
    # a1234
   
    #>>>>>>>>>>>>>> 4. "continue 2" >>>>>>>>>>>>>>>>>
    # a1234
    # b1234
    # c1234
    # d1234

6、大文件拆分处理

文件拆分：

split -d -a 8 -l 10000 PayOrderDetail.csv PayOrderDetail_sysdate_.csv

    用法：

    Usage: split [OPTION]... [INPUT [PREFIX]]
    Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
    size is 1000 lines, and default PREFIX is 'x'.  With no INPUT, or when INPUT
    is -, read standard input.

    Mandatory arguments to long options are mandatory for short options too.
      -a, --suffix-length=N  generate suffixes of length N (default 2)
          --additional-suffix=SUFFIX  append an additional SUFFIX to file names
      -b, --bytes=SIZE        put SIZE bytes per output file
      -C, --line-bytes=SIZE  put at most SIZE bytes of lines per output file
      -d, --numeric-suffixes[=FROM]  use numeric suffixes instead of alphabetic;
                                      FROM changes the start value (default 0)
      -e, --elide-empty-files  do not generate empty output files with '-n'
          --filter=COMMAND    write to shell COMMAND; file name is $FILE
      -l, --lines=NUMBER      put NUMBER lines per output file
      -n, --number=CHUNKS    generate CHUNKS output files; see explanation below
      -u, --unbuffered        immediately copy input to output with '-n r/...'
          --verbose          print a diagnostic just before each
                                output file is opened
          --help    display this help and exit
          --version  output version information and exit

    SIZE is an integer and optional unit (example: 10M is 10*1024*1024).  Units
    are K, M, G, T, P, E, Z, Y (powers of 1024) or KB, MB, ... (powers of 1000).

    CHUNKS may be:
    N      split into N files based on size of input
    K/N    output Kth of N to stdout
    l/N    split into N files without splitting lines
    l/K/N  output Kth of N to stdout without splitting lines
    r/N    like 'l' but use round robin distribution
    r/K/N  likewise but only output Kth of N to stdout

    GNU coreutils online help: <http://www.gnu.org/software/coreutils/>
    For complete documentation, run: info coreutils 'split invocation'

详细案例，详见：split命令_Linux split命令：切割（拆分）文件

9、awk实现查找奇数行、偶数行：

seq 20 > test.txt
[root@server1 tmp]# awk 'NR%2 != 0' test.txt
[root@server1 tmp]# awk 'NR%2 == 0' test.txt

10、IFS专题

IFS, 全称 内部字段分隔符(Internal Field Separator, IFS) , 作用是在Linux中定义一个定界符，默认是空格。

如果字符串中的分隔符,默认不是空格,而是逗号(如csv文件), 则可以考虑临时替换IFS为逗号,处理完文本处理任务后, 再将默认的修改回来.

如果脚本实现, 按","提取表名list:

batch_upsert_table_process.sh

    #!/bin/bash
   
    include_tables="activity_info,activity_rule,activity_sku,base_category1,base_category2,base_category3,base_province,base_region,base_trademark,coupon_info,coupon_range,coupon_use,financial_sku_cost,sku_info,spu_info,user_info"
   
    function get_element_by_split_comma(){
        ifs_old=$IFS
        IFS=","
   
        for tbl in $(echo "${include_tables}");do
            echo 'Now is handle table >>>>>>>>>>>>>>>>>>>>> '$tbl
            /data/maxwell/bin/maxwell-bootstrap --database gmall --table $tbl --config /data/maxwell/tf_custom_config/gmall_rtdw_test.properties
        done
   
        #Recovery IFS to default
        IFS=$ifs_old
    }
   
    get_element_by_split_comma

③、echo在shell中控制颜色&闪烁显示

1、在shell中显示色彩

语法格式：

echo -e "\033[颜色1:颜色2m 要展示的文字 \033[0m"

参数说明：

-----------------------------------------------------------------------------------------------------------------------

-e选项：表示允许反斜杠（对字符）转义。
\033[颜色1；颜色2m：称为转义序列，它本身是一个整体，中间不要有空格。
\033[：转义序列的开始。其中\033代表Esc符号，也可以使用\E或\e来代替。
颜色1和颜色2：表示字体的前景色或背景色，至于颜色1和颜色2哪一个表示前景色，哪一个表示背景色，由其设定的数值来决定，前景色和背景色的数值空间是不同的。
m：转义序列的终止标志。
\033[0m：表示将颜色恢复回原来的配色。
我们可以用一张原理图来理解：

-----------------------------------------------------------------------------------------------------------------------

图示说明：

颜色码：