linux之管道符’|’操作详解管道符主要用于多重命令处理，前面命令的打印结果作为后面命令的输入。简单点说就是，就像工厂的流水线一样，进行完一道工序后，继续传送给下一道工序处理…举个栗子：对hello.sh文件进行排序去重以后找出包含"better"的行命令为：cathello.sh|sort|uniq|grep'better’查看文

物理cpu数主板上实际插入的cpu数量，可以数不重复的physicalid有几个（physicalid）Linuxcat/proc/cpuinfo|grep"physicalid"|sort|uniq|wclcpu核数单块CPU上面能处理数据的芯片组的数量，

1查看CPU1.1查看CPU个数\cat/proc/cpuinfo|grep"physicalid"|uniq|wcl2\\uniq命令：删除重复行;wc–l命令：统计行数\\1.2查看CPU核数\cat/proc/cpuinfo|grep"cpucores"|uniqc

查看日志存放目录\find/nameaccess.log/var/log/nginx/access.logcd/var/log/nginxIP相关统计统计IP访问量（独立ip访问数量）awk'{print$1}'access.log|sortn|uniq|wcl

查看CPU数量总核数物理CPU个数X每颗物理CPU的核数总逻辑CPU数物理CPU个数X每颗物理CPU的核数X超线程数查看物理CPU个数：cat/proc/cpuinfo|grep"physicalid"|sort|uniq|wcl

简单的日志统计是不需要使用重量级的Hadoop，我用python实现了日志的统计。原理是用fabric登录到远程linux，组合使用grep、uniq、sort、awk对日志进行操作，可以根据正则表达式指定规则抽取符合规则的日志，做查询，计数，分类统计。注意：要安装fabric(https://www.oschina.net/action/GoToL

本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；提供的例子和参数都是最常用和最为实用的；我对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧；find文件查找

背景原有的去重方案是：1.使用linux命令去重缺点1.出现问题只能重来，控制粒度很粗。2.程序与操作系统过渡耦合，如果系统中sort或者uniq命令出现问题，则去重功能不能使用。3.使得pushopt的用户数据以文件的形式存在，不方便多主机、操作系统共享