python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：!/usr/bin/envpythoncodingutf8@Au

以idea集成开发软件为例从官网下载idea的.rpm文件，进行解压（解压时，要在相应的路径下进行）。通常是cd下载这时会发现左击图标无法启动。不要问为什么，因为它是linux系统，程序的运行是靠命令行执行的。同样的idea也不例外。cdidea(注:因为更新版本不同，右键属性复制文件名)/bin/再执行

命令名称：touch命令所在路径：/bin/touch执行权限：全部功能：创建空文件（这个是附加的功能而已）     Touch的实际功能是修改文件的时间戳选项：c修改文件的时间戳，如果该文件不存在，也不会生成一个空文件      m只更新文件的修改时间，更新为当前时间      a只更新文件的访

JMC,即Java任务控制（JavaMissionControl）是从Java7（7u40）和 Java8 的商业版本包括一项新的监控和控制特性。JMC程序 (JDK\_HOME\\bin目录下) 会启动一个窗口程序，然后让我们选择对那进程进行监控，JMC打开性能日志后，主要包括7部分性能报告，分别是一般信息、内存、代码、线程、I/O、系统、

一、keytool的概念　　keytool是个密钥和证书管理工具。它使用户能够管理自己的公钥/私钥对及相关证书，用于（通过数字签名）自我认证（用户向别的用户/服务认证自己）或数据完整性以及认证服务。在JDK 1.4以后的版本中都包含了这一工具，它的位置为%JAVA\_HOME%\\bin\\keytool.exe，如下图所示：

最新的CDH安装包中spark版本为1.6，不过对于勇于尝鲜的同学，官方也提供了spark2的升级包，在CDH中spark1和spark2可以共存，但是由于scala版本的兼容性问题，建议只装一个版本。由于spark依赖于scala所以需要在每个节点安装scala，并配置好SCALA\_HOME并将$SCALA\_HOME/bin加入PATH中。Sca

一、数学函数ABS(x)返回x的绝对值BIN(x)返回x的二进制（OCT返回八进制，HEX返回十六进制）CEILING(x)返回大于x的最小整数值EXP(x)返回值e（自然对数的底）的x次方FLOOR(x)返回小于x的最大整数值GREATEST(x1,x2,...,xn)返回集合中最大的值LEAST(x1,

题记：Hadoop在我放下很久以后，再次拿起来。使用bin/startall.sh命令启动hadoop集群，死活不见namenode节点。在解决这个问题的时候，又不断的引出了很多新的问题。虽然这些问题在以前学习hadoop时都解决过。但，正因为以前解决过，现在遇到这些问题就更不想重复解决了。想要以最快的速度启动集群。最后想了

【常见目录说明】目录/bin存放二进制可执行文件(ls,cat,mkdir等)，常用命令一般都在这里。/etc存放系统管理和配置文件/home存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示/usr用于存放系统应用程序，比较重要的目录/us

ElasticSearch基于Lucene的搜索服务器，支持分布式，提供REST接口，可用于云计算，可以实现实时搜索，开源免费。这时很官方的一句话，在使用之前，我们简单的介绍一下安装过程。在官网下载之后，直接解压出来，找到bin文件夹下，运行elasticsearch.bat，运行后的结果如下：!(https://oscimg.oschina.net