前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

在MySQL数据库怎么加快查询速度，优化查询效率，主要原则就是应尽量避免全表扫描，应该考虑在where及orderby涉及的列上建立索引。　　建立索引不是建的越多越好，原则是：　　第一：一个表的索引不是越多越好，也没有一个具体的数字，根据以往的经验，一个表的索引最多不能超过6个，因为索引越多，对update和insert操作也会有性能的影响，涉及

OSChina的Git平台一直在云平台上，今年年中的时候数据增长迅猛，特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过，目前的环境下没有解决方案，难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备，特别是在Ceph(http://my.oschina.net/p/ceph)存储上的研究

摘要由于Golang优秀的并发处理，很多公司使用Golang编写微服务。对于Golang来说，只需要短短几行代码就可以实现一个简单的Http服务器。加上Golang的协程，这个服务器可以拥有极高的性能。然而，正是因为代码过于简单，我们才应该去研究他的底层实现，做到会用，也知道为什么这么用。在本文中，会以自顶向下的方式，从如何使用，到如何实现，一点点的分

【概述】在PHP开发中工作里非常多使用到超时处理到超时的场合，我说几个场景：1.异步获取数据如果某个后端数据源获取不成功则跳过，不影响整个页面展现2.为了保证Web服务器不会因为当个页面处理性能差而导致无法访问其他页面，则会对某些页面操作设置3.对于某些上传或者不确定处理时间的场合，则需要对整个流程中所有超时设置为无限，否则任何一个环节设置

!(http://pic.wblog.cn/F21D67BC6A7C498FACFF9F0E28C60A8A.png)搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上:喵了个咪

在生产系统中，高吞吐和低延迟一直都是JVM调优的最终目标，但这两者恰恰又是相悖的，鱼和熊掌不可兼得，所以在调优之前要清楚舍谁而取谁。一般计算任务和组件服务会偏向高吞吐，而web展示则偏向低延迟才会带来更好的用户体验。本文从性能和经验上来分享一下JVM参数的设置。调优之前可以先用XX:PrintFlagsFinal来查看虚拟机是否默认开启某

SOL2.2是一个快速、简单的C与LUA的绑定器。如果确定要在你的程序里面同时运行Lua和C，SOL是一个高性能的绑定器，是一个API使用方便的GOTO框架。简单看一下特点：这个链接到（未链接）大部分API。您也可以直接浏览API或阅读教程。要了解有关usertypes的实现的详细信息，请参阅此处要了解如何处理函数参数，请参阅此注释。看

 Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我

1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR