前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

回顾POLARDB1.0POLARDB1.0主要的改进包括采用了计算存储分离的架构，完全兼容MYSQL，性能是原生MySQL的6倍。一个用户集群可以在分钟级弹性扩展到16个计算节点，对业务完全透明的计算和存储分离代理，从库延迟仅毫秒级。存储为分布式块存储，可以弹性扩展至100TB的规模。存储层面采用多副本技术，使得数据库的RPO做到了0，完全没有丢

OSChina的Git平台一直在云平台上，今年年中的时候数据增长迅猛，特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过，目前的环境下没有解决方案，难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备，特别是在Ceph(http://my.oschina.net/p/ceph)存储上的研究

摘要由于Golang优秀的并发处理，很多公司使用Golang编写微服务。对于Golang来说，只需要短短几行代码就可以实现一个简单的Http服务器。加上Golang的协程，这个服务器可以拥有极高的性能。然而，正是因为代码过于简单，我们才应该去研究他的底层实现，做到会用，也知道为什么这么用。在本文中，会以自顶向下的方式，从如何使用，到如何实现，一点点的分

互联网应用随着业务的发展，部分单表数据体量越来越大，应对服务性能与稳定的考虑，有做分库分表、数据迁移的需要，本文介绍了vivo帐号应对以上需求的实践。一、前言Canal是阿里巴巴开源项目，关于什么是Canal？又能做什么？我会在后文为大家一一介绍。在本文您将可以了解到vivo帐号使用Canal解决了什么样的业务痛点，基于此希望

!(http://pic.wblog.cn/F21D67BC6A7C498FACFF9F0E28C60A8A.png)搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上:喵了个咪

在生产系统中，高吞吐和低延迟一直都是JVM调优的最终目标，但这两者恰恰又是相悖的，鱼和熊掌不可兼得，所以在调优之前要清楚舍谁而取谁。一般计算任务和组件服务会偏向高吞吐，而web展示则偏向低延迟才会带来更好的用户体验。本文从性能和经验上来分享一下JVM参数的设置。调优之前可以先用XX:PrintFlagsFinal来查看虚拟机是否默认开启某

SOL2.2是一个快速、简单的C与LUA的绑定器。如果确定要在你的程序里面同时运行Lua和C，SOL是一个高性能的绑定器，是一个API使用方便的GOTO框架。简单看一下特点：这个链接到（未链接）大部分API。您也可以直接浏览API或阅读教程。要了解有关usertypes的实现的详细信息，请参阅此处要了解如何处理函数参数，请参阅此注释。看

 Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我

原生移动应用程序运行更快、更顺畅，有更好的用户体验。而同时，前端开发人员总是寻找新的Web技术来获得这种性能。利用现有的高质量移动框架来构建移动Web应用程序已成为非常容易，但是如何选择合适的框架是比较纠结的。因此在本文中，我们整理了12个很赞的移动框架。1.RedbeardRedbeard让它来创建本地应用程序没有一个样板更快和更容易。它与