通用网络爬虫又称全网爬虫（ScalableWebCrawler），爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。今天我写的主要是一些皮毛入门现在来看下我们的pom依赖<projectxmlns"http://maven.apache.org/POM/4.0.0"xmln

1、gbk\_chinese\_ci和gbk\_bin：如果设置为 gbk\_chinese\_ci，表数据包括索引判断不区分大小写；设置为gbk\_bin区分大小写。原因：gbk\_chinese\_ci：非二进制存储，不区分大小写gbk\_bin：以二进制形式进行存储，区分大小写2、如何修改排序规则SELECTCONC

文章作者：吴建超内容来源：jackywoo.cn导读：Kylin、Druid、ClickHouse是目前主流的OLAP引擎，本文尝试从数据模型和索引结构两个角度，分析这几个引擎的核心技术，并做简单对比。在阅读本文之前希望能对Kylin、Druid、ClickHouse有所理解。01Kylin数据模型

背景由于项目原因，重新熟悉了下Solr，版本为3.6，搭建了主从Solr服务，并使用DIH从RDBMS数据源增量更新索引。其实也没什么技术含量，就是简单做个总结，分别从部署架构和增量更新两个方面说明下。SolrReplicationsolr的主从其实是他的replication(https://www.oschi

ingressnginx安装这里假设你已经了解了ingressnginx，如果你还没了解请询问搜索引擎。这篇文章只能让你快速的部署他们。安装之前安装之前需要确保你的集群正常运行或主节点再运行：如果集群正常运行：你可以开始安装了。如果只有master节点在运行：则

本系列文章主要介绍HTAP数据库BaikalDB的技术实现细节。作者介绍：罗小兵(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fluobuda)，百度商业平台研发部高级研发工程师，主要负责BaikalDB事务能力，全局二级索引等方向的研发工作。

下面是我总结的Mysql中常用的一些SQL，一般分为下面三种：DDL：DataDefinitionLanguage，数据定义语言，这些语句操作的是数据库对象，比如：定义了数据库、表、列、索引等。常用的关键字包括：create、drop、alter等。DML：DataManipulationLanguage，数据操作语句，用于添加、更新、删除、

慢查询日志，将那些执行时间过长且占用资源过多的SQL拿来进行explain分析，导致CPU过高，多数是GroupBy、OrderBy排序问题所导致，然后慢慢进行优化改进。比如优化insert语句、优化groupby语句、优化orderby语句、优化join语句等等；3）考虑定时优化文件及索引；4）定期分析表，使用optimizetable；

博客地址：http://www.moonxy.com(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.moonxy.com%2F)一、前言Lucene是apache软件基金会的一个子项目，由DougCutting开发，是一个开放源代码的全文检索引擎工具包

一、SDWebImage实现原理：1.首先让占位图先显示。2.SDWebImageManage交给SDImageCache先从内存中查找是否有图片，会以URL作为数据的索引在内存中查找是否有对应的缓存。3.如果有缓存，通过代理进行回调展示图片。4.如果内存缓存中没有找到，生成NSInvocati