经常有小伙伴需要将互联网上的数据保存的本地，而又不想自己一篇一篇的复制，我们第一个想到的就是爬虫，爬虫可以说是组成了我们精彩的互联网世界。网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。这都是爬虫数据采集的功劳。这篇文章我总

一.Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口二.ES中的核心概念集群（Cluster）：ES是一个分布式的搜索引擎，一般由多台物理机组成。这些物理机，通过配置一个相同的clustername，互相发现，把自己

环境：Linux服务器一台一、安装Jenkins参考博客：https://www.cnblogs.com/xiaokuangnvhai/p/11343003.html安装插件：PublishOverSSH二、安装Python环境参考博客：https://www.cnblogs.com/xiaokuangnvhai/p/11353014

【写在前面】　　入门学习搭建个人博客系统首先还是参考大佬们的经验，记得刚入手Django的时候，一篇博客大佬说过一句话，做技术的不要一开始就扎头于细节中，先把握整体框架，了解这个对象之后再去了解细节，进行优化，深入的学习，所以开始学习搭建个人博客系统的时候还是先从简单入门的开始，这个帖子不是教程贴，是一个经验贴，主要是分享一下学习搭建博客的过程中找到的几

1.技术选型，为什么用solr而不用lucene,或者其他检索工具lucene:需要开发者自己维护索引文件，在多机环境中备份同步索引文件很是麻烦Lucene本质上是搜索库，不是独立的应用程序。而Solr是。Lucene专注于搜索底层的建设，而Solr专注于企业应用。Lucene不负责支撑搜索服务所必须的管理，而Solr负责。一句

本文是Python应用于推荐系统领域的技术文章。Embedding的近邻搜索是当前图推荐系统非常重要的一种召回方式，通过item2vec、矩阵分解、双塔DNN等方式都能够产出训练好的userembedding、itemembedding，对于embedding的使用非常的灵活：输入userembedding，近邻搜索it

每当到618、双11这样大促的时候，搜索作为整个App的核心功能，不仅担当着流量入口，还承载着用户感知到这个产品在导购场景中的服务与体验，所以保障搜索以便更好的助力618大卖。

我们在上篇：表结构中已经建立好了表结构，这篇我们则是针对已有的表结构和搜索条件为表创建索引。1\.根据搜索条件创建索引我们还是先将表结构的初始化SQL拿过来：CREATETABLEservicelog(idbigintUNSIGNEDNOTNULLAUTO

1.前言在日常开发中，为了保证技术方案的质量，一般会在撰写前进行调研。如果先前没有相关领域的知识储备，笔者的调研方式一般是先通过搜索引擎进行关键字查询，然后再基于搜索的结果进行发散。这样调研的结果受关键字抽象程度和搜索引擎排名影响较大，可能会存在偏差导致调

引言目前，大多数自由文本搜索技术采用类似于Lucene的策略，通过解析搜索文本为各个组成部分来定位关键词。这种方法在处理少量关键词时表现良好。但当搜索的关键词数量达到10万个或更多时，这种方法的效率会显著下降，尤其是在需要与词典进行详尽对比的场景中。本文将