【NLP系列】Bert词向量的空间分布
我们知道Bert预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果,但在语义相似度任务上,表现相较于Word2Vec、Glove等并没有明显的提升
Wesley13 Wesley13
3年前
NLP(十二)依存句法分析的可视化及图分析
  依存句法分析的效果虽然没有像分词、NER的效果来的好,但也有其使用价值,在日常的工作中,我们免不了要和其打交道。笔者这几天一直在想如何分析依存句法分析的结果,一个重要的方面便是其可视化和它的图分析。  我们使用的NLP工具为jieba和LTP,其中jieba用于分词,LTP用于词性标注和句法分析,需要事件下载pos.model和parser.mo
Stella981 Stella981
3年前
Spring Boot 2.0 整合 ES 5 文章内容搜索实战
本章内容文章内容搜索思路搜索内容分词搜索查询语句筛选条件分页、排序条件小结一、文章内容搜索思路上一篇讲了在怎么在 SpringBoot(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.roncoo.com%2Fcourse%2Flis
Stella981 Stella981
3年前
ES 1.7安装ik分词elasticsearch
IK简介https://www.cnblogs.com/yjf512/p/4789239.html(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fyjf512%2Fp%2F4789239.html)https://
Stella981 Stella981
3年前
IK Analyzer分词及词频统计Java简单实现
IKAnalyzer基于HadoopMapReducer框架Java实现:1、新建一个ChineseWordCount类2、在该类中再建一个私有静态类CWCMapper继承Mapper类,并复写Mapper类中map方法。PS:Mapper的4个泛型分别为:输入key类型,通常为LongWritable,为偏移量;输入value类型;输出ke
Stella981 Stella981
3年前
ElasticSearch插件集
ElasticSearch的很多功能都是官方或第三方基于ElasticSearch的AbstractPlugin类实现的插件来提供的,所以,在里里记录下一些常用的及实用的插件地址,以备不时之需分词插件ComboAnalysisPlugin(https://www.oschina.net/action/GoToLink?url
Stella981 Stella981
3年前
Es学习第七课, term、terms、match等基本查询语法
term、terms查询termquery会去倒排索引中寻找确切的term,它并不知道分词器的存在,这种查询适合keyword、numeric、date等明确值的term:查询某个字段里含有某个关键词的文档GET/customer/doc/_search/{"query":{
Stella981 Stella981
3年前
ElasticSearch 5.5 离线环境的完整安装及配置详情,附kibana、ik插件配置及安装包下载路径
此文针对局域网环境(非公网环境),提供ElasticSearch5.5.2的完整安装及配置教程,包括ES的kibana插件、IK中文分词插件安装及配置。另外,文章提供安装配置环境涉及到的所有安装包下
Stella981 Stella981
3年前
Net Core使用Lucene.Net和盘古分词器 实现全文检索
Lucene.netLucene.net是Lucene的.net移植版本,是一个开源的全文检索引擎开发包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,是一个高性能、可伸缩的文本搜索引擎库。它的功能就是负责将文本数据按照某种分词算法进行切词,分词后的结果存储在索引库中,从索引库检索数据的
Stella981 Stella981
3年前
ElasticSearch 索引设置总结
在使用ES时,我们常见的就是需要生成一个template来定义索引的设置,分词器,Mapping.本文将基于项目经验来总结一些常用的配置。Index设置 index.refresh\_interval   配置一个刷新时间,将indexbuffer刷新到oscache的时间间隔,刷新到oscache的