HSVS 第3周

Stella981
• 阅读 553

顺序第3周,其实是第6周了。

申请过的用户已经通过申请邮箱邮件推送

HSVS 内网版部署指南

HSVS 第3周

定义

hcap: hsvs HTTP流还原模块,使用Docker方式安装部署

hsvs-mbridge: hsvs 预处理模块,使用Dockr方式安装部署


ElasticSearch: 开源文档存储引擎https://www.elastic.co

kafka: 开源分布式消息队列 http://kafka.apache.org

redis: 开源内存k/v数据库 https://redis.io/

nsq: golang开发的开源分布式消息队列 https://nsq.io


部署方案

为了方便适配各种规模企业的使用场景,HSVS支持三种消息中间件redis/nsq/kafka。

kafka方案

优点: kafka吞吐率,稳定性,持久化很优秀,经过长期实践检验,kafka可以多group消费者同时消费一topic数据,方便自定义开发分析程序

缺点: kafka部署较为麻烦,kafka要配合zookeeper来使用; 优先选择企业内部已经搭建好的kafka,最新版的kafka已经集成了zookeeper,如果需要自己搭建请参考http://kafka.apache.org/quickstart

HSVS 第3周

nsq方案

优点: nsq是一个golang开发的消息中间件,部署简单,使用也简单,支持持久化,支持多group消费者消费同一topic数据。

缺点: nsq设计理念是本地agent,所以如果在镜像流量的节点nsq消息两会大幅大于其他端点,没有实现想要的负载均衡。

HSVS 第3周

redis方案

优点: 部署简单,可以使用企业已有redis(目前不支持redis集群)

缺点: 目前hcap不支持写入集群,redis不支持多group订阅消费,无法自定义分析程序,且不支持持久化。

HSVS 第3周

抓取过滤器规则

hcap支持按照域名和资源来进行过滤,只保留自己所需要的内容

[FILTER]
include_domains = *.baidu.com
exclude_domains = ad.baidu.com
drop_extentions = png,jpg,bmp,css,js,gif,ico,woff,woff2,ttf,eot
drop_urls =
drop_resp_types =
drop_req_types = multipart/form-data

说明
* include_domain: 只有匹配到这里的规则的数据才会被保留
* exclude_domain: 在include_domain之后,会排除掉匹配到这条规则的字段
* drop_extenstions: 如果扩展名是这些,那么响应体(response.body)会被drop掉,其他记录任然会保留
* drop_urls: 丢弃指定URL的记录,只保留记录
* drop_resp_types: 根据响应的content-type来丢弃响应体(response.body)
* drop_req_types: 根据请求体来丢弃响应体(response.body)

使用kafka时 分区数hsvs-mbridge对应关系

kafka对生产者的个数没有限制,HSVS使用轮训随机写入多个分区 kafka对消费者的数量有限制,应当能够被分区书目整除,负责会出现有的分区时钟无法被消费的情况。 kafka分配分区时建议按照2的整数倍进行分配,建议从4开始,如果不够,那么分配8、16,消费者hsvs-mbridge 建议从2开始,如果不够加到4.通常2Gbps下,4个hsvs-mbridge足够应对。

怎么查看处理性能是否足够,是否需要扩容。 系统搭建完毕后在kibana中可以看到没跳抓取的内容。 没条记录里均含有三个时间raw_time和@timestamp,raw_time表示网卡抓取到数据的时刻,@timestamp表示hsvs-mbridge的处理时间。如果相隔距离越来越大,表明消费者处理能力不够,需要增加。 另外查看每一个hsvs-mbridge的CPU占用率也是重要的参考。

判断kafka分区数目是否需要扩容,通过经验值+带宽估算,kafka主要的性能瓶颈是带宽。 千兆网络环境下,kafka broker性能等于带宽乘以broker所在物理机数量。 通常设计时,分区数量的性能应当在最大流量的两倍。

关于HSVS

更新历史:

    第1周更新 hsvs 单机版v1.1

点击原文链接查看详细手册

本文分享自微信公众号 - 这里是河马(gh_d110440c4890)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这