胡哥有话说 胡哥有话说
3年前
Node.js爬虫实战 - 爬你喜欢的
前言今天没有什么前言,就是想分享些关于爬虫的技术,任性。来吧,各位客官,里边请...开篇第一问:爬虫是什么嘞?首先咱们说哈,爬虫不是“虫子”,姑凉们不要害怕。爬虫一种通过一定方式按照一定规则抓取数据的操作或方法。开篇第二问:爬虫能做什么嘞?来来来,谈谈需求产品MM:1.爱豆的新电影上架了,整体电影评价如何呢?2.暗
Stella981 Stella981
3年前
Opentracing + Uber Jaeger 全链路灰度调用链,Nepxion Discovery
当网关和服务在实施全链路分布式灰度发布和路由时候,我们需要一款追踪系统来监控网关和服务走的是哪个灰度组,哪个灰度版本,哪个灰度区域,甚至监控从HttpHeader头部全程传递的灰度规则和路由策略。这个功能意义在于:不仅可以监控全链路中基本的调用信息,也可以监控额外的灰度信息,有助于我们判断灰度发布和路由是否执行准确,一旦有问题,也可以快速定位
Stella981 Stella981
3年前
Gson序列化时@SerializedName的使用
        Gson是java中比较常见的json序列化工具,实习参与的项目由于最开始是C开发的.net项目,近两年才开始用java,但之前的很多项目仍然在使用C并且还在更新。于是牵涉到跨语言的程序通信,公司自己用thrift封装了一个服务路由实现。但两个语言有些不一样的地方挺蛋疼,比如命名规则,java喜欢首字母小写,C喜欢首字母大写,传数据就
Wesley13 Wesley13
3年前
MySQL之锁、事务、优化、OLAP、OLTP
本节目录一锁的分类及特性二表级锁定(MyISAM举例)三行级锁定四查看死锁、解除锁五事务六慢日志、执行计划、sql优化七OLTP与OLAP的介绍和对比八关于autocommit的测试一锁的分类及特性  数据库锁定机制简单来说,就是数据库为了保证数据的一致性,而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何
Stella981 Stella981
3年前
Iptables与LVS——从入门到放弃
防火墙什么是防火墙?防火墙其实就是一个隔离的工具,工作于主机或者网络的边缘,对于进出本主机或者网络的报文根据事先定义好的网络规则做匹配监测。防火墙可以简单地划分为两大类:主机防火墙网络防火墙    又可以分为:硬件防火墙、软件防火墙。    对于软件防火墙,如果设立匹配较多,速度会很慢。    硬件防火墙在硬件上处理远
Stella981 Stella981
3年前
Spark Core读取ES的分区问题分析
ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程,有需要的暂时别购买,到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试,面试管问了一下,Spark分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到
Wesley13 Wesley13
3年前
linux管道
管道是单向的字节流,它将某个进程的标准输出连接到另一个进程的标准输入。管道和有名管道是最早的进程间通信机制之一,管道可用于具有亲缘关系进程间的通信,有名管道克服了管道没有名字的限制,因此,除具有管道所具有的功能外,它还允许无亲缘关系进程间的通信。管道和有名管道的读写规则是在程序中应用它们的关键。管道相关的概念在linux中管道是通过指向同
Wesley13 Wesley13
3年前
C语言词法分析器
概述词法分析是编译阶段的第一步。这个阶段的任务是从左到右一个字符一个字符地读入源程序,即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。本项目实现了一个简单C语言词法分析器。软件首页:http://www.oschina.net/p/l
Stella981 Stella981
3年前
Kafka 中的消息存储在磁盘上的目录布局是怎样的?
Kafka中的消息是以主题为基本单位进行归类的,各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区,分区的数量可以在主题创建的时候指定,也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中,分区中的每条消息都会被分配一个唯一的序列号,也就是通常所说的偏移量(offset),具有4个分区的主题的逻辑结构见下图。!(http
Hutool:一行代码搞定数据脱敏 | 京东云技术团队
本文主要介绍了数据脱敏的相关内容,首先介绍了数据脱敏的概念,在此基础上介绍了常用的数据脱敏规则;随后介绍了本文的重点Hutool工具及其使用方法,在此基础上进行了实操,分别演示了使用DesensitizedUtil工具类、配合Jackson通过注解的方式完成数据脱敏;最后,介绍了一些常见的数据脱敏方法,并附上了对应的教程链接供大家参考,本文内容如有不当之处,还请大家批评指正。