芝士年糕 芝士年糕
2年前
linux之管道符详解
linux之管道符’|’操作详解管道符主要用于多重命令处理,前面命令的打印结果作为后面命令的输入。简单点说就是,就像工厂的流水线一样,进行完一道工序后,继续传送给下一道工序处理…举个栗子:对hello.sh文件进行排序去重以后找出包含"better"的行命令为:cathello.sh|sort|uniq|grep'better’查看文
Stella981 Stella981
3年前
Celery分布式任务队列的认识和基本操作
一、简单认识  Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。它的特点有:简单:熟悉了它的流程后,配置使用简单;高可用
Stella981 Stella981
3年前
Mockito模拟进行单元测试
1.1Mockito是什么?    MOCK意思是模拟的意思,主要被用来进行数据的人工组织,不会真正地调用第三方服务器,类似redis,mysql等都不会调用,也不用关心数据底层是如何进行处理的,我们要做的只是将本单元的逻辑进行单元测试,验证数据的逻辑处理性,而其中mock较好的框架就是Mockito。    Mockito是mocking
Easter79 Easter79
3年前
Spring中@Async
在Java(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Flib.csdn.net%2Fbase%2Fjavase)应用中,绝大多数情况下都是通过同步的方式来实现交互处理的;但是在处理与第三方系统交互的时候,容易造成响应迟缓的情况,之前大部分都是使用多线程来完成此类任务,其实,在spr
Stella981 Stella981
3年前
Spring Boot 2.x 快速集成Kafka
1KafkaKafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。2Kafka优点低延迟:Kafka支持低延迟消息传递,速度极快,能达到200w写/秒
Stella981 Stella981
3年前
Flink1.10和Hive集成一些需要注意的点
前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPCDS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此次版本升级中的主要新特性及优化、值得注意的重要
Stella981 Stella981
3年前
CodeIgniter Disallowed Key Characters
相信很多人遇到DisallowedKeyCharacters这样的问题,即使是在访问CSDN的时候,因为CSDN的那部分网页是用CI写的,这个问题就出在CI的处理提交字符串的类上面。即使只是输入域名。没什么特殊字符,这问题还是如影随形,为什么呢?这和CI的字符串处理类设计有关,是这样的,通过get、post方法提交的字
Stella981 Stella981
3年前
Kafka实战解惑
一、Kafka简介Kafka是LinkedIn使用Scala开发的一个分布式消息中间件,它以水平扩展能力和高吞吐率著称,被广泛用于日志处理、ETL等应用场景。Kafka具有以下主要特点:\\消息的发布、订阅均具有高吞吐量:\\据统计数字表明,Kafka每秒可以生产约25万消息(50MB),每秒处理55万消息(110MB)。
Wesley13 Wesley13
3年前
C#GDI+
最近对GDI这个东西接触的比较多,也做了些简单的实例,比如绘图板,仿QQ截图等.  废话不多说了,我们先来认识一下这个GDI,看看它到底长什么样.  GDI:GraphicsDeviceInterfacePlus也就是图形设备接口,提供了各种丰富的图形图像处理功能;在C.NET中,使用GDI处理二维(2D)的图形和图像,使用Direc
Stella981 Stella981
3年前
Scrapy框架全
架构介绍Engine:引擎,处理整个系统的数据流处理,触发事物,是整个框架的核心Item:项目,他定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象Scheduler:调度器,接受引擎发过来的请求并将其加入到队列中,在引擎再次请求的时候将请求提供给引擎Downloader:下载器,下载网页内容,并将网页内容返回给spider