用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark程序用scala和ja

最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。一、   Kafka介绍　　Kafka是由Java和Scala编写的是一个分布式、高吞吐量、分区的、多副本的、多订阅者

第1章Kafka简介1.1kafka起源Kafka是由LinkedIn开发并开源的分布式消息系统，2012年捐赠给Apache基金会，采用Scala语言，运行在JVM中，最新版本1.0.0。1.2kafka设计目标Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：①以时间复杂度O(1)的方式提供消息持久化能力，即

处理表单提交   定义一个表单   play.api.data包中包含了一些助手方法，用于处理HTTP表单数据提交和验证。操纵表单提交最容易的方式是定义一个play.api.data.Form结构：importplay.api.data._importplay.api.data.F

有一个大数据项目，你知道问题领域（problemdomain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言？（或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言？）这个问题不会推迟太久，迟早要定夺。当然，没有什么阻止得了你使用其他机制（比如XSLT转换）

Everythingisafunction最近刚刚学完Coursera上FunctionalprogramminginScala的课程，通过看教学视频还有做assignments，对于functionalprogramming（函数式编程）有一点点心得体会，在这里总结下。Everythi

许多的人使用Java来作为主要的编程语言，许多的时候感觉代码太过繁复，当然有Scala、Kotlin、Python等等语言号称可以解决此问题，但是毕竟生态圈的切换不是个小问题。同时语法结构和Java相去甚远也导致切换的成本毕竟高。为此本人做了一下尝试，准备走一个中间路线，主题还是用Java语言，但是在需要的时候用TinyScript来解决一下问题，然后再

packagecn.brent.sparkstreammingimportjava.sql.{Connection,DriverManager}importscala.collection.mutable.ArrayBufferobjectDBUntils{　　valmysqlConfMap(　　　　"drive

内部类初始用户，内部类的作用域属于：外部类对象，不同外部类对象中的内部类对象类型不同会报错typemismatch。实例代码：注意：    定义了一个外部类Person 和一个内部类Studentpackagecom.hadoop.ljs.spark.study主函数：这里person2对象里面的