在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu

一、什么情况下需要分库分表？Mysql单表数据量超过500万条。二、Asp.netCore技术栈，分库分表的解决方案有哪些？1、阿里云的DRDS2、Mycat 数据库分库分表中间件；3、TiDB;三、以上3种解决方案各自的特点：1、阿里云DRDS是收费的商业版，价格稍贵，但是比S

molicode生成工程代码实战背景描述这是一个molicode工具的经典案例场景，即利用molicode通过数据库表模型，生成大量的业务代码。通常意义上讲，目前我们的代码模板是偏向于简单化的增删改查功能。业务代码的丰富程度取决于数据model的丰富代码模板的丰富。如果这两个模型足够丰富，理论上

以下内容主要摘自Canal官方wiki和网友博客：https://www.jianshu.com/p/6299048fad66一、背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据

网上多是基于XML文件，本文使用基于配置类的方式使用动态数据源。多数据源原理Spring作为项目的应用容器，也对多数据源提供了很好的支持，当我们的持久化框架需要数据库连接时，我们需要做到动态的切换数据源，这些Spring的AbstractRoutingDataSource都给我们留了拓展的空间，可以先来看看抽象类AbstractR

在开发中，有些业务简单的select可以满足，在复杂点AutoSelect组件可以满足AutoSelect组件已经可以满足配置几个html属性就能完成数据自动加载、组装、显示、个性化、校验、自动选中默认值等最近JFinal开发者计划成员群里有人喊需要autocomplete组件，在input上输入个关键字，希望通过关键字去数据库里查询相关数据

你需要get的小点存储引擎是MySQL有别于其他数据库管理系统的最大特色。MySQL中的数据用各种不同的“技术”存储在文件（或者内存）中。每一种“技术”都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。这些不同的技术以及配套的相关功能在MySQL中被称作存储引擎(也称作表类型：\

Mesos各种存储处理方式需要配合永久存储机制的任务包括MySQL、MongoDB等数据库，以及Nginx缓存、日志记录目录和博客软件用于存储数据的数据目录等Web缓存机制。框架始终需要依靠Mesos为其提供执行任务所必需的物理或虚拟资源。ApacheMesos的任务运行对资源加以调度，并在容器内运行，而部分任务可能需要永久存储作为配合。需要配合永

引言前几期我们通过laravel模型的读操作方法，实现了很多花样繁多的条件筛选查询，可以说足以应对大多数的场景。!(https://oscimg.oschina.net/oscnet/56d64d9bb76e4c2c99b390cd07fbc3b8.jpg)本期说说写操作的那些事，包括创建，修改，这些直接操作数据库数据的

时间2022年8月5日—2022年8月9日北京（同时转线上直播）（5日报到，6日9日上课）课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三