关键点1.强化学习的发展历程2.马尔可夫决策过程3.动态规划4.无模型预测学习5.无模型控制学习6.价值函数逼近7.策略梯度方法8.深度强化学习DQN算法系列9.深度策略梯度DDPG,PPO等第一天9:0012:0014:0017:00一、强化学习概述1.强化学习介绍2.强化学习与其它机器学习的不同3.强化学习发展历史4.强化学习典

　　写代码这么多年了，在涉及RSA跨语言的功能时，总会让人经历一番折磨。所以有必要把现在我掌握的这些零碎的知识总结一下公布出来，免得组内同事再走弯路。由于RSA实在太复杂，还有很多内容没弄懂，也没精力全了解，暂且把问题留下，未来也许能回答。所以这篇文章的标题为“经验之谈”　　本质上是数字运算　　RSA算法的本质是找到几个非常大的数，然后做运算

本文描述了UI界面的容器与布局策略。主要从理论角度论述原理和实现思路，并包含一些容器的样例贴图。本文写于2016年2月，现发布于博客和大家分享。原文是工作需要做的研究，博客基于原始草稿，并做了一定删减和增补。UI界面的基本组成单位是UI元素，容器是用于容纳多个子元素的组件。布局实际上是一种算法策略，用于计算子元素在容器中的位置排列。布局管

分库分表理解　　　分库分表应用于互联网的两个场景;大量数据和高并发，通常策略有两种：垂直分库，水平拆分　　垂直拆分：是根据业务将一个库拆分为多个库，将一个表拆分为多个表，例如：将不常用的字段和经常访问的字段分开存放，在实际开发由于跟业务关系紧密，所以一般采用水平拆分。　　水平拆分：则是根据分片算法讲一个库拆分为多个库，来进行维护，

前言本博客曾经在10~13年连续4年整理过各大公司数据结构和算法层面的笔试题、面试题，很快，2014年之后，机器学习大伙，很多公司开始招AI方面的人才，很多同学也会从网上找各种各样的机器学习笔试题、面试题，但和数据结构方面的题不同，AI的题网上极少。2017年起，我和团队开始整理BAT机器学习面试1000题系列，近百万人开始追踪，目前七月在线官

1、数据挖掘数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程，系统中的数据挖掘是指利用计算机技术对基准点、IP开源信息、IP应用场景等IP相关数据的采集、过滤和分析处理，对IP的属性进行探测的过程。2、网络测量网络测量是指利用探测机对IP的网络属性进行探测的过程，包含IP存活性、IP上层路由器拓扑连接关系和网络时延等网络信息。3

算法描述：快速排序一般是选择数组的第一个数据为对称轴参考值pivot。按照大小数组分割成左右两个区间。然后对左右两个区间再进行递归排序，知道结束为止。例子演示：数组：43251，长度：5，对称轴参考值选择第一个数据4。比它小的我们放到它的右边，比它大的我们放到左边。设置左右两个工作位置。指向开头和末尾。第一轮：4325

这几天一直在学习基于Python的OpenCV，开发环境是在Ubuntu16.04下，学习的心得就是基于Python的OpenCV开发基本上就属于函数式编程了，OpenCV提供了大多数的功能函数，以及大多数的算法封装，并不需要从头开发，不需要重复的造轮子，需要的仅仅是将各个零部件进行组装。所以学习起来相对容易一些。但是这是建立在对于Python有一定的基础

21世纪的第二个10年，虎哥已经在存储引擎一线奋战近10年，由于强大的兴趣驱动，这么多年来几乎不放过arXiv上与存储相关的每一篇paper。尤其是看到带有draft的paper时，有一种乞丐听到“叮当”响时的愉悦。看paper这玩意就像鉴宝，多数是“赝品”，需要你有“鉴真”的本领，否则今天是张三的算法超越xx，明儿又是王二的硬件提升

前言日常开发中位运算不是很常用，但是巧妙的使用位运算可以大量减少运行开销，优化算法。举个例子，翻转操作比较常见，比如初始值为1，操作一次变为0，再操作一次变为1。可能的做法是使用三木运算符，判断原始值为1还是0，如果是1，设置为0，否则设置为0.但是使用位运算，不用判断原始值，直接改变值就可以：1^num//num为原始值当然，一条语句可能