python知道 python知道
4年前
《Python3网络爬虫开发实战》
提取码:1028内容简介······本书介绍了如何利用Python3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib、requests、正则表达式、BeautifulSoup、XPath、pyquery、数据存储、Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,后介绍了pyspider框架、S
Wesley13 Wesley13
4年前
SASS基础
特点:1.在css基础上增加特性:变量、嵌套(nesting)、混合(@mixin)、继承(@extend);2.通过函数进行颜色值与属性值的运算;3.提供控制指令等高级功能;4.自定义输出指令;数据类型:Sass和JavaScript语言类似,也具有自己的数据类型,在Sass中包含以下几种数据类型:1\
Wesley13 Wesley13
4年前
SQL 性能优化梳理
前言本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考:https://www.jianshu.com/p/098a870d83e4先简单梳理下Mysql的基本概念,然后分创建时和查询时这两个阶段的优化展开。1基本概念简述1.1逻辑架构!(https://oscimg.osch
国际财务系统基于ShardingSphere的数据分片和一主多从实践
传统的将数据集中存储至单一数据节点的解决方案,在性能和可用性方面已经难于满足海量数据的场景,系统最大的瓶颈在于单个节点读写性能,许多的资源受到单机的限制,例如连接数、网络IO、磁盘IO等,从而导致它的并发能力不高,对于高并发的要求不满足。
Wesley13 Wesley13
4年前
MySQL主从配置
本文索引:MySQL主从介绍准备工作配置主配置从测试主从同步MySQL主从介绍MySQL主从又叫做Replication、AB复制。简单将就是A/B两个服务器做主从后,在A上写数据,B也会跟着写数据,两者数据是实时同步的。MySQL主从是基于binlog的,主服务器需要开启
Stella981 Stella981
4年前
PDMan2.0
关于PDMan的参考文章:PDMan国产免费通用数据库建模工具(极简,漂亮)(https://my.oschina.net/skymozn/blog/1821184)立志要做1.最好的数据库设计工具2.最好的数据库版本管理工具免费是必需的!关于有不少人询问开源问题,三个月之前,暂无开源
Stella981 Stella981
4年前
Spark Streaming(5):Spark Window function in Java
首先,看下window函数的图解:!(https://static.oschina.net/uploads/space/2017/0810/172732_McZi_1386672.png)下面这个代码是计算一分钟之内的单词数量统计,每两秒获取一次数据,同时处理数据时间也是两秒,窗口大小为1分钟1.数据源packagecom.ss
Wesley13 Wesley13
4年前
mysql主从只同步部分库或表
同步部分数据有两个思路,1.master只发送需要的;2.slave只接收想要的。master端:binlogdodb二进制日志记录的数据库(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.2cto.com%2Fdatabase%2F)(多数据库用逗号,隔开)b
Stella981 Stella981
4年前
BeetlSQL自定义NameConversion去除Pojo和表前缀
有的时候我们数据库设计可能不会完全和代码语言一致,比如我们会在数据库的每一张表前面加上一个特定的前缀用于区分,在BeetlSQL中将代码Pojo的名称和数据库Table名称对应起来是使用NameConversion来转换的,BeetlSQL内置了DefaultNameConversion、UnderlinedNameConversion和JPA
Wesley13 Wesley13
4年前
R语言 以打开文件的方式设置数据读取路径
直接运行下代码前两行,然后在本地选择你要读取的数据文件,然后运行第三行,即可成功读取数据。csvpath<file.choose()!(https://oscimg.oschina.net/oscnet/c180866ce0f95eee8b0c0520168dd71aa69.png)本文分享自微信公众号数据驱动实践(Data