前言本次咱们来操作一下如何在Pycharm上，使用远程服务器上的Python环境。为什么这样做?这个要从我的一次经历说起,有一次我帮朋友爬取一些东西,由于类别不同,分了几次爬取,这一次我写好规则之后,依然正常爬取,由于我本人比较善良,加上数据量目测并不是太多,并没有使用代理ip,并且将scpay的速度控制的比较慢,一般爬取时,一般也就几分钟而已,泡一杯咖

起因先说说事情的起因，最近在分析数据时经常遇到一种场景，代码需要频繁的读某一张数据库的表，比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时，通过冗余数据来解决。但仍有部分业务存的只是关联表的ID，数据分析时需要频繁的查表。所读的表存在共同的特点数据几乎不会变更数据量适中，从一万

↑关注置顶 有趣的不像个技术号大家好，我是朱小五经常看我文章的朋友都知道，我一般在文中会分享自己的爬虫脚本或思路。最近有一些朋友留言表示对python不太熟悉，也不太会使用爬虫，但是对文中的数据很感兴趣。问小五能不能分享一下这些数据。当然可以，不过小五要先把涉及的用户信息去掉，再限制一下数据量，仅供大家学习交流，这样就没有法律风

DRF分页组件为什么要使用分页我们数据表中可能会有成千上万条数据，当我们访问某张表的所有数据时，我们不太可能需要一次把所有的数据都展示出来，因为数据量很大，对服务端的内存压力比较大还有就是网络传输过程中耗时也会比较大。通常我们会希望一部分一部分去请求数据，也就是我们常说的一页一页获取数据并展示出来。DRF使用

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量

TUN模式；其实数据转发原理和上图是一样的，不过这个我个人认为主要是位于不同位置（不同机房）；LB是通过隧道进行了信息传输，虽然增加了负载，可是因为地理位置不同的优势，还是可以参考的一种方案；优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的

不知道你们有没有对用户输入的东西进行过敏感校验，如果不进行校验，用户属于一些攻击脚本，那么我们的服务就挂逼啦！所以我们首先需要通过过滤器将用户的数据读出来进行安全校验，这里面涉及到一个动作，就是需要将用户的数据在过滤器中读出来，进行校验，通过之后再放行。问题如果我们的数据是get请求倒还好，但是如果是一些数据量比较大，我们需要通过postjs

一、类与类之间的关系：1、类与类之间可能会存在共性2、类与类之间必定会有差异3、为了节约开发时间和代码量，我们在设计时可以把类的共项抽象出来形成一个基础类（基类）4、使用基类差异生成一个新的类叫派生类二、继承的语法1、在设计一个类时如果已有的类中有它需要的成员，它可以从已有的类中继承哪些成员，被继承的类叫父类或基类，继承类

Semaphore(信号量)是JUC包中比较常用到的一个类，它是AQS共享模式的一个应用，可以允许多个线程同时对共享资源进行操作，并且可以有效的控制并发数，利用它可以很好的实现流量控制。Semaphore提供了一个许可证的概念，可以把这个许可证看作公共汽车车票，只有成功获取车票的人才能够上车，并且车票是有一定数量的，不可能毫无限制的发下去，这样就会导致公交车

最近开发一个项目。客户端每隔10秒提交100行数据给服务端，服务端查重后写入。客户端约在几万左右，提交数据比较集中，不考虑读数据的问题。现在的设计是：数据库按客户端进行分表。每个表的数据量不高。服务端获得数据后，先插入redis队列，然后在通过定时任务插入数据库。问题是：1、服务端提供给客户端的接口，是否能满足几千上万的客