跳至主要內容

中间件与分布式 - jackssybin 的个人博客

 中间件与分布式 (7)

Redis、Zookeeper、网关、HAProxy、SOFA、Prometheus、Grafana、分布式锁和服务治理。

推荐阅读顺序

  1. 核心Redis缓存穿透/击穿/雪崩解决方案

    核心文章：这篇文章适合作为缓存稳定性专题的入口，覆盖高并发系统里最常见的缓存失效风险和防护思路。

核心 Redis缓存穿透/击穿/雪崩解决方案

Redis缓存穿透/击穿/雪崩 在平常开发时，我们一般都会引入redis，memcache等这些缓存解决方案来做一些热点数据存储来减轻数据库的压力，相较于数据库的磁盘IO，类似redis这种内存型数据库，内存的IO效率要比磁盘IO效率高几个数量级。但是在真正面对高并发时，如果处理不当redis也会出现一些问题。这里就说一下实际场景中可能会出现的缓存穿透，缓存击穿，缓存雪崩。 缓存穿透：比如说，一个用户的基本信息(缓存key为uid)或订单的信息(缓存key为order_id)，缓存或数据库里都没有这个uid或order_id的信息，但是如果有请求要获取这个信息，那么逻辑处理时就会跨过缓存这一层去查数据库，如果这样的请求短时间内非常多可能会压垮数据库。 缓存击穿：比如说，订单的信息(缓存key为order_id)在缓存中有过期时间，如果在特定的时间这个订单信息在缓存中已经过期但是尚未从数据库查出最新的信息set到缓存上，恰好这个时候大并发请求过来了，那么这些请求的逻辑处理也会跨过缓存直接查询数据库，这个大并发的查询可能会压垮数据库。 缓存雪崩：上面说到缓存击穿是一个....

各种法则定律-引论

参考： 一、墨菲定律：如果事情可能出错，它就会出错。 二、布鲁克定律：大部分情况下，为已经延期的软件项目增加人手只会让项目延期得更厉害。 三、霍夫施塔特定律：项目的实际完成时间总是比预期的要长。 四、康威定律：组织所设计的系统的结构受限于组织的通信结构。（如果某人想要改变的东西属于其他人，那么他就很难改变这些东西。根据目标软件架构来组建团队可以更容易实现软件架构，而这就是对抗康威法律的一种有效方式 —— 微服务等架构） 五、 8/2 法则：80％的成果源于 20％的原因。 六、彼得法则：在一个等级制度中，每个员工都倾向于晋升到他无法胜任的职位。 七、摩尔定律：计算机的处理速度每两年翻一番！ 八、沃斯定律：软件比硬件更容易变慢。（可以参考摩尔定律） 九、克努特优化法则：过早优化是万恶之源。（先写代码，然后找出瓶颈，最后才优化！） 十、诺维格定律：当一家公司在某个领域的市场占有率超过 50% 以后，将无法再使市场占有率翻番，就必须寻找新的市场。 十一、羊群效应：从众心理 十二、蝴蝶效应：微小的变化能带来巨大的连锁反应 十三、青蛙效应：温水煮青蛙，生于忧患死于安乐 十四、破窗效应：墙倒众人推....

api网关介绍 有更新！

1.什么是网关 API网关是一个系统的唯一入口。 是众多分布式服务唯一的一个出口。 它做到了物理隔离,内网服务只有通过网关才能暴露到外网被别人访问。 简而言之:网关就是你家的大门 2.提供了哪些功能 身份认证(oauth2/jwt) 权限安全(黑白名单/爬虫控制) 流量控制(请求大小/速率) 数据转换(公共请求request/response) 监控/metrics 跨域问题(前后端分离) 灰度发布(金丝雀发布/一部分去老客户端/一部分去新客户端) 3.市面上有哪些比较好的开源网关 OpenResty kong Spring Cloud Zuul/Gateway Zuul2 网关限流鉴权监控易用性可维护性成熟度 Spring Cloud Gateway可以通过IP，用户，集群限流，提供了相应的接口进行扩展普通鉴权、auth2.0Gateway Metrics Filter简单易用spring系列可扩展强，易配置 可维护性好spring社区成熟，但gateway资源较少 Zuul2可以通过配置文件配置集群限流和单服务器限流亦可通过filter实现限流扩展filter中实现....

分布式锁(Redis,zk,db锁) 有更新！

关于分布式锁，一般有三种选择， 1、redis （setnx,redisson,redlock） 2、zk 3、DB锁（悲观锁、乐观锁） 其中用的最多的应该是redis。 redis常用的方式有单节点、主从模式、哨兵模式、集群模式。 单节点在生产环境基本上不会使用，因为不能达到高可用，且连RDB或AOF备份都只能放在master上，所以基本上不会使用。 另外几种模式都无法避免两个问题： 1、异步数据丢失。 2、脑裂问题。 setnx 1.根据lockKey区进行setnx（set not exist，如果key值为空，则正常设置，返回1，否则不会进行设置并返回0）操作，如果设置成功，表示已经获得锁，否则并没有获取锁。 2.如果没有获得锁，去Redis上拿到该key对应的值，在该key上我们存储一个时间戳（用毫秒表示，t1），为了避免死锁以及其他客户端占用该锁超过一定时间（5秒），使用该客户端当前时间戳，与存储的时间戳作比较。 3.如果没有超过该key的使用时限，返回false，表示其他人正在占用该key，不能强制使用；如果已经超过时限，那我们就可以进行解锁，使用我们的时间戳来代替该字段....

蚂蚁中间件SOFA 有更新！

1.Sofa是什么 SOFA 源自于 Service Oriented Fabric Architecture，即面向服务的架构。 随着 SOFA 的开源，目前 SOFA 的新解释：Scalable Open Financial Architecture SOFA 是蚂蚁金服自主研发的金融级分布式中间件，包含了构建金融级云原生架构所需的各个组件，包括微服务研发框架，RPC 框架，服务注册中心，分布式定时任务，限流/熔断框架，动态配置推送，分布式链路追踪，Metrics监控度量，分布式高可用消息队列，分布式事务框架，分布式数据库代理层等组件，是一套分布式架构的完整的解决方案，也是在金融场景里锤炼出来的最佳实践。 2.为什么要用Sofa Sofa和Spring cloud 不同点 SOFA中将整个系统拆分为一个个模块(bundle)，SpringCloud将系统拆分为多个微服务(MicroService)，其实意思差不多，各个模块(服务)各司其职，通过JVM/RPC进行调用。 SOFA可以通过JVM/RPC进行服务之间的接口调用，而SpringCloud只能通过RPC/HTTP方式进行....

免费接口api分享（终于找到了）

各类无次数限制的免费API接口整理，主要是聚合数据上和API Store上的一些，还有一些其他的。 聚合数据提供30大类,160种以上基础数据API服务,国内最大的基础数据API服务，下面就罗列一些免费的各类API接口。 手机号码归属地API接口： https://www.juhe.cn/docs/api/id/11 历史上的今天API接口： https://www.juhe.cn/docs/api/id/63 股票数据API接口： https://www.juhe.cn/docs/api/id/21 全国WIFI接口： https://www.juhe.cn/docs/api/id/18 星座运势接口： https://www.juhe.cn/docs/api/id/58 黄金数据接口： https://www.juhe.cn/docs/api/id/29 语音识别接口： https://www.juhe.cn/docs/api/id/134 周公解梦接口： https://www.juhe.cn/docs/api/id/64 天气预报API接口： https://www.juhe.....

什么是区块链？ 区块链的入门介绍,场景应用 有更新！

原作者：阮一峰 www.ruanyifeng.com/blog/2017/12/blockchain-tutorial.html 区块链（blockchain）是眼下的大热门，新闻媒体大量报道，宣称它将创造未来。 可是，简单易懂的入门文章却很少。区块链到底是什么，有何特别之处，很少有解释。 一、区块链的本质 区块链是什么？一句话，它是一种特殊的分布式数据库 首先，区块链的主要作用是储存信息。任何需要保存的信息，都可以写入区块链，也可以从里面读取，所以它是数据库。 其次，任何人都可以架设服务器，加入区块链网络，成为一个节点。区块链的世界里面，没有中心节点，每个节点都是平等的，都保存着整个数据库。你可以向任何一个节点，写入/读取数据，因为所有节点最后都会同步，保证区块链一致。 二、区块链的最大特点 分布式数据库并非新发明，市场上早有此类产品。但是，区块链有一个革命性特点。 **区块链没有管理员，它是彻底无中心的。**其他的数据库都有管理员，但是区块链没有。如果有人想对区块链添加审核，也实现不了，因为它的设计目标就是防止出现居于中心地位的管理当局。 正是因为无法管理，区块链才能做到无法被....