数据库类

Elasticsearch 生产调优 📖 前置阅读：本文是 ES 系列的生产调优篇，假设读者已经掌握了 ES 核心概念、SpringBoot 操作和高级搜索聚合。如果还没有，建议先阅读前三篇： Elasticsearch 核心概念：倒排索引、分词器与 REST API 全解析 —— 介绍篇 SpringBoot Elasticsearch 全操作指南 —— 实战篇 ES 高级搜索与聚合分析 —— 进阶篇 一、⚡ 问题切入：搜索怎么越来越慢了？ 商品从 10 万增加到 500 万，搜索响应时间从原来的 50ms 涨到了 2 秒。用户开始投诉"搜索好慢"，产品经理开始质疑"ES 不是很快吗"。 你打开监控面板，发现： 搜索 P99 延迟 2.3 秒 ES 堆内存使用率 85% 磁盘 IO 等待时间飙升 GC 频率从每小时 2 次变成了每 5 分钟 1 次 问题出在哪？不一定是数据量大就一定慢。500 万数据对 ES 来说远没到上限——一个设计良好的 3 节点集群处理几亿数据都没问题。慢的往往是索引设计不合理、查询写得不高效、分页方式用错了。 本篇要解决的问题：怎么设计索引让 500 万数据搜索保持在 100ms 以内，以及遇到性能问题时从哪下手排查。 二、🗂️ 索引设计最佳实践 2.1 分片数设计 —— 不是越多越好 ES 把一个 Index 的数据切分成多个分片（Shard）分布在不同节点上。每个分片本质上是一个独立的 Lucene 实例——有自己的倒排索引、段文件、内存开销。 ...

ES 高级搜索 📖 前置阅读：本文是 ES 系列的进阶篇，假设读者已经掌握了 ES 核心概念（倒排索引、分词器、Mapping）和 SpringBoot 的基本操作。如果还没有，建议先阅读前两篇： Elasticsearch 核心概念：倒排索引、分词器与 REST API 全解析 —— 介绍篇 SpringBoot Elasticsearch 全操作指南 —— 实战篇 一、⚡ 问题切入：搜索结果不够准怎么办？ 前面两篇学完，你已经可以搭建一个"能搜"的商品搜索功能了。但用户搜"苹果手机"时，排名第一的可能是"苹果水果礼盒"——因为倒排索引中"苹果"这个词也出现了。 问题出在几个地方： 用户搜"苹果手机"时，商品名包含"苹果手机"这四个字的应该排在最前面，但基础 match 查询没有考虑字段匹配的完整度 商品标题命中的权重应该比描述命中的权重更高，但基础查询一视同仁 用户期望按销量和评分来影响排序，而不仅仅是文本相关性 输入"苹果手鸡"应该能自动纠错成"苹果手机" 本篇要解决的问题就是：怎么让搜索结果更准、排序更合理、用户体验更接近 Google 搜索。 二、🔍 全文搜索再深入 2.1 multi_match —— 多字段搜索 第一篇的 match 查询只搜一个字段。实际产品中，搜索词可能同时匹配商品名、品牌名、描述等多个字段——用户输入"华为手机"，应该既搜 name 也搜 description，甚至搜 brand。 multi_match 就是为此而生的。它有三种模式，差异在于多字段之间如何计算和合并相关性分数： flowchart LR classDef mode fill:#450a0a,stroke:#dc2626,stroke-width:1.5px,color:#fecaca,font-weight:bold; classDef field fill:#0f172a,stroke:#3b82f6,stroke-width:1.5px,color:#bfdbfe,font-weight:bold; MM[multi_match\n搜索苹果手机] MM --> BF[best_fields\n取最优字段的分数] MM --> MF[most_fields\n各字段分数累加] MM --> CF[cross_fields\n跨字段组合匹配] BF --> BF_EX["name=苹果手机 → 10分\ndescription=苹果... → 2分\n最终得分：10分"] MF --> MF_EX["name=苹果... → 5分\ndescription=手机... → 3分\n最终得分：8分"] CF --> CF_EX["name=苹果 + detail=手机\n作为一个整体匹配\n最终得分：匹配两个字段"] class BF,MF,CF mode; class BF_EX,MF_EX,CF_EX field; best_fields（默认模式）：搜索词在所有字段中分别执行匹配，取分数最高的那个字段作为最终得分。适合"搜索词大概率完整出现在某一个字段中"的场景——比如用户搜完整商品名。 ...

SpringBoot Elasticsearch 📖 前置阅读：本文假设读者已了解 ES 的倒排索引、分词器、Mapping 和 REST API 基础操作。如果还不熟悉，建议先阅读 Elasticsearch 核心概念：倒排索引、分词器与 REST API 全解析。 本文按照"先搞懂操作 → 教程版完整实现 → 生产版四种模式 → 验证排错“的顺序组织。如果你只想快速上手 ElasticsearchRestTemplate 的 CRUD 和搜索，读完 Part 1 后直接看 Part 2 即可；如果你想理解真实项目中 ES 是怎么承载搜索、同步、秒杀、推荐四种场景的，需要完整读完。 关于版本：Part 2 教程版使用 Spring Boot 3.x + 新版 ElasticsearchClient（spring-boot-starter-data-elasticsearch 自动配置）；Part 3 生产版使用 Spring Boot 2.7.x + RestHighLevelClient（手动创建 Bean）。两个版本不能混用——读者根据自己的 Spring Boot 版本选择对应的代码。 Part 1：先搞懂要做什么 一、目标说明 这篇文章的目标很明确：让读者在一篇文章内学会 SpringBoot 项目中所有常用的 ES 操作，读完就能直接写到项目里。 具体来说，读完这篇文章会掌握： 用 @Document 和 @Field 注解定义 ES 映射 用 ElasticsearchRestTemplate 执行 CRUD、搜索、聚合、高亮 用 Spring Data ES Repository 做声明式查询 批量写入、条件删除 和 真实场景串联 一个完整的"商品搜索"功能从零到一的完整代码 二、前置条件 前置项 具体要求 验证命令 JDK 17+（文中用 17，8+ 均兼容） java -version Maven 3.6+ mvn -v SpringBoot 3.x（文中用 3.2.0） mvn dependency:tree | grep spring-boot Elasticsearch 8.x（7.x 也兼容文中大部分操作，需调整配置） curl -u elastic http://localhost:9200 前置知识 SpringBoot 基础、ES 核心概念（倒排索引、分词器、Mapping） — Part 2：教程版 —— 从零掌握 ES 全部操作 下面每一节都给出了完整的、可运行的代码。整个教程版使用同一个技术栈：Spring Boot 3.x + spring-boot-starter-data-elasticsearch，通过 ElasticsearchRestTemplate 操作 ES。 ...

Elasticsearch 核心概念：倒排索引、分词器与 REST API 全解析 一、⚡ 问题切入：MySQL 模糊搜索为什么不行？ 先看一个日常开发中最常见的搜索场景。用户在电商平台的搜索框里输入"华为手机"，后端需要从商品表中查出匹配的商品。你第一反应肯定是写这样一条 SQL： SELECT * FROM product WHERE name LIKE '%华为手机%'; 这看起来没问题。但产品经理走过来跟你说：“搜索结果要把完全匹配的放在最前面，然后按销量排序，还要展示分类筛选和品牌聚合。“你看着手里的 SQL，表情逐渐僵硬。 MySQL LIKE '%keyword%' 有一个致命伤：前置通配符导致索引失效。B+Tree 索引遵循最左前缀匹配原则，% 一上来就破坏了索引的有序性，数据库只能全表扫描。500 万商品数据，一条 LIKE 查询耗时 3 秒以上——用户体验直接爆炸。 这不是加个索引能解决的问题。MySQL 是为精确匹配和范围查询设计的，不是为人类自然语言的模糊搜索设计的。用户不会输入精确的字段值，他们会打错字（“苹果手鸡”），用近义词（“笔记本” vs “笔记本电脑”），甚至用拼音（“huawei shouji”）。 全文搜索引擎就是为这个问题而生的。看一组实际数据： # MySQL LIKE：2.8 秒（500 万数据） mysql> SELECT * FROM product WHERE name LIKE '%华为手机%'; 500 rows in set (2.812 sec) # Elasticsearch match：0.015 秒（同量级数据，3 节点集群） GET /product/_search { "query": { "match": { "name": "华为手机" } } } # 返回：500 条结果，耗时 15ms，按相关性排序 接近 200 倍 的延迟差距。而且 ES 返回的结果自带相关性评分——包含"华为手机"这四个字且连在一起出现的商品分数最高，只包含"手机"的排在后面，只包含"华为"的更靠后。这就是 ES 作为搜索引擎存在的核心价值。 ...

🚀 Redis 缓存策略进阶：六大模式全解析 📖 前置阅读：本文是 SpringBoot Redis 系列的进阶篇，假设读者已经掌握了 Redis 的基本数据结构和 SpringBoot 环境下的 RedisTemplate 操作。如果还没有，建议先阅读前两篇： Redis 核心架构：五大数据结构与常用命令全解析 —— 介绍篇 SpringBoot Redis 全操作指南 —— 实战篇 一、⚡ 问题切入：没有缓存策略会怎样？ 先看一段日常开发中常见的业务代码： // 一个典型的"查缓存 → 查 DB → 写缓存"逻辑 public User getUserById(Long userId) { String cacheKey = "user:" + userId; // 1. 先查 Redis 缓存 User user = (User) redisTemplate.opsForValue().get(cacheKey); if (user != null) { return user; } // 2. 缓存未命中，查 MySQL user = userMapper.selectById(userId); if (user != null) { // 3. 写入 Redis 缓存，设置 30 分钟过期 redisTemplate.opsForValue().set(cacheKey, user, 30, TimeUnit.MINUTES); } return user; } public void updateUser(User user) { // 更新 DB userMapper.updateById(user); // 删除缓存（而非更新缓存） redisTemplate.delete("user:" + user.getId()); } 这段代码隐含了一个被广泛使用的模式—— Cache-Aside（旁路缓存） 。但这就是全部吗？当业务场景从"普通查询"扩展到"秒杀库存扣减"、“热点榜单刷新”、“写多读少日志落盘"时，上面这段代码会暴露出以下问题： ...

🚀 SpringBoot Redis 全操作指南 📖 前置阅读：本文假设读者已了解 Redis 的五种核心数据结构（String / Hash / List / Set / ZSet）和基本命令。如果还不熟悉，建议先阅读 Redis 核心架构：五大数据结构与常用命令全解析。 🎯 第一步：目标说明 这篇文章的目标很明确：让读者在一篇文章内学会 SpringBoot 项目中所有常用的 Redis 操作，读完就能直接写到项目里。 具体来说，读完这篇文章会掌握： 用 StringRedisTemplate 和 RedisTemplate 操作 Redis 五种数据结构 用 Spring Cache 注解（@Cacheable、@CachePut、@CacheEvict）无侵入地加缓存 用 Redisson 实现分布式锁 Pipeline 批量操作和发布订阅 排行榜、计数器、消息队列等真实业务场景的完整代码 文中的所有代码都可以直接复制粘贴到项目里，只需要改包名和类名。 📋 第二步：前置条件 开始之前，确认以下知识储备和环境就绪： 前置项 具体要求 验证命令 JDK 17+（文中用 17，8+ 均兼容） java -version Maven 3.6+ mvn -v SpringBoot 3.x（文中用 3.2.0） mvn dependency:tree | grep spring-boot Redis 7.x（6.x 也兼容文中所有操作） redis-cli --version IDE IntelliJ IDEA / VS Code / Eclipse 均可 — 前置知识 SpringBoot 基础（依赖注入、application.yml）、SQL 基础、Linux 命令行基础 — 📌 前置知识：读者需要了解 SpringBoot 的 @Configuration、@Bean、@Autowired 基本用法，以及 application.yml 配置文件的写法。如果不熟悉 Maven 的 pom.xml 依赖管理，建议先补一下 SpringBoot 入门。 ...

Redis 核心架构：五大数据结构与常用命令全解析 一、⚡ 问题切入：MySQL 为什么不够？ 先看一个典型的电商场景。商品详情页的 QPS（每秒请求数）在促销期间达到 5000，每个请求需要执行以下 SQL： -- 商品基本信息 SELECT * FROM product WHERE id = 10001; -- 商品 SKU 列表 SELECT * FROM product_sku WHERE product_id = 10001; -- 商品评价统计 SELECT COUNT(*), AVG(rating) FROM review WHERE product_id = 10001; MySQL 单机在简单查询下约能支撑 2000 ~ 3000 QPS，5000 QPS 直接打到数据库会导致连接池耗尽、响应超时，最终服务雪崩。 有人会说"加读写分离、分库分表"，但这些方案在数据到达 MySQL 之前就有一个更直接的思路： 把热点数据放在内存里 。 这就是 Redis 存在的根本原因——将频繁访问的数据从磁盘（MySQL）迁移到内存，用空间换时间。一条 Redis GET 命令的延迟通常在 0.1ms 以内，而 MySQL 单条查询即使在索引命中、Buffer Pool 热数据全缓存的情况下，延迟也在 1ms ~ 5ms 之间。差距来自 存储介质 （内存 vs 磁盘）和 数据访问路径 （直接内存寻址 vs B+Tree 遍历）。 ...

🗄️ 数据库迁移实战：不停机迁移方案、数据一致性保障与工具选型全解析 从一个凌晨 3 点的故障说起 某电商平台的订单表 orders 有 2.3 亿行数据，运行在 MySQL 5.7 上，单表体积接近 400GB。团队计划将这张表迁移到 TiDB 分布式数据库，以应对即将到来的双十一流量峰值。 DBA 团队的迁移方案是： 凌晨 2 点，停止所有写入服务 用 mysqldump 导出全量数据（耗时 1 小时 20 分钟） 将 dump 文件导入 TiDB（耗时 3 小时） 凌晨 6 点 20 分，恢复写入服务 结果：凌晨 4 点 30 分，dump 文件导入到一半时报错——导出文件中有 3 行数据包含 MySQL 5.7 特有的 utf8mb4_general_ci 排序规则下的隐藏字符，TiDB 解析失败。此时 MySQL 5.7 已被设置为只读，TiDB 导入中断， 整个订单系统处于不可用状态 。 最终临时回滚 MySQL 只读限制，恢复业务。迁移失败，双十一扩容计划延期。 这次故障暴露了数据库迁移中的核心难题：如何在保证数据一致性的前提下，尽可能缩短甚至消除停机时间，并且始终保留可靠的回滚路径。 数据库迁移策略总览 数据库迁移不是单一操作，而是一整套工程方法论。先通过思维导图建立全局认知： flowchart LR classDef root fill:#0f172a,stroke:#3b82f6,stroke-width:2px,color:#bfdbfe,font-weight:bold; classDef branch fill:#2d1a05,stroke:#f59e0b,stroke-width:2px,color:#fde68a,font-weight:bold; classDef leaf fill:#1e1e24,stroke:#6b7280,stroke-width:1.5px,color:#e5e7eb; classDef highlight fill:#450a0a,stroke:#dc2626,stroke-width:1.5px,color:#fecaca,font-weight:bold; ROOT[数据库迁移策略体系] ROOT --> B1(1. 按停机时间分类) B1 --> L1["🛑 停机迁移\n• 停服→导出→导入→恢复\n• 停机: 小时至天级\n• 风险: 业务中断"] B1 --> L2["⚡ 零停机迁移\n• 双写/CDC/灰度切换\n• 停机: 秒级切换\n• 风险: 数据不一致"] B1 --> L3["🔄 滚动迁移\n• 按分片/租户逐批切\n• 停机: 每批秒级\n• 风险: 跨片依赖"] ROOT --> B2(2. 按数据同步方式分类) B2 --> L4["📦 全量+增量\n• 全量快照 + binlog 追赶\n• 代表: DTS/Canal/Debezium"] B2 --> L5["✍️ 双写\n• 应用层同时写新旧库\n• 全量回溯 + 双写 + 校验"] B2 --> L6["🔁 主从复制\n• 新库作为旧库的从库\n• 追平后切换"] ROOT --> B3(3. 按迁移目标分类) B3 --> L7["🏗️ 同构迁移\n• MySQL→MySQL 版本升级\n• 工具: gh-ost/pt-osc"] B3 --> L8["🔀 异构迁移\n• MySQL→TiDB/PostgreSQL\n• 需处理类型/SQL差异"] B3 --> L9["☁️ 上云迁移\n• 自建→RDS/云原生DB\n• 工具: DTS/DataX"] class ROOT root; class B1,B2,B3 branch; class L1,L2,L3,L4,L5,L6,L7,L8,L9 leaf; class L2,L4 highlight; 三类策略并非互斥——零停机迁移通常是"双写 + 全量快照 + 增量追赶 + 灰度切换"的组合。 ...