Elasticsearch 生产调优与索引设计

Elasticsearch 生产调优 📖 前置阅读:本文是 ES 系列的生产调优篇,假设读者已经掌握了 ES 核心概念、SpringBoot 操作和高级搜索聚合。如果还没有,建议先阅读前三篇: Elasticsearch 核心概念:倒排索引、分词器与 REST API 全解析 —— 介绍篇 SpringBoot Elasticsearch 全操作指南 —— 实战篇 ES 高级搜索与聚合分析 —— 进阶篇 一、⚡ 问题切入:搜索怎么越来越慢了? 商品从 10 万增加到 500 万,搜索响应时间从原来的 50ms 涨到了 2 秒。用户开始投诉"搜索好慢",产品经理开始质疑"ES 不是很快吗"。 你打开监控面板,发现: 搜索 P99 延迟 2.3 秒 ES 堆内存使用率 85% 磁盘 IO 等待时间飙升 GC 频率从每小时 2 次变成了每 5 分钟 1 次 问题出在哪?不一定是数据量大就一定慢。500 万数据对 ES 来说远没到上限——一个设计良好的 3 节点集群处理几亿数据都没问题。慢的往往是索引设计不合理、查询写得不高效、分页方式用错了。 本篇要解决的问题:怎么设计索引让 500 万数据搜索保持在 100ms 以内,以及遇到性能问题时从哪下手排查。 二、🗂️ 索引设计最佳实践 2.1 分片数设计 —— 不是越多越好 ES 把一个 Index 的数据切分成多个分片(Shard)分布在不同节点上。每个分片本质上是一个独立的 Lucene 实例——有自己的倒排索引、段文件、内存开销。 ...

十月 25, 2022 · 12 分钟 · 2352 字 · yaomingye

ES 高级搜索与聚合分析

ES 高级搜索 📖 前置阅读:本文是 ES 系列的进阶篇,假设读者已经掌握了 ES 核心概念(倒排索引、分词器、Mapping)和 SpringBoot 的基本操作。如果还没有,建议先阅读前两篇: Elasticsearch 核心概念:倒排索引、分词器与 REST API 全解析 —— 介绍篇 SpringBoot Elasticsearch 全操作指南 —— 实战篇 一、⚡ 问题切入:搜索结果不够准怎么办? 前面两篇学完,你已经可以搭建一个"能搜"的商品搜索功能了。但用户搜"苹果手机"时,排名第一的可能是"苹果水果礼盒"——因为倒排索引中"苹果"这个词也出现了。 问题出在几个地方: 用户搜"苹果手机"时,商品名包含"苹果手机"这四个字的应该排在最前面,但基础 match 查询没有考虑字段匹配的完整度 商品标题命中的权重应该比描述命中的权重更高,但基础查询一视同仁 用户期望按销量和评分来影响排序,而不仅仅是文本相关性 输入"苹果手鸡"应该能自动纠错成"苹果手机" 本篇要解决的问题就是:怎么让搜索结果更准、排序更合理、用户体验更接近 Google 搜索。 二、🔍 全文搜索再深入 2.1 multi_match —— 多字段搜索 第一篇的 match 查询只搜一个字段。实际产品中,搜索词可能同时匹配商品名、品牌名、描述等多个字段——用户输入"华为手机",应该既搜 name 也搜 description,甚至搜 brand。 multi_match 就是为此而生的。它有三种模式,差异在于多字段之间如何计算和合并相关性分数: flowchart LR classDef mode fill:#450a0a,stroke:#dc2626,stroke-width:1.5px,color:#fecaca,font-weight:bold; classDef field fill:#0f172a,stroke:#3b82f6,stroke-width:1.5px,color:#bfdbfe,font-weight:bold; MM[multi_match\n搜索苹果手机] MM --> BF[best_fields\n取最优字段的分数] MM --> MF[most_fields\n各字段分数累加] MM --> CF[cross_fields\n跨字段组合匹配] BF --> BF_EX["name=苹果手机 → 10分\ndescription=苹果... → 2分\n最终得分:10分"] MF --> MF_EX["name=苹果... → 5分\ndescription=手机... → 3分\n最终得分:8分"] CF --> CF_EX["name=苹果 + detail=手机\n作为一个整体匹配\n最终得分:匹配两个字段"] class BF,MF,CF mode; class BF_EX,MF_EX,CF_EX field; best_fields(默认模式):搜索词在所有字段中分别执行匹配,取分数最高的那个字段作为最终得分。适合"搜索词大概率完整出现在某一个字段中"的场景——比如用户搜完整商品名。 ...

十月 24, 2022 · 10 分钟 · 2102 字 · yaomingye

SpringBoot Elasticsearch 全操作指南

SpringBoot Elasticsearch 📖 前置阅读:本文假设读者已了解 ES 的倒排索引、分词器、Mapping 和 REST API 基础操作。如果还不熟悉,建议先阅读 Elasticsearch 核心概念:倒排索引、分词器与 REST API 全解析。 本文按照"先搞懂操作 → 教程版完整实现 → 生产版四种模式 → 验证排错“的顺序组织。如果你只想快速上手 ElasticsearchRestTemplate 的 CRUD 和搜索,读完 Part 1 后直接看 Part 2 即可;如果你想理解真实项目中 ES 是怎么承载搜索、同步、秒杀、推荐四种场景的,需要完整读完。 关于版本:Part 2 教程版使用 Spring Boot 3.x + 新版 ElasticsearchClient(spring-boot-starter-data-elasticsearch 自动配置);Part 3 生产版使用 Spring Boot 2.7.x + RestHighLevelClient(手动创建 Bean)。两个版本不能混用——读者根据自己的 Spring Boot 版本选择对应的代码。 Part 1:先搞懂要做什么 一、目标说明 这篇文章的目标很明确:让读者在一篇文章内学会 SpringBoot 项目中所有常用的 ES 操作,读完就能直接写到项目里。 具体来说,读完这篇文章会掌握: 用 @Document 和 @Field 注解定义 ES 映射 用 ElasticsearchRestTemplate 执行 CRUD、搜索、聚合、高亮 用 Spring Data ES Repository 做声明式查询 批量写入、条件删除 和 真实场景串联 一个完整的"商品搜索"功能从零到一的完整代码 二、前置条件 前置项 具体要求 验证命令 JDK 17+(文中用 17,8+ 均兼容) java -version Maven 3.6+ mvn -v SpringBoot 3.x(文中用 3.2.0) mvn dependency:tree | grep spring-boot Elasticsearch 8.x(7.x 也兼容文中大部分操作,需调整配置) curl -u elastic http://localhost:9200 前置知识 SpringBoot 基础、ES 核心概念(倒排索引、分词器、Mapping) — Part 2:教程版 —— 从零掌握 ES 全部操作 下面每一节都给出了完整的、可运行的代码。整个教程版使用同一个技术栈:Spring Boot 3.x + spring-boot-starter-data-elasticsearch,通过 ElasticsearchRestTemplate 操作 ES。 ...

十月 23, 2022 · 14 分钟 · 2948 字 · yaomingye

Elasticsearch 核心概念

Elasticsearch 核心概念:倒排索引、分词器与 REST API 全解析 一、⚡ 问题切入:MySQL 模糊搜索为什么不行? 先看一个日常开发中最常见的搜索场景。用户在电商平台的搜索框里输入"华为手机",后端需要从商品表中查出匹配的商品。你第一反应肯定是写这样一条 SQL: SELECT * FROM product WHERE name LIKE '%华为手机%'; 这看起来没问题。但产品经理走过来跟你说:“搜索结果要把完全匹配的放在最前面,然后按销量排序,还要展示分类筛选和品牌聚合。“你看着手里的 SQL,表情逐渐僵硬。 MySQL LIKE '%keyword%' 有一个致命伤:前置通配符导致索引失效。B+Tree 索引遵循最左前缀匹配原则,% 一上来就破坏了索引的有序性,数据库只能全表扫描。500 万商品数据,一条 LIKE 查询耗时 3 秒以上——用户体验直接爆炸。 这不是加个索引能解决的问题。MySQL 是为精确匹配和范围查询设计的,不是为人类自然语言的模糊搜索设计的。用户不会输入精确的字段值,他们会打错字(“苹果手鸡”),用近义词(“笔记本” vs “笔记本电脑”),甚至用拼音(“huawei shouji”)。 全文搜索引擎就是为这个问题而生的。看一组实际数据: # MySQL LIKE:2.8 秒(500 万数据) mysql> SELECT * FROM product WHERE name LIKE '%华为手机%'; 500 rows in set (2.812 sec) # Elasticsearch match:0.015 秒(同量级数据,3 节点集群) GET /product/_search { "query": { "match": { "name": "华为手机" } } } # 返回:500 条结果,耗时 15ms,按相关性排序 接近 200 倍 的延迟差距。而且 ES 返回的结果自带相关性评分——包含"华为手机"这四个字且连在一起出现的商品分数最高,只包含"手机"的排在后面,只包含"华为"的更靠后。这就是 ES 作为搜索引擎存在的核心价值。 ...

十月 22, 2022 · 10 分钟 · 2065 字 · yaomingye

Redis 缓存策略进阶:六大模式全解析

🚀 Redis 缓存策略进阶:六大模式全解析 📖 前置阅读:本文是 SpringBoot Redis 系列的进阶篇,假设读者已经掌握了 Redis 的基本数据结构和 SpringBoot 环境下的 RedisTemplate 操作。如果还没有,建议先阅读前两篇: Redis 核心架构:五大数据结构与常用命令全解析 —— 介绍篇 SpringBoot Redis 全操作指南 —— 实战篇 一、⚡ 问题切入:没有缓存策略会怎样? 先看一段日常开发中常见的业务代码: // 一个典型的"查缓存 → 查 DB → 写缓存"逻辑 public User getUserById(Long userId) { String cacheKey = "user:" + userId; // 1. 先查 Redis 缓存 User user = (User) redisTemplate.opsForValue().get(cacheKey); if (user != null) { return user; } // 2. 缓存未命中,查 MySQL user = userMapper.selectById(userId); if (user != null) { // 3. 写入 Redis 缓存,设置 30 分钟过期 redisTemplate.opsForValue().set(cacheKey, user, 30, TimeUnit.MINUTES); } return user; } public void updateUser(User user) { // 更新 DB userMapper.updateById(user); // 删除缓存(而非更新缓存) redisTemplate.delete("user:" + user.getId()); } 这段代码隐含了一个被广泛使用的模式—— Cache-Aside(旁路缓存) 。但这就是全部吗?当业务场景从"普通查询"扩展到"秒杀库存扣减"、“热点榜单刷新”、“写多读少日志落盘"时,上面这段代码会暴露出以下问题: ...

十月 21, 2022 · 16 分钟 · 3330 字 · yaomingye

SpringBoot Redis 全操作指南

🚀 SpringBoot Redis 全操作指南 📖 前置阅读:本文假设读者已了解 Redis 的五种核心数据结构(String / Hash / List / Set / ZSet)和基本命令。如果还不熟悉,建议先阅读 Redis 核心架构:五大数据结构与常用命令全解析。 🎯 第一步:目标说明 这篇文章的目标很明确:让读者在一篇文章内学会 SpringBoot 项目中所有常用的 Redis 操作,读完就能直接写到项目里。 具体来说,读完这篇文章会掌握: 用 StringRedisTemplate 和 RedisTemplate 操作 Redis 五种数据结构 用 Spring Cache 注解(@Cacheable、@CachePut、@CacheEvict)无侵入地加缓存 用 Redisson 实现分布式锁 Pipeline 批量操作和发布订阅 排行榜、计数器、消息队列等真实业务场景的完整代码 文中的所有代码都可以直接复制粘贴到项目里,只需要改包名和类名。 📋 第二步:前置条件 开始之前,确认以下知识储备和环境就绪: 前置项 具体要求 验证命令 JDK 17+(文中用 17,8+ 均兼容) java -version Maven 3.6+ mvn -v SpringBoot 3.x(文中用 3.2.0) mvn dependency:tree | grep spring-boot Redis 7.x(6.x 也兼容文中所有操作) redis-cli --version IDE IntelliJ IDEA / VS Code / Eclipse 均可 — 前置知识 SpringBoot 基础(依赖注入、application.yml)、SQL 基础、Linux 命令行基础 — 📌 前置知识:读者需要了解 SpringBoot 的 @Configuration、@Bean、@Autowired 基本用法,以及 application.yml 配置文件的写法。如果不熟悉 Maven 的 pom.xml 依赖管理,建议先补一下 SpringBoot 入门。 ...

十月 20, 2022 · 17 分钟 · 3462 字 · yaomingye

Redis 核心架构

Redis 核心架构:五大数据结构与常用命令全解析 一、⚡ 问题切入:MySQL 为什么不够? 先看一个典型的电商场景。商品详情页的 QPS(每秒请求数)在促销期间达到 5000,每个请求需要执行以下 SQL: -- 商品基本信息 SELECT * FROM product WHERE id = 10001; -- 商品 SKU 列表 SELECT * FROM product_sku WHERE product_id = 10001; -- 商品评价统计 SELECT COUNT(*), AVG(rating) FROM review WHERE product_id = 10001; MySQL 单机在简单查询下约能支撑 2000 ~ 3000 QPS,5000 QPS 直接打到数据库会导致连接池耗尽、响应超时,最终服务雪崩。 有人会说"加读写分离、分库分表",但这些方案在数据到达 MySQL 之前就有一个更直接的思路: 把热点数据放在内存里 。 这就是 Redis 存在的根本原因——将频繁访问的数据从磁盘(MySQL)迁移到内存,用空间换时间。一条 Redis GET 命令的延迟通常在 0.1ms 以内,而 MySQL 单条查询即使在索引命中、Buffer Pool 热数据全缓存的情况下,延迟也在 1ms ~ 5ms 之间。差距来自 存储介质 (内存 vs 磁盘)和 数据访问路径 (直接内存寻址 vs B+Tree 遍历)。 ...

十月 19, 2022 · 13 分钟 · 2659 字 · yaomingye

JVM 面试突击

🔬 JVM 面试突击:运行时数据区、类加载、GC 与调优全解析 📌 前置知识:阅读本文需要具备 Java 基础语法知识、对 JVM 有初步概念(知道 JVM 是运行 Java 程序的虚拟机即可)。本文定位为面试突击速查手册,每个考点都按"面试怎么答"组织,命令部分附带完整的操作步骤和输出解读。 各模块面试频率参考 在开始具体考点之前,先了解各模块的面试出现频率,有助于合理分配复习时间: 模块 面试频率 关键程度 运行时数据区 ⭐⭐⭐⭐⭐ 每场必问,入门级考点 类加载机制 ⭐⭐⭐⭐⭐ 双亲委派模型高频出现 垃圾回收机制 ⭐⭐⭐⭐⭐ 区分候选人水平的关键 调优工具与实战 ⭐⭐⭐⭐ 考察实际动手能力 JMM + volatile ⭐⭐⭐⭐⭐ 并发底层原理 经典面试题 ⭐⭐⭐⭐ 综合应用能力 📌 一、JVM 运行时数据区:内存布局与职责 🧠 1.1 JVM 内存布局全景图 这是面试最常考的入门题,必须清楚每个区域的功能、是否为线程共享,以及各自可能抛出的异常。下面先用 Mermaid 展示 JVM 内存区域的整体分类: flowchart LR JVM(["🔷 JVM 运行时数据区"]) JVM --> SHARED["👥 线程共享区"] JVM --> PRIVATE["🔒 线程私有区"] SHARED --> HEAP["📦 Java堆\n对象实例 / 数组\nGC 主要区域"] SHARED --> METHOD["📋 方法区\n类信息 / 常量 / 静态变量\nJDK8+ 元空间实现"] PRIVATE --> PC["📍 程序计数器\n字节码行号指示器\n无OOM"] PRIVATE --> VMSTACK["📚 虚拟机栈\n栈帧: 局部变量表+操作数栈+动态链接\nStackOverflowError / OOM"] PRIVATE --> NATIVE["🔧 本地方法栈\nnative 方法服务\nStackOverflowError / OOM"] classDef root fill:#0f172a,stroke:#3b82f6,stroke-width:2px,color:#bfdbfe,font-weight:bold; classDef branch fill:#2d1a05,stroke:#f59e0b,stroke-width:2px,color:#fde68a,font-weight:bold; classDef leaf fill:#1e1e24,stroke:#6b7280,stroke-width:1.5px,color:#e5e7eb; classDef private fill:#1e293b,stroke:#0284c7,stroke-width:1.5px,color:#f8fafc; class JVM root class SHARED,PRIVATE branch class HEAP,METHOD leaf class PC,VMSTACK,NATIVE private 下面用 HTML+CSS 布局图精确展示 JVM 内存各区域的相对位置、大小关系和内部结构: ...

十月 18, 2022 · 12 分钟 · 2372 字 · yaomingye

Spring Boot 面试突击

Spring Boot 面试突击:高频考点全面解析 📌 前置知识:阅读本文需要具备 Java 基础、Servlet 基础、Spring 基础(IoC / AOP / Bean 容器概念)。本文定位为面试突击速查手册,每个考点都按"面试怎么答"组织,建议配合实际项目经验一起记忆。 📊 各模块面试频率参考 在开始具体考点之前,先了解各模块的面试出现频率,有助于合理分配背诵时间: 模块 面试频率 重要程度 基础概念 ⭐⭐⭐⭐⭐ 每场必问,开场热身 核心注解 ⭐⭐⭐⭐⭐ @SpringBootApplication 必问 自动配置原理 ⭐⭐⭐⭐⭐ 灵魂考点,区分候选人水平 配置文件 ⭐⭐⭐⭐⭐ 多环境配置高频出现 事务管理 ⭐⭐⭐⭐⭐ 事务失效原因超高频 Bean 生命周期 ⭐⭐⭐⭐⭐ 面试官最爱追问 Web/MVC ⭐⭐⭐⭐ 结合项目经验考察 AOP ⭐⭐⭐⭐ 原理 + 应用场景 Starter ⭐⭐⭐⭐ 自定义 Starter 加分项 高级特性 ⭐⭐⭐⭐ 3.x 变化、热部署 Actuator ⭐⭐⭐ 生产经验加分 重点背诵:自动配置原理、事务失效原因、Bean 生命周期、@SpringBootApplication 组成、配置加载优先级。 📖 一、基础概念题 ❓ 1.1 什么是 Spring Boot?与 Spring、Spring MVC 的关系? 这是最基础的面试开场题,回答需要简洁清晰、一句话点明三者关系。 ...

十月 17, 2022 · 11 分钟 · 2166 字 · yaomingye

Spring Boot Starter 封装实践报告

Spring Boot Starter 封装实践报告:从自动装配原理到手写 Starter 🎯 第 1 步:目标说明 某开发者在日常工作中频繁需要为项目集成日志记录、性能监控、消息通知等功能。每次引入新功能时,都要重复编写相似的配置类、注册 Bean、管理依赖——这些步骤机械而繁琐。Spring Boot Starter 正是为解决这一问题而设计的机制:它把自动配置类与依赖管理打包成一个独立的 Jar 包,引用一个 Starter 依赖就能让某个功能"开箱即用"。 本实践报告的目标如下: 理解 Spring Boot 自动装配(Auto Configuration)的核心原理与执行流程 动手封装一个名为 my-logging-spring-boot-starter 的自定义 Starter,功能是自动记录标注了特定注解的方法的执行耗时 在测试项目中引用自定义 Starter,验证功能正常工作 📌 前置知识:本报告假设读者已经掌握 Java 基础语法、Maven 依赖管理与模块化工程、Spring 的 @Bean 与 @Configuration 注解、Spring Boot 基本使用方式。 📋 第 2 步:前置条件 开始实践前,确保以下软件已正确安装。 软件/依赖 最低版本 说明 JDK 17 Spring Boot 3.2.0 要求 Java 17 及以上 Maven 3.6.3 项目构建、依赖管理与打包 IDE 任意 IntelliJ IDEA(社区版即可)或 VS Code 验证安装: java --version # 期望输出示例:openjdk 17.0.9 2023-10-17 LTS mvn --version # 期望输出示例:Apache Maven 3.9.5 ⚠️ 新手提示:如果 java --version 或 mvn --version 提示"命令未找到",说明对应软件没有安装或没有配置环境变量。JDK 需要设置 JAVA_HOME 并将 %JAVA_HOME%\bin 加入 PATH。Maven 需要将 MAVEN_HOME/bin 加入 PATH。完成配置后重新打开终端再执行验证命令。 ...

十月 14, 2022 · 14 分钟 · 2963 字 · yaomingye
Cat Radio