场景题：线上数据库连接池爆满问题排查

线上数据库连接池爆满是一个严重的性能问题，可能导致系统无法正常处理请求，甚至引发服务雪崩。以下是详细的排查思路和解决方案：

---

1. 问题现象

• 错误日志：
  • 日志中频繁出现 Cannot get a connection, pool error 或 Timeout waiting for a connection 等错误。
• 系统表现：
  • 请求响应变慢或超时。
  • 数据库连接数达到上限，无法创建新连接。

---

2. 排查思路

2.1 确认连接池配置

• 检查连接池参数：
  • 确认连接池的最大连接数（maxActive 或 maxTotal）是否设置合理。
  • 检查连接超时时间（maxWait）是否过短。
  • 示例（以 HikariCP 为例）：

    spring:
      datasource:
        hikari:
          maximum-pool-size: 20
          connection-timeout: 30000

• 检查连接泄漏：
  • 确认连接是否在使用后正确关闭。

2.2 检查数据库连接使用情况

• 查看数据库连接数：
  • 使用数据库管理工具（如 MySQL 的 SHOW PROCESSLIST）查看当前连接数和连接状态。
  • 示例：SHOW PROCESSLIST;
  • 确认是否有大量空闲连接或长时间运行的查询。
• 查看连接池状态：
  • 使用连接池提供的监控接口（如 HikariCP 的 HikariPoolMXBean）查看连接池状态。
  • 示例：

    HikariPoolMXBean pool = hikariDataSource.getHikariPoolMXBean();
    System.out.println("Active connections: " + pool.getActiveConnections());
    System.out.println("Idle connections: " + pool.getIdleConnections());

2.3 检查代码逻辑

• 检查连接泄漏：
  • 确认是否在使用完连接后未正确关闭。
  • 示例：

    try (Connection conn = dataSource.getConnection();
         Statement stmt = conn.createStatement();
         ResultSet rs = stmt.executeQuery("SELECT * FROM users")) {
        // 处理结果集
    } catch (SQLException e) {
        e.printStackTrace();
    }

• 检查长时间运行的查询：
  • 确认是否有查询未使用索引或执行时间过长。
  • 使用 EXPLAIN 分析查询性能。
    EXPLAIN SELECT * FROM users WHERE age > 30;

2.4 检查系统资源

• 查看系统资源使用情况：
  • 使用 top 或 htop 查看 CPU 和内存使用情况。
  • 使用 netstat 查看网络连接状态。
    netstat -anp | grep 3306

2.5 检查数据库配置

• 查看数据库最大连接数：
  • 确认数据库的最大连接数（max_connections）是否设置合理。
  • 示例（MySQL）：

    SHOW VARIABLES LIKE 'max_connections';

• 查看连接超时设置：
  • 确认数据库的连接超时设置（如 wait_timeout）是否合理。
  • 示例（MySQL）：

    SHOW VARIABLES LIKE 'wait_timeout';

---

3. 解决方案

3.1 优化连接池配置

• 调整连接池参数：
  • 根据业务需求调整连接池的最大连接数、最小连接数和超时时间。
  • 示例（HikariCP）：

    spring:
      datasource:
        hikari:
          maximum-pool-size: 50
          minimum-idle: 10
          connection-timeout: 30000

• 启用连接泄漏检测：
  • 配置连接池的泄漏检测机制，自动关闭未正确释放的连接。
  • 示例（HikariCP）：

    spring:
      datasource:
        hikari:
          leak-detection-threshold: 60000

3.2 修复代码问题

• 确保连接正确关闭：
  • 使用 try-with-resources 或 finally 块确保连接在使用后正确关闭。
  • 示例：

    try (Connection conn = dataSource.getConnection();
         Statement stmt = conn.createStatement();
         ResultSet rs = stmt.executeQuery("SELECT * FROM users")) {
        // 处理结果集
    } catch (SQLException e) {
        e.printStackTrace();
    }

• 优化查询性能：
  • 为慢查询添加索引，优化 SQL 语句。
  • 示例：

    CREATE INDEX idx_age ON users (age);

3.3 使用连接池监控

• 启用连接池监控：
  • 使用连接池提供的监控接口（如 HikariCP 的 HikariPoolMXBean）实时监控连接池状态。
  • 示例：

    HikariPoolMXBean pool = hikariDataSource.getHikariPoolMXBean();
    System.out.println("Active connections: " + pool.getActiveConnections());
    System.out.println("Idle connections: " + pool.getIdleConnections());

3.4 扩容数据库

• 增加数据库连接数：
  • 根据业务需求调整数据库的 max_connections 参数。
  • 示例（MySQL）：

    SET GLOBAL max_connections = 500;

• 使用读写分离：
  • 将读操作分流到从库，减少主库的连接压力。

3.5 使用缓存

• 减少数据库查询：
  • 使用缓存（如 Redis）存储热点数据，减少数据库查询次数。

---

4. 总结

1. 确认连接池配置：检查最大连接数、超时时间等参数。
2. 检查数据库连接使用情况：查看当前连接数和连接状态。
3. 检查代码逻辑：确保连接正确关闭，优化慢查询。
4. 检查系统资源：查看 CPU、内存和网络连接状态。
5. 优化连接池配置：调整参数，启用泄漏检测。
6. 修复代码问题：确保连接正确关闭，优化查询性能。
7. 使用监控工具：实时监控连接池状态。
8. 扩容数据库：增加连接数，使用读写分离。
9. 使用缓存：减少数据库查询。

通过以上方法，可以有效排查和解决数据库连接池爆满的问题，保障系统的稳定性和性能。