dba+开源工具：让数据库查询快如闪电！自动判断条件字段是否增加索引工具

贺春旸 2023-08-11 13:41:36
工具研发者介绍

贺春旸，dbaplus社群金牌专家，凡普金科和爱钱进DBA团队负责人，《MySQL管理之道：性能调优、高可用与监控》第一&二版、《MySQL运维进阶指南》作者，曾任职于中国移动飞信、安卓机锋网。五次荣获dbaplus年度MVP，致力于MariaDB、MongoDB等开源技术的研究，主要负责数据库性能调优、监控和架构设计。

工具下载：

https://github.com/hcymysql/sql_helper

 

sql_helper工具简介

 

索引在数据库中非常重要，它可以加快查询速度并提高数据库性能。对于经常被用作查询条件的字段，添加索引可以显著改善查询效率。然而，索引的创建和维护需要考虑多个因素，包括数据量、查询频率、更新频率等。
 
sql_helper工具是一个开源项目，它提供命令行模式和Web端接口两种方式使用，其主要功能是自动判断条件字段是否需要增加索引，适用于MySQL5.7/8.0和MariaDB数据库，旨在帮助开发人员优化数据库查询性能。通过分析SQL语句，该工具可以检测出哪些条件字段可以考虑添加索引来提高查询效率。

 

工作流程

 

第一步：通过SQL语法解析器，提炼出表名，别名，关联字段名，条件字段名，排序字段名，分组字段名。

 
 
第二步：检查是否有where条件，如没有则给出提示。
 
第三步：检测到a join b on a.id = b.id（关联查询时），通过查询表结构，检查关联字段是否有索引，如没有给出创建索引提示。
 
第四步：通过调用Explain执行计划，如果type值是ALL，或者rows大于1000，检查该表（如有别名，找到其对应的原始表名）和where条件字段的数据分布，工具默认会采样10万条数据作为样本，检查Cardinality基数，例如sex性别字段，有男女两个值，如果占比超过半数（50%），则不建议对该字段创建索引。
 
第五步：检查group by和order by字段（同样的算法），之后与where条件字段合并，组合成联合索引。
 
第六步：检查这些字段之前是否创建过索引，如果没有给予提示创建，如果之前就有索引，则不提示。
 

需要注意的是：sql_helper工具假定你的SQL语句条件表达式都为and的前提下，提示创建联合索引。如果是or，SQL解析器解析起来会有些困难（SQL灵活多变，且不固定，无法用通用的算法组合字段）。

 

例如where c1 = 1 or c2 = 2

工具会提示(c1,c2)创建一个联合索引，但实际上应该单独对c1和c2创建一个独立索引。

 

即select ... from t where c1 = 1

union all

select ... from t where c2 = 2

 

命令行方式使用
 

 

  •  
  •  
shell> chmod 755 sql_helpershell> ./sql_helper -f test.yaml -q 'select * from sbtest1 limit 1;'

 

  • 注：test.yaml为MySQL配置文件。
 
--sample参数：默认采样10万条数据（你可以在从库上获取样本数据），根据你的实际情况，适当增加采样数据，比如100-1000万行，这样工具会更精准的判断是否添加索引。
 
仅支持SELECT查询（主要针对慢日志里的SQL）。
 

图片

 
请注意，自动判断是否增加索引只是一个辅助功能，最终的决策还应该根据具体的业务需求以及对数据库性能优化的考虑来进行。此外，索引的创建和维护需要谨慎操作，需要考虑数据量、查询频率、更新频率等因素，避免对数据库性能产生负面影响。
 
  • 工具适用于Centos7系统。

 

更多开源工具&脚本下载

 

图片

 

更多开源工具及脚本获取方式：
  • 关注微信公众号【dbaplus社群】，点击菜单栏【资源下载】
  • 登陆dbaplus社群官网：http://dbaplus.cn/list-142-1.html
热门文章
最新评论
访客 2023年08月20日

230721

访客 2023年08月16日

1、导入Mongo Monitor监控工具表结构（mongo_monitor…

访客 2023年08月04日

上面提到： 在问题描述的架构图中我们可以看到，Click…

访客 2023年07月19日

PMM不香吗？

访客 2023年06月20日

如今看都很棒

活动预告
Copyright © 广州新炬网络技术有限公司 All rights reserved. 粤ICP备2024180830号-3