翼度科技»论坛 编程开发 mysql 查看内容

分布式数据库 Join 查询设计与实现浅析

6

主题

6

帖子

18

积分

新手上路

Rank: 1

积分
18

相对于单例数据库的查询操作,分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路,了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析,再到非关系型 ElasticSearch 来分析 Join 实现策略。逐步深入Join 的实现机制。一、Mysql 分库分表 Join 查询场景

分库分表场景下,查询语句如何分发,数据如何组织。相较于NoSQL 数据库,Mysql 在SQL 规范的范围内,相对比较容易适配分布式场景。基于 sharding-jdbc 中间件的方案,了解整个设计思路。sharding-jdbc


  • sharding-jdbc 代理了原始的 datasource, 实现 jdbc 规范来完成分库分表的分发和组装,应用层无感知。
  • 执行流程:SQL解析 => 执行器优化 => SQL路由 => SQL改写 => SQL执行 => 结果归并 io.shardingsphere.core.executor.ExecutorEngine#execute
  • Join 语句的解析,决定了要分发 SQL 到哪些实例节点上。对应SQL路由。
  • SQL 改写就是要把原始(逻辑)表名,改为实际分片的表名。
  • 复杂情况下,Join 查询分发的最多执行的次数 = 数据库实例 × 表A分片数 × 表B分片数
Code Insight

示例代码工程:git@github.com:cluoHeadon/sharding-jdbc-demo.git
  1. /**
  2. * 执行查询 SQL 切入点,从这里可以完整 debug 执行流程
  3. * @see ShardingPreparedStatement#execute()
  4. * @see ParsingSQLRouter#route(String, List, SQLStatement) Join 查询实际涉及哪些表,就是在路由规则里匹配得出来的。
  5. */
  6. public boolean execute() throws SQLException {
  7.     try {
  8.         // 根据参数(决定分片)和具体的SQL 来匹配相关的实际 Table。
  9.         Collection<PreparedStatementUnit> preparedStatementUnits = route();
  10.         // 使用线程池,分发执行和结果归并。
  11.         return new PreparedStatementExecutor(getConnection().getShardingContext().getExecutorEngine(), routeResult.getSqlStatement().getType(), preparedStatementUnits).execute();
  12.     } finally {
  13.         JDBCShardingRefreshHandler.build(routeResult, connection).execute();
  14.         clearBatch();
  15.     }
  16. }
复制代码
SQL 路由策略

启用 sql 打印,直观看到实际分发执行的 SQL
  1. # 打印的代码,就是在上述route 得出 ExecutionUnits 后,打印的
  2. sharding.jdbc.config.sharding.props.sql.show=true
复制代码
sharding-jdbc 根据不同的SQL 语句,会有不同的路由策略。我们关注的 Join 查询,实际相关就是以下两种策略。

  • StandardRoutingEngine binding-tables 模式
  • ComplexRoutingEngine 最复杂的情况,笛卡尔组合关联关系。
  1. -- 参数不明,不能定位分片的情况
  2. select * from order o inner join order_item oi on o.order_id = oi.order_id
  3. -- 路由结果
  4. -- Actual SQL: db1 ::: select * from order_1 o inner join order_item_1 oi on o.order_id = oi.order_id
  5. -- Actual SQL: db1 ::: select * from order_1 o inner join order_item_0 oi on o.order_id = oi.order_id
  6. -- Actual SQL: db1 ::: select * from order_0 o inner join order_item_1 oi on o.order_id = oi.order_id
  7. -- Actual SQL: db1 ::: select * from order_0 o inner join order_item_0 oi on o.order_id = oi.order_id
  8. -- Actual SQL: db0 ::: select * from order_1 o inner join order_item_1 oi on o.order_id = oi.order_id
  9. -- Actual SQL: db0 ::: select * from order_1 o inner join order_item_0 oi on o.order_id = oi.order_id
  10. -- Actual SQL: db0 ::: select * from order_0 o inner join order_item_1 oi on o.order_id = oi.order_id
  11. -- Actual SQL: db0 ::: select * from order_0 o inner join order_item_0 oi on o.order_id = oi.order_id
复制代码
二、Elasticsearch Join 查询场景首先,对于 NoSQL 数据库,要求 Join 查询,可以考虑是不是使用场景和用法有问题。然后,不可避免的,有些场景需要这个功能。Join 查询的实现更贴近SQL 引擎。基于 elasticsearch-sql 组件的方案,了解大概的实现思路。elasticsearch-sql


  • 这是个elasticsearch 插件,通过提供http 服务实现类 SQL 查询的功能,高版本的elasticsearch 已经具备该功能⭐
  • 因为 elasticsearch 没有 Join 查询的特性,所以实现 SQL Join 功能,需要提供更加底层的功能,涉及到 Join 算法。
Code Insight

源码地址:git@github.com:NLPchina/elasticsearch-sql.git
  1. /**
  2. * Execute the ActionRequest and returns the REST response using the channel.
  3. * @see ElasticDefaultRestExecutor#execute
  4. * @see ESJoinQueryActionFactory#createJoinAction Join 算法选择
  5. */
  6. @Override
  7. public void execute(Client client, Map<String, String> params, QueryAction queryAction, RestChannel channel) throws Exception{
  8.     // sql parse
  9.     SqlElasticRequestBuilder requestBuilder = queryAction.explain();
  10.     // join 查询
  11.     if(requestBuilder instanceof JoinRequestBuilder){
  12.         // join 算法选择。包括:HashJoinElasticExecutor、NestedLoopsElasticExecutor
  13.         // 如果关联条件为等值(Condition.OPEAR.EQ),则使用 HashJoinElasticExecutor
  14.         ElasticJoinExecutor executor = ElasticJoinExecutor.createJoinExecutor(client,requestBuilder);
  15.         executor.run();
  16.         executor.sendResponse(channel);
  17.     }
  18.     // 其他类型查询 ...
  19. }
复制代码
三、More Than Join

Join 算法


  • 常用三种 Join 算法:Nested Loop Join,Hash Join、 Merge Join
  • MySQL 只支持 NLJ 或其变种,8.0.18 版本后支持 Hash Join
  • NLJ 相当于两个嵌套循环,用第一张表做 Outter Loop,第二张表做 Inner Loop,Outter Loop 的每一条记录跟 Inner Loop 的记录作比较,最终符合条件的就将该数据记录。
  • Hash Join 分为两个阶段; build 构建阶段和 probe 探测阶段。
  • 可以使用Explain 查看 MySQL 使用哪种 Join 算法。需要的语法关键字:FORMAT=JSON or FORMAT=Tree
  1. EXPLAIN FORMAT=JSON  
  2. SELECT * FROM
  3.     sale_line_info u
  4.     JOIN sale_line_manager o ON u.sale_line_code = o.sale_line_code;
复制代码
  1. {
  2.     "query_block": {
  3.         "select_id": 1,
  4.         // 使用的join 算法:nested_loop
  5.         "nested_loop": [
  6.             // 涉及join 的表以及对应的 key,其他的信息与常用explain 类似
  7.             {
  8.                 "table": {
  9.                     "table_name": "o",
  10.                     "access_type": "ALL"
  11.                 }
  12.             },
  13.             {
  14.                 "table": {
  15.                     "table_name": "u",
  16.                     "access_type": "ref"
  17.                 }
  18.             }
  19.         ]
  20.     }
  21. }
复制代码
Elasticsearch Nested类型分析Elasticsearch 业务数据以及使用场景,还有一种选择是直接存储关联信息的文档。在 Elasticsearch 中,是以完整文档形式提供查询和检索,彻底避开使用 Join 相关的技术。这样就牵扯到关联是归属类型的数据还是公用类型的数据、关联数据量的大小、关联数据的更新频率等。这些都是使用 Nested 类型需要考虑的因素。更多的使用方法,可以从网上和官网找到,不做赘述。
我们现在有个业务功能正好使用到 Nested类型, 在查询和优化过程中,解决了非常大的难题。总结

通过运行原理分析,对于运行流程有了清晰和深入的认知。对于中间件的优化和技术选型更加有目的性,使用上会更加谨慎和小心。明确的筛选条件,更小的筛选范围,limit 取值数据,都可以减少计算成本,提高性能。参考资料:

[1] 如何在分布式数据库中实现 Hash Join:https://zhuanlan.zhihu.com/p/35040231
[2] 一文详解MySQL——Join的使用优化:https://juejin.cn/post/7224046762200154172
 
作者|杨攀

来源:https://www.cnblogs.com/88223100/p/Design-and-Implementation-of-Join-Query-in-Distributed-database.html
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具