发帖
翼度科技»论坛 › 编程开发 › .net › 查看内容

ABP VNext 8 + MySQL 数据分表

永远有福

4

主题

4

帖子

12

积分

新手上路

Rank: 1

积分
12
显示全部楼层
项目使用ABP框架，最近有需求数据量会持续变大，需要分表存储。
发现ShardinfCore可以快速实现EF分表操作，并且作者@薛家明还特别为ABP集成写了教程，完美的选择。
ShardinfCore作者教程很齐全，这次以ABP 8.*的用户视角进行集成记录，希望帮到需要的人。
开发环境：
ABP VNext 8.1.5 + EF 8.0.4 + ShardinfCore 7.8.1.21 + Mysql 8.2.0
新同学注意区分ABP和ABP VNext，本文用的是这个：ABP.IO - Modern ASP.NET Core Web Application Platform | ABP.IO
参考资料：
Abp VNext分表分库，拒绝手动,我们要happy coding - 薛家明 - 博客园 (cnblogs.com)
.Net下极限生产力之efcore分表分库全自动化迁移CodeFirst - 薛家明 - 博客园 (cnblogs.com)
ABP EF CORE 7 集成ShardingCore实现分表 - cnblogsName - 博客园
 

集成操作 

添加依赖包
  1. // 只需要在YouProjectName.EntityFrameworkCore模块中安装依赖ShardinfCore 7.8.1.21
  2. dotnet add package ShardingCore --version 7.8.1.21
复制代码
 定义分表类型接口

ABP使用Guid作为主键，但ShardinfCore分表键不能接受空值，需要做一些预处理，会在下面AbstractShardingAbpDbContext的CheckAndSetShardingKeyThatSupportAutoCreate方法中编写逻辑，可以根据分表类型反射属性进行预处理。
在YouProjectName.Domain.Shared模块中，添加2个Interface：
IShardingKeyIsCreationTime：根据创建时间分表
IShardingKeyIsGuId：根据ID分表
需要分表的Entity，按需继承类型接口
  1. /// <summary>
  2. /// 分表键是Guid类型，用于分表时继承使用
  3. /// </summary>
  4. public interface IShardingKeyIsGuId
  5. {
  7. }
  9. /// <summary>
  10. /// 分表键是CreationTime类型，用于分表时继承使用
  11. /// </summary>
  12. public interface IShardingKeyIsCreationTime
  13. {
  15. }
复制代码
 
 
封装抽象类集成IShardingDbContext接口实现分表能力

在YouProjectName.EntityFrameworkCore模块中，添加一个抽象类，用于继承AbpDbContext和IShardingDbContext
  1. using Microsoft.EntityFrameworkCore;
  2. using ShardingCore.Core.VirtualRoutes.TableRoutes.RouteTails.Abstractions;
  3. using ShardingCore.Extensions;
  4. using ShardingCore.Sharding.Abstractions;
  5. using System;
  6. using System.ComponentModel.DataAnnotations.Schema;
  7. using System.Threading.Tasks;
  8. using Volo.Abp.Domain.Entities;
  9. using Volo.Abp.EntityFrameworkCore;
  10. using Volo.Abp.Reflection;
  12. namespace YourProjectName.EntityFrameworkCore;
  14. /// <summary>
  15. /// 继承sharding-core接口
  16. /// 封装实现抽象类
  17. /// </summary>
  18. /// <typeparam name="TDbContext"></typeparam>
  19. public abstract class AbstractShardingAbpDbContext<TDbContext> : AbpDbContext<TDbContext>, IShardingDbContext
  20.                                 where TDbContext : DbContext
  21. {
  22.     private bool _createExecutor = false;
  23.     protected AbstractShardingAbpDbContext(DbContextOptions<TDbContext> options) : base(options)
  24.     {
  26.     }
  27.     private IShardingDbContextExecutor _shardingDbContextExecutor;
  28.     public IShardingDbContextExecutor GetShardingExecutor()
  29.     {
  30.         if (!_createExecutor)
  31.         {
  32.             _shardingDbContextExecutor = this.DoCreateShardingDbContextExecutor();
  33.             _createExecutor = true;
  34.         }
  35.         return _shardingDbContextExecutor;
  36.     }
  38.     private IShardingDbContextExecutor DoCreateShardingDbContextExecutor()
  39.     {
  40.         var shardingDbContextExecutor = this.CreateShardingDbContextExecutor();
  41.         if (shardingDbContextExecutor != null)
  42.         {
  44.             shardingDbContextExecutor.EntityCreateDbContextBefore += (sender, args) =>
  45.             {
  46.                 CheckAndSetShardingKeyThatSupportAutoCreate(args.Entity);
  47.             };
  48.             shardingDbContextExecutor.CreateDbContextAfter += (sender, args) =>
  49.             {
  50.                 var dbContext = args.DbContext;
  51.                 if (dbContext is AbpDbContext<TDbContext> abpDbContext && abpDbContext.LazyServiceProvider == null)
  52.                 {
  53.                     abpDbContext.LazyServiceProvider = this.LazyServiceProvider;
  54.                     if (dbContext is IAbpEfCoreDbContext abpEfCoreDbContext && this.UnitOfWorkManager.Current != null)
  55.                     {
  56.                         abpEfCoreDbContext.Initialize(
  57.                             new AbpEfCoreDbContextInitializationContext(
  58.                                 this.UnitOfWorkManager.Current
  59.                             )
  60.                         );
  61.                     }
  62.                 }
  63.             };
  64.         }
  65.         return shardingDbContextExecutor;
  66.     }
  68.     private void CheckAndSetShardingKeyThatSupportAutoCreate<TEntity>(TEntity entity) where TEntity : class
  69.     {
  70.         if (entity is IShardingKeyIsGuId)
  71.         {
  73.             if (entity is IEntity<Guid> guidEntity)
  74.             {
  75.                 if (guidEntity.Id != default)
  76.                 {
  77.                     return;
  78.                 }
  79.                 var idProperty = entity.GetObjectProperty(nameof(IEntity<Guid>.Id));
  81.                 var dbGeneratedAttr = ReflectionHelper
  82.                     .GetSingleAttributeOrDefault<DatabaseGeneratedAttribute>(
  83.                         idProperty
  84.                     );
  86.                 if (dbGeneratedAttr != null && dbGeneratedAttr.DatabaseGeneratedOption != DatabaseGeneratedOption.None)
  87.                 {
  88.                     return;
  89.                 }
  91.                 EntityHelper.TrySetId(
  92.                     guidEntity,
  93.                     () => GuidGenerator.Create(),
  94.                     true
  95.                 );
  96.             }
  97.         }
  98.         else if (entity is IShardingKeyIsCreationTime)
  99.         {
  100.             AuditPropertySetter?.SetCreationProperties(entity);
  101.         }
  102.     }
  104.     /// <summary>
  105.     /// abp 5.x+ 如果存在并发字段那么需要添加这段代码<br>　　 /// 种子数据需要
  106.     /// </summary>
  107.     protected override void HandlePropertiesBeforeSave()
  108.     {
  109.         if (GetShardingExecutor() == null)
  110.         {
  111.             base.HandlePropertiesBeforeSave();
  112.         }
  113.     }
  114.     public IRouteTail RouteTail { get; set; }
  115.     public override void Dispose()
  116.     {
  117.         _shardingDbContextExecutor?.Dispose();
  118.         base.Dispose();
  119.     }
  121.     public override async ValueTask DisposeAsync()
  122.     {
  123.         if (_shardingDbContextExecutor != null)
  124.         {
  125.             await _shardingDbContextExecutor.DisposeAsync();
  126.         }
  127.         await base.DisposeAsync();
  128.     }
  129. }
复制代码
 

改造原DbContext

打开YouProjectNameDbContext.cs文件，继承刚刚添加的AbstractShardingAbpDbContext和IShardingTableDbContext
  1. using Microsoft.EntityFrameworkCore;
  2. using Volo.Abp.AuditLogging.EntityFrameworkCore;
  3. using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
  4. using Volo.Abp.Data;
  5. using Volo.Abp.DependencyInjection;
  6. using Volo.Abp.EntityFrameworkCore;
  7. using Volo.Abp.EntityFrameworkCore.Modeling;
  8. using Volo.Abp.FeatureManagement.EntityFrameworkCore;
  9. using Volo.Abp.Identity;
  10. using Volo.Abp.Identity.EntityFrameworkCore;
  11. using Volo.Abp.OpenIddict.EntityFrameworkCore;
  12. using Volo.Abp.PermissionManagement.EntityFrameworkCore;
  13. using Volo.Abp.SettingManagement.EntityFrameworkCore;
  14. using Volo.Abp.TenantManagement;
  15. using Volo.Abp.TenantManagement.EntityFrameworkCore;
  16. using ShardingCore.Sharding.Abstractions;
  18. namespace YourProjectName.EntityFrameworkCore;
  20. [ReplaceDbContext(typeof(IIdentityDbContext))]
  21. [ReplaceDbContext(typeof(ITenantManagementDbContext))]
  22. [ConnectionStringName("Default")]
  23. public class YourProjectNameDbContext :
  24.     AbstractShardingAbpDbContext<YourProjectNameDbContext>,
  25.     IIdentityDbContext,
  26.     ITenantManagementDbContext,
  27.     IShardingTableDbContext //如果dbcontext需要实现分表功能必须实现IShardingTableDbContext
  28. {
  29.   // 原工程的代码，内容不用变...  　
  30. }
复制代码
 
添加ShardingMigrationsSqlGenerator类

作用是在执行Migrator程序自动迁移时，可以创建分表结构。
在YouProjectName.EntityFrameworkCore模块中新建一个文件ShardingMigrationsSqlGenerator.cs
  1. using System;
  2. using System.Linq;
  3. using JetBrains.Annotations;
  4. using Microsoft.EntityFrameworkCore.Metadata;
  5. using Microsoft.EntityFrameworkCore.Migrations;
  6. using Microsoft.EntityFrameworkCore.Migrations.Operations;
  7. using Microsoft.EntityFrameworkCore.Update;
  8. using Pomelo.EntityFrameworkCore.MySql.Infrastructure.Internal;
  9. using Pomelo.EntityFrameworkCore.MySql.Migrations;
  10. using ShardingCore.Core.RuntimeContexts;
  11. using ShardingCore.Helpers;
  13. namespace YouProjectName.EntityFrameworkCore;
  15. public class ShardingMigrationsSqlGenerator : MySqlMigrationsSqlGenerator
  16. {
  17.     private readonly IShardingRuntimeContext _shardingRuntimeContext;
  18.     public ShardingMigrationsSqlGenerator(IShardingRuntimeContext shardingRuntimeContext, MigrationsSqlGeneratorDependencies dependencies, ICommandBatchPreparer commandBatchPreparer, IMySqlOptions options) : base(dependencies, commandBatchPreparer, options)
  19.     {
  20.         _shardingRuntimeContext = shardingRuntimeContext;
  21.     }
  23.     protected override void Generate(
  24.         MigrationOperation operation,
  25.         IModel model,
  26.         MigrationCommandListBuilder builder)
  27.     {
  28.         var oldCmds = builder.GetCommandList().ToList();
  29.         base.Generate(operation, model, builder);
  30.         var newCmds = builder.GetCommandList().ToList();
  31.         var addCmds = newCmds.Where(x => !oldCmds.Contains(x)).ToList();
  33.         MigrationHelper.Generate(_shardingRuntimeContext, operation, builder, Dependencies.SqlGenerationHelper, addCmds);
  34.     }
  35. }
复制代码
 
编写分表路由规则Routes

在YouProjectName.EntityFrameworkCore模块中，新建Routes文件夹
新建路由规则类，告诉分表组件按照规则进行分表 
按ID分表，需要继承AbstractSimpleShardingModKeyStringVirtualTableRoute
  1. using YouProjectName.MsgAudits;
  2. using ShardingCore.Core.EntityMetadatas;
  3. using ShardingCore.VirtualRoutes.Mods;
  5. namespace YouProjectName.Routes;
  7. /// <summary>
  8. /// 根据ID分表
  9. /// </summary>
  10. public class KeywordTableRoute : AbstractSimpleShardingModKeyStringVirtualTableRoute<Keyword>
  11. {
  12.     /// <summary>
  13.     /// 简单说明就是表后缀是2位，分3个表，例00,01,02
  14.     /// </summary>
  15.     public KeywordTableRoute() : base(2, 3)
  16.     {
  17.     }
  19.     public override void Configure(EntityMetadataTableBuilder<Keyword> builder)
  20.     {
  21.         //告诉框架通过Id字段分表
  22.         builder.ShardingProperty(o => o.Id);
  23.     }
  24. }
复制代码
 
按时间月份分表，需要继承AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute
  1. using System;
  2. using YouProjectName.MsgAudits;
  3. using ShardingCore.Core.EntityMetadatas;
  4. using ShardingCore.VirtualRoutes.Months;
  6. namespace YouProjectName.Routes;
  8. /// <summary>
  9. /// 设置ChatRecord表的分表路由规则
  10. /// 根据时间月份分表
  11. /// </summary>
  12. public class ChatRecordTableRoute : AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<ChatRecord>
  13. {
  14.     public override bool AutoCreateTableByTime() => true;
  16.     public override void Configure(EntityMetadataTableBuilder<ChatRecord> builder)
  17.     {
  18.         //告诉框架通过哪个字段分表，消息最好是按消息时间分表
  19.         builder.ShardingProperty(o => o.MsgTime);
  20.         //builder.ShardingProperty(o=>o.CreationTime); // 可以选择按创建时间分表
  21.     }
  23.     public override DateTime GetBeginTime()
  24.     {
  25.         //如果按消息时间分表，那这里应该返回最早消息的时间
  26.         return new DateTime(2023, 01, 01);
  27.     }
  28. }
复制代码
 
 添加ShardinfCore 配置

 在YouProjectName.EntityFrameworkCore模块中，编辑YouProjectNameEntityFrameworkCoreModule.cs，修改ConfigureServices方法添加配置
  1. using Microsoft.Extensions.DependencyInjection;
  2. using Volo.Abp.AuditLogging.EntityFrameworkCore;
  3. using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
  4. using Volo.Abp.EntityFrameworkCore;
  5. using Volo.Abp.EntityFrameworkCore.MySQL;
  6. using Volo.Abp.FeatureManagement.EntityFrameworkCore;
  7. using Volo.Abp.Identity.EntityFrameworkCore;
  8. using Volo.Abp.Modularity;
  9. using Volo.Abp.OpenIddict.EntityFrameworkCore;
  10. using Volo.Abp.PermissionManagement.EntityFrameworkCore;
  11. using Volo.Abp.SettingManagement.EntityFrameworkCore;
  12. using Volo.Abp.TenantManagement.EntityFrameworkCore;
  13. using Volo.Abp.EntityFrameworkCore.DependencyInjection;
  14. using Microsoft.EntityFrameworkCore;using ShardingCore;
  15. using YouProjectName.Routes;
  16. using Microsoft.EntityFrameworkCore.Migrations;
  17. using Microsoft.Extensions.Configuration;<br><br>-----------------引用参考⬆️--------------------------<br><br>
  18. public override void ConfigureServices(ServiceConfigurationContext context)
  19.     {
  20.         var configuration = context.Services.GetConfiguration();
  21.         context.Services.AddAbpDbContext<YouProjectNameDbContext>(options =>
  22.         {
  23.             /* Remove "includeAllEntities: true" to create
  24.              * default repositories only for aggregate roots */
  25.             options.AddDefaultRepositories(includeAllEntities: true);
  26.         });
  28.         Configure<AbpDbContextOptions>(options =>
  29.         {
  30.             /* The main point to change your DBMS.
  31.              * See also YouProjectNameMigrationsDbContextFactory for EF Core tooling. */
  32.             options.UseMySQL();
  33.             //分表组件增加配置
  34.             options.Configure<YouProjectNameDbContext>(innerContext =>
  35.             {
  36.                 ShardingCoreExtension.UseDefaultSharding<YouProjectNameDbContext>(innerContext.ServiceProvider, innerContext.DbContextOptions);
  37.             });
  38.         });
  39.         //分表组件单独配置内容
  40.         context.Services.AddShardingConfigure<YouProjectNameDbContext>()
  41.             .UseRouteConfig(op =>
  42.             {
  43.                 // op.AddShardingDataSourceRoute<TodoDataSourceRoute>(); //分库规则，这次不包含
  44.                 op.AddShardingTableRoute<ChatRecordTableRoute>(); //分表规则，单表添加
  45.                 op.AddShardingTableRoute<ExternalContactTableRoute>();
  46.                 op.AddShardingTableRoute<KeywordTableRoute>();
  47.             })
  48.             .UseConfig((sp, op) =>
  49.             {
  50.                 //var loggerFactory = sp.GetRequiredService<ILoggerFactory>();
  51.                 op.UseShardingQuery((conStr, builder) =>
  52.                 {
  53.                     builder.UseMySql(conStr, MySqlServerVersion.LatestSupportedServerVersion);
  54.                 });
  55.                 op.UseShardingTransaction((connection, builder) =>
  56.                 {
  57.                     builder.UseMySql(connection, MySqlServerVersion.LatestSupportedServerVersion);
  58.                 });
  59.                 op.UseShardingMigrationConfigure(builder =>
  60.                 {
  61.                     builder.ReplaceService<IMigrationsSqlGenerator, ShardingMigrationsSqlGenerator>();
  62.                 });
  63.                 op.AddDefaultDataSource("ds0", configuration.GetConnectionString("Default"));
  64.             })
  65.             .AddShardingCore();
  66.         // 你的其它代码...
  67. }
复制代码
 
 
使用DbMigrator创建数据库结构

到此所有的配置都完成了，尝试分表是否生效。
清空Migrations文件夹在YouProjectName.EntityFrameworkCore模块中。
执行你的YouProjectName.DbMigrator，查看表结构是否符合预期。（DbMigrator会自动生成初始化迁移）
注意：不要使用“dotnet ef database update”这种方式更新数据库，分表不会正确创建。
注意：分表不能作为其它表的外键表。
注意：不能使用Include方式操作数据，如果使用改造为Join方式查询。
注意：如果DbMigrator执行报错，查看日志排查。提醒检查是否有Entity包含Entity的属性，EF会自动创建外键映射。
 
最后添加数据验证是否符合预期
来源:https://www.cnblogs.com/kaili/p/18346556
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！

上一篇: WPFUI报错 - page does not have a parameterless constructor

下一篇: .NET 免费开源工业物联网网关

发表于 2024-8-7 14:12:00

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4