某市驾驶培训监管服务平台 GreatSQL 数据库适配之旅
某市驾驶培训监管服务平台 GreatSQL 数据库适配之旅一、项目背景
某市驾培系统主要为社会公众提供驾培单位查询和学车报名，为相关合作单位提供某市驾培监管、某市驾培考核等功能。业务信息教练车培训过程视频信息、包括培训机构基本信息、教练员基本信息和学员个人等信息，其服务范围为社会公众。信息系统定级为第三级。
某市驾培系统部署在某市政务云平台互联网区域和政务外网区域，采用 B/S 结构，使用 JAVA 语言开发。使用 JAVA 语言开发。租用了十多台台虚拟化服务器，其中应用类虚拟化服务器十多台，数据库虚拟化服务器两台，十多台虚拟化服务器的操作系统均为 CentOS v7.4，应用中间使用 Tomcat 9.0 数据库使用 MySQL v5.7.29。
某市驾驶培训监管服务平台系统拓扑
二、渗透测试、系统漏洞、专家建议（等保测评后）
根据渗透测试及漏洞扫描结果，某市驾培系统平台某市云机房所使用的十多台服务器中共发现紧急漏洞三个，高风险漏洞十三个,发现安全问题四十多个，中风险问题二十多个等，其服务器漏洞已与开发单位沟通确认并制定整改计划，将持续进行整改。
序号名称（地址）漏洞类型漏洞数量危险级别整改情况1https://..cn/订单金额可被篡改1高已整改跨站脚本漏洞2高已整改不安全的SSL协议1中已整改点击劫持：X-Frame-Options头缺失1低已整改2http://124...40:6002/文件上传接口越权1高已整改跨站脚本漏洞2高已整改不安全的SSL协议1中已整改JQuery版本过低1中已整改Cookie未设置HttpOnly1低已整改序号端口号漏洞名称风险IP整改情况15353 udpmDNS服务检测中风险192.166..整改中23306MySQL 5.7.x < 5.7.30存在多个漏洞(2020年04月CPU)中风险192.166..整改中33306MySQL 5.7.x < 5.7.31存在多个漏洞(2020年7月CPU)中风险192.166..整改中43306MySQL 5.7.x < 5.7.32存在多个安全漏洞(2020年10月CPU)中风险192.166..整改中55353 udpmDNS服务检测中风险192.166..整改中68080ServletExec 4.1 ISAPI 物理路径暴露中风险192.166..整改中75672AMQP明文验证中风险192.166..整改中880Web 服务器 HTTP 头文件信息披露中风险192.166..整改中98080Web 服务器 HTTP 头文件信息披露中风险192.166..整改中105353 udpmDNS服务检测中风险192.166..整改中115353 udpmDNS服务检测中风险192.166..整改中125353 udpmDNS服务检测中风险192.166..整改中13443Web 服务器 HTTP 头文件信息披露中风险192.166..整改中146003Web 服务器 HTTP 头文件信息披露中风险192.166..整改中1580Web 服务器 HTTP 头文件信息披露中风险192.166..整改中168080Web 服务器 HTTP 头文件信息披露中风险192.166..整改中178081Web 服务器 HTTP 头文件信息披露中风险192.166..整改中185353 udpmDNS服务检测中风险192.166..整改中1922OpenSSH < 7.5 漏洞中风险192.166..整改中2022OpenSSH < 7.6 文件创建限制绕过漏洞中风险192.166..整改中2122OpenSSH 用户枚举漏洞(CVE-2018-15919)中风险192.166..整改中2222OpenSSH < 7.5 漏洞中风险192.166..整改中2322OpenSSH < 7.6 文件创建限制绕过漏洞中风险192.166..整改中2422OpenSSH 用户枚举漏洞(CVE-2018-15919)中风险192.166..整改中255353 udpmDNS服务检测中风险192.166..整改中2622OpenSSH < 7.5 漏洞中风险192.166..整改中2722OpenSSH < 7.6 文件创建限制绕过漏洞中风险192.166..整改中2822OpenSSH 用户枚举漏洞(CVE-2018-15919)中风险192.166..整改中295353 udpmDNS服务检测中风险192.166..整改中3099Web 服务器 HTTP 头文件信息披露中风险192.166..整改中31Nginx range 过滤器整形溢出漏洞(CVE-2017-7529)中风险192.166..整改中3299nginx < 1.13.2 整形溢出漏洞中风险192.166..整改中333306MySQL 5.7.x < 5.7.30存在多个漏洞(2020年04月CPU)中风险192.166..整改中343306MySQL 5.7.x < 5.7.31存在多个漏洞(2020年7月CPU)中风险192.166..整改中353306MySQL 5.7.x < 5.7.32存在多个安全漏洞(2020年10月CPU)中风险192.166..整改中序号问题类别问题描述风险级别整改措施整改情况1安全区域边界未限制无线网络的使用中风险建议严格限制无线网络的使用因政务云服务商环境所限，暂不具备整改条件。需向云服务商咨询确认。2安全计算环境某市驾驶培训监管服务平台前台、服务器操作系统和数据库未采用两种或两种以上组合的鉴别技术。中风险建议采用两种或两种以上组合的鉴别技术实现用户身份鉴别，如数字证书、令牌等将通过该系统升级改造等方式实施整改。需向云服务商询问情况3安全计算环境未采用密码技术保证重要业务数据、重要审计数据、主要配置数据和部分个人信息在存储过程中的保密性中风险建议对系统管理数据、鉴别信息及重要业务数据采用经国家密码主管部门认可的密码技术，保证其在存储过程中数据的私密性将通过申请该系统密评改造等方式进行整改。4安全计算环境未对服务器操作系统配置文件进行异地备份，未提供业务数据异地实时备份功能中风险建议利用通信网络将关键数据实时传送至备用场地，实现异地数据异地备份建议承建单位按照整改措施进行整改。建议每周为周期整体备份系统数据，异地保存。建议政务云服务商提供虚拟主机备份的形式。5安全计算环境某市驾驶培训监管服务平台管理后台、服务器操作系统和数据库未授予不同账户为完成各自承担任务所需的最小权限中风险建议系统授予不同用户为完成各自承担的任务所需的最小权限，将系统管理员和业务操作员权限分离，并设置独立的安全审计员角色，对各类用户的操作行为进行审计监督建议系统开发单位于12月底前完成整改。三、项目目标
将某市驾培系统目前的版本 MySQL v5.7.29 数据库升级到 GreatSQL v8.0.32（数据库名为TYU&……*IO）, 某市驾培系统目前的数据量1T，备份完的数据量 20G（进行压缩且无备份TY_tra库及日志表），备份时间 202408192200
3.1 数据库基本信息
基本信息版本源端目标端数据库MySQL v5.7.29GreatSQL v8.0.32OSCentOS v7.4CentOS v7.4数据量1T1T存储本地文件系统本地文件系统3.2 某市驾培系统源库相关情况
a) 源库库表
库名
TY_ApolloConfigDB
TY_ApolloPortalDB TY_Longan
TY_Mysql
TY_yg_ass
TY_yg_ins
TY_yg_site
TY_yg_ssj
TY_yg_sys
TY_yg_tra
TY_yg_tra_test
b)源库库索引：见表格
c)源库库同义词：无
d)源库库序列：无
e)源库库触发器：无
f)源库库存储过程：见表格
g)源库库视图：无
h)源库库function：无
i)源库库package：无
j)源库库package body：无
k)其他3.3 数据量情况
数据量为订单900左右/天，培训数8w左右/天，车载数电子日志8k左右/天，分钟学时数200w左右/天，培训照片20w左右/天；
3.4 迁移停机时间
24小时内完成迁移停机。
四、项目目标上线数据迁移的步骤
五、项目服务运行拓扑
服务软件安装包
-rw-r--r-- 1 root root 121M Feb 4 03:02 greatsql-8.0.32-25.1.el7.x86_64.rpm-bundle.tar.xz
-rw-r--r-- 1 root root 19M Feb 2 15:51 greatsql-client-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 1.9M Feb 2 15:51 greatsql-devel-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 2.1M Feb 2 15:51 greatsql-icu-data-files-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 5.0M Feb 2 15:51 greatsql-mysql-router-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 93M Feb 2 15:51 greatsql-server-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 1.5M Feb 2 15:51 greatsql-shared-8.0.32-25.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 1.5M Feb 2 15:51 greatsql-shell-8.0.32-16-Linux-glibc2.17-x86_64.tar.xz
某市驾培系统数据库运行拓扑
六、某市驾培系统数据库环境搭建
7.1、安装目标端操作系统并且优化
A、解决ssl的问题
安装 SSL 的相关包
openssh-9.8p1-1.el7.x86_64.rpm
openssh-clients-9.8p1-1.el7.x86_64.rpm
openssh-debuginfo-9.8p1-1.el7.x86_64.rpm
openssh-server-9.8p1-1.el7.x86_64.rpm
openssl-1.1.1h.tar，zlib-1.2.11B、优化系统参数配置文件sysctl.conf、limits.conf、selinux
sysctl.conf：
fs.aio-max-nr = 3145728
fs.file-max = 6815744
kernel.shmmni = 4096
kernel.shmmax = 68719476736
#kernel.shmall = 8388608
kernel.shmall = 16777216
kernel.sem = 250 32000 100 128
kernel.panic_on_oops = 1
kernel.numa_balancing= 0
kernel.pid_max = 131072
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
vm.min_free_kbytes= 4048576
vm.hugetlb_shm_group =1000
vm.nr_hugepages =21845
net.ipv4.ipfrag_low_thresh=15728640
net.ipv4.ipfrag_high_thresh=16777216
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2878
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.accept_source_route =0
net.ipv4.tcp_syncookies = 1
kernel.core_uses_pid = 1limits.conf：
mysql softnproc65536
mysql hardnproc65536
mysql softnofile 65536
mysql hardnofile 65536selinux：
SELINUX=disabledC、系统加固
加强账号及口令安全策略
编号Linux-02001名称加强账号及口令安全策略系统当前状态系统当前的账号及口令没有配置安全策略实施方案建议按照如下方式进行账号及口令安全策略的配置，修改/etc/login.defs文件，将相应的字段修改为以下内容：PASS_MAX_DAYS 90 //口令最长存留期PASS_MIN_DAYS 30 //口令最短存留期PASS_MIN_LEN 8 //口令最少字符数PASS_WARN_AGE 15 //口令到期提醒时间 (以上仅对实施完这条策略后，新增加的用户有效)实施目的增加Linux系统登陆账号的安全性实施风险无回滚方案加固前创建备份目录，按照日期命名：mkdir /root/backup2021 将需要修改的配置文件复制保存在备份目录：cp /etc/login.defs /root/backup2021/需要回退的时候将修改前的备份文件覆盖回配置文件即可：cp/root/backup2021/login.defs /etc/security/login.defs是否实施（客户填写）登陆失败锁定
编号Linux-02002名称登陆失败锁定系统当前状态登录失败无处理手段实施方案建议按照如下方式进行账号及口令安全策略的配置，修改/etc/pam.d/system-auth文件，将相应的字段修改为以下内容：authrequiredpam_tally.so deny=5 unlock_time=20 (以上仅对实施完这条策略后，新增加的用户有效)实施目的增加Linux系统登陆账号的安全性实施风险无回滚方案加固前创建备份目录，按照日期命名：（不用重复创建） mkdir /root/backup2021将需要修改的配置文件复制保存在备份目录：cp /etc/pam.d/system-auth /root/backup2021/需要回退的时候将修改前的备份文件覆盖回配置文件即可：cp /root/backup2021/system-auth /etc/pam.d/system-auth是否实施（客户填写）7.2、搭建目标端 GreatSQL 环境，安装最新补丁
A、调整数据库参数
1)配置hugepage
# /etc/sysctl.conf中添加如下一行
vm.nr_hugepages=46082
# 对/etc/security/limits.conf文件进行修改
mysql soft memlock unlimited
mysql hard memlock unlimitedB、数据库实例配置文件 my.cnf 如下例所示
no-beep
socket =/usr/local/mysql/data/mysql.sock
# pipe
# socket=0.0
port=3306
default-character-set=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
port=3306
pid-file=/usr/local/mysql/data/mysqld.pid
#skip-grant-tables
#skip-name-resolve
socket = /usr/local/mysql/data/mysql.sock
character-set-server=utf8
default-storage-engine=INNODB
slow_query_log = 1
slow_query_log_file = /usr/local/mysql/log/slow_query.log
general_log = 0
general_log_file = /usr/local/mysql/log/general_query.log
expire-logs-days = 14
validate_password_dictionary_file='/usr/local/mysql/lib/plugin'
validate_password_check_user_name=on
plugin-load-add=validate_password.so
validate-password=FORCE_PLUS_PERMANENT
#default_password_lifetime=0
skip-external-locking = 1
skip-name-resolve = 1
explicit_defaults_for_timestamp = true
# Server Id.
server-id=22611
log_timestamps=system
log_bin =/usr/local/mysql/log/mysql-bin
log_bin_index=/usr/local/mysql/log/mysql-bin.index
binlog_format = row
relay_log_recovery=ON
relay_log=/usr/local/mysql/log/mysql-relay-bin
relay_log_index=/usr/local/mysql/log/mysql-relay-bin.index
log-error = /usr/local/mysql/data/mysqld.log
#### replication ####
replicate_wild_ignore_table = information_schema.%,performance_schema.%,sys.%
#### semi sync replication settings #####
plugin_dir=/usr/local/mysql/lib/pluginplugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
loose_rpl_semi_sync_master_enabled = 1
loose_rpl_semi_sync_slave_enabled = 1
loose_rpl_semi_sync_master_timeout = 5000
#binlog-do-db=cfdi,cloudcp
#binlog-ignore-db=mysql
max_connections=2000
query_cache_size=0
max_heap_table_size = 64
Mnet_buffer_length = 8K
table_open_cache=2000
tmp_table_size=246M
thread_cache_size=300 #限定用于每个数据库线程的栈大小。默认设置足以满足大多数应用
thread_stack = 192k
key_buffer_size=512M
read_buffer_size=4M
read_rnd_buffer_size=32M
binlog_cache_size = 16m
max_binlog_cache_size = 128m
max_binlog_size = 128m
innodb_data_home_dir = /usr/local/mysql/data/
#innodb_data_file_path = libdata1:1024M:autoextend
innodb_flush_log_at_trx_commit=0
innodb_log_buffer_size=16M
innodb_buffer_pool_size=256M
innodb_log_file_size=128M
innodb_log_files_in_group =6
#innodb_log_group_home_dir = /usr/local/mysql/log/redo-log
innodb_thread_concurrency=128
innodb_autoextend_increment=1000
innodb_buffer_pool_instances=8
innodb_concurrency_tickets=5000
innodb_old_blocks_time=1000
innodb_open_files=300
innodb_stats_on_metadata=0
innodb_file_per_table=1
innodb_checksum_algorithm=0
back_log=80
flush_time=0
join_buffer_size=128M
max_allowed_packet=1024M
max_connect_errors=2000
open_files_limit=4161
query_cache_type=0
sort_buffer_size=32M
table_definition_cache=1400
binlog_row_event_max_size=8K
sync_master_info=10000
sync_relay_log=10000
sync_relay_log_info=10000
sync_binlog = 1
#innodb_flush_logs_at_trx_commit=2
innodb_support_xa=ture
#innodb_safe_binlog=1
#批量插入数据缓存大小，可以有效提高插入效率，默认为8
Mbulk_insert_buffer_size = 64M
interactive_timeout = 120
wait_timeout = 120
log-bin-trust-function-creators=1
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLESC、数据库修改 server-id参数 每台服务器的参数ID不能相同
server-id=22611
server-id=22617
server-id=22618重启数据库数据库实例，使如上配置生效
D、安装密码插件，密码重用限制，密码验证，双密码验证
greatsql> SELECT * FROM mysql.plugin;
#在线添加
greatsql> INSTALL PLUGIN validate_password SONAME 'validate_password.so';
greatsql> SET GLOBAL validate_password_dictionary_file = "/usr/local/mysql/lib/plugin/";
greatsql> SET GLOBAL validate_password_check_user_name= ON;
greatsql> SHOW GLOBAL VARIABLES LIKE '%validate_password%';
greatsql> SHOW STATUS LIKE 'validate_password%';
greatsql> SET GLOBAL validate_password_policy=0;
greatsql> SELECT plugin_name,plugin_status,plugin_type,load_option,plugin_library FROM information_schema.plugins;7.3、搭建目标端greatsql-mysql-router-8.0.32-25环境，安装最新补丁
A 、Profile文件
在 PATH= 添加 mysqlrouter 所在路径
/usr/local/greatsql-mysql-router-8.0.32/bin/，如：
PATH=$PATH:$JAVA_BIN:$ES_HOME:
/usr/local/greatsql-mysql-router-8.0.32/bin/验证是否安装成功：
$ mysqlrouter --helpB、服务配置
$ mkdir /usr/local/greatsql-mysql-router-8.0.32/log
$ mkdir /usr/local/greatsql-mysql-router-8.0.32/data
$ chown mysql:mysql /etc/mysqlrouter.conf
$ chown -R mysql:mysql /usr/local/greatsql-mysql-router-8.0.32 C、创建配置文件
#可参考
/usr/local/ greatsql-mysql-router-8.0.32/share/doc/mysqlrouter/sample_mysqlrouter.conf
$ cat mysqlrouter.conf
logging_folder = /usr/local greatsql-mysql-router-8.0.32/log
plugin_folder = /usr/local/greatsql-mysql-router-8.0.32/lib/mysqlrouter
data_folder=/usr/local/greatsql-mysql-router-8.0.32/data
level = INFO
bind_address = 0.0.0.0
bind_port = 7001
destinations = 192.166.*.*:3306, 192.166.*.*:3306
routing_strategy = first-available
bind_address = 0.0.0.0
bind_port = 7002
destinations = 192.166.*.*:3306
routing_strategy = round-robin七、迁移测试
7.1 生产库数据导出
1)查看数据库表
$ mysql -uroot -p
greatsql> USE TYU&……*IO
greatsql> SELECT * FROM test1; 2)生产库数据导出
$ /usr/local/mysql/bin/mysqldump -uroot -h192.166.*.*-P3306 -plezhiyun@lzx -d TYU&……*IO> TYU&……*IO20240819.sql
-- 导出数据库为dbname某张表(test)结构
$ /usr/local/mysql/bin/mysqldump -uroot -plezhiyun@lzx -d TYU&……*IO > TYU&……*IO.sql 7.2 数据导入
A、创建用户
$ mysql -uroot -h192.166.*.* -P3306 -plezhiyun@lzx -A
greatsql> DROP DATABASE TYU&……*IO;
greatsql> CREATE DATABASE IF NOT EXISTS TYU&……*IO DEFAULT CHARSET utf8 COLLATE utf8_general_ci;B、导入数据
数据库导入：
greatsql> connect TYU&……*IO
greatsql> SOURCE /home/TYU&……*IO.sql八、项目目标上线数据迁移的项目计划
序号阶段工作项预计起始时间执行方执行人备注1环境搭建操作系统的申请安装测试环境集群数据库安装2迁移测试数据导入测试数据库压力测试功能测试3正式割接正式割接实施4割接后数据库保障九、回退方案
割接窗口内迁移失败，则方案进入回退。操作步骤如下；
[*]迁移停止；
[*]修改原生产库的IP地址；
[*]将原生产库的监听打开；
[*]应用程序重新连接至原库；
十、满足渗透测试、系统漏洞、专家建议
安全计算环境未采用密码技术保证重要业务数据、重要审计数据、主要配置数据和部分个人信息在存储过程中的保密性中风险建议对系统管理数据、鉴别信息及重要业务数据采用经国家密码主管部门认可的密码技术，保证其在存储过程中数据的私密性将通过申请该系统密评改造等方式进行整改。安全计算环境未对服务器操作系统配置文件进行异地备份，未提供业务数据异地实时备份功能中风险建议利用通信网络将关键数据实时传送至备用场地，实现异地数据异地备份建议承建单位按照整改措施进行整改。建议每周为周期整体备份系统数据，异地保存。建议政务云服务商提供虚拟主机备份的形式。安全计算环境某市驾驶培训监管服务平台管理后台、服务器操作系统和数据库未授予不同账户为完成各自承担任务所需的最小权限中风险建议系统授予不同用户为完成各自承担的任务所需的最小权限，将系统管理员和业务操作员权限分离，并设置独立的安全审计员角色，对各类用户的操作行为进行审计监督建议系统开发单位于12月底前完成整改。安全计算环境数据库设置登录连接超时自动退出时间为8小时，时间过长中风险建议数据库设置合理的登录连接超时自动退出时间建议系统开发单位于12月底前完成整改。安全计算环境服务器操作系统和数据库未重命名或删除系统默认账户中风险建议服务器操作系统和数据库重命名或删除系统默认账户建议系统开发单位于12月底前完成整改。不要使用Root账户远程登录安全计算环境服务器操作系统和数据库存在共享账户的情况中风险建议根据实际需求，为不同的用户分配不同权限的账号，避免共用同一个账号对系统进行操作建议系统开发单位于12月底前完成整改。安全计算环境未对重要主体和客体设置安全标记低风险建议对重要主体和客体设置安全标记，并控制用户对已标记的敏感信息的操作建议后期逐步完成敏感信息的分类分级后逐步完成整改。安全计算环境未基于可信根对计算设备的系统引导程序、系统程序、重要配置参数和应用程序等进行可信验证低风险建议基于可信根对计算设备的系统引导程序、系统程序、重要配置参数和应用程序等进行可信验证，并在应用程序的关键执行环节进行动态可信验证，在检测到其可信性受到破坏后进行报警，并将验证结果形成审计记录送至安全管理中心暂不具备整改条件，测评中心建议可接受此风险。安全管理中心未对安全策略配置、恶意代码防范措施升级、补丁升级等安全相关事项进行集中管理中风险建议对安全策略配置、恶意代码防范措施升级、补丁升级等安全相关事项进行集中管理将根据云服务商的安全策略进行整改。询问政务云服务商具体措施。安全管理机构未定期审查审批事项，及时更新需授权和审批的项目、审批部门和审批人等信息低风险建议定期审查审批事项，及时更新需授权和审批的项目、审批部门和审批人等信息将于2023年开展测评工作前进行整改。
Enjoy GreatSQL
来源:https://www.cnblogs.com/greatsql/p/18466978
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！
页:
[1]