MySQL中使用distinct单、多字段去重方法

石莉

多个字段拼接去重是指将多个字段的值按照一定的规则进行拼接，并去除重复的拼接结果。这样可以生成唯一标识符或者进行数据统计。

一、distinct

distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段
用法注意：

1. distinct【查询字段】，必须放在要查询字段的开头，即放在第一个参数；
   
2. 只能在SELECT 语句中使用，不能在 INSERT, DELETE, UPDATE 中使用；
   
3. DISTINCT 表示对后面的所有参数的拼接取不重复的记录，即查出的参数拼接每行记录都是唯一的
   
4. 不能与all同时使用，默认情况下，查询时返回的就是所有的结果。

复制代码

1.1 只对一个字段查重

对一个字段查重，表示选取该字段一列不重复的数据。
示例表：psur_list

PLAN_NUMBER字段去重，语句：

1. SELECT DISTINCT PLAN_NUMBER FROM psur_list;

复制代码

1.2多个字段去重

对多个字段去重，表示选取多个字段拼接的一条记录，不重复的所有记录
PLAN_NUMBER和PRODUCT_NAME字段去重，语句：

1. SELECT DISTINCT PLAN_NUMBER,PRODUCT_NAME FROM psur_list;

复制代码

期望结果：只对第一个参数PLAN_NUMBER取唯一值
解决办法一：使用group_concat 函数
语句：

1. SELECT GROUP_CONCAT(DISTINCT PLAN_NUMBER) AS PLAN_NUMBER,PRODUCT_NAME from psur_list GROUP BY PLAN_NUMBER

复制代码

解决办法二：使用group by语句：

1. SELECT PLAN_NUMBER,PRODUCT_NAME FROM psur_list GROUP BY PLAN_NUMBER

复制代码

1.3针对null处理

distinct不会过滤掉null值，返回结果包含null值
表psur_list如下：

对COUNTRY单字段去重，语句：

1. SELECT DISTINCT COUNTRY FROM psur_list

复制代码

对COUNTRY多字段去重，语句：

1. SELECT DISTINCT PRODUCT_NAME,COUNTRY FROM psur_list

复制代码

1.4与distinctrow同义

语句：

1. SELECT DISTINCTROW COUNTRY FROM psur_list

复制代码

二、聚合函数中使用distinct

在聚合函数中DISTINCT 一般跟 COUNT 结合使用。count（）会过滤掉null项

1. SELECT DISTINCT COUNTRY FROM psur_list

复制代码

语句：

1. SELECT COUNT(DISTINCT COUNTRY) FROM psur_list

复制代码

结果如下：【实际包含null项有4个记录，执行语句后过滤null项，计算为3】

例二：多字段

1. SELECT DISTINCT PRODUCT_NAME,COUNTRY FROM psur_list
   
2. //9条

复制代码

语法：

1. SELECT COUNT(DISTINCT PRODUCT_NAME,COUNTRY) FROM psur_list

复制代码

两者都把null行过滤了，注意使用。

三、CONCAT_WS函数

创建测试表
首先，我们需要创建一个测试表来演示多个字段拼接去重的过程。假设我们有一个users表，包含以下字段：

1. id    name    age    gender
   
2. 1    Alice    25    Female
   
3. 2    Bob    30    Male
   
4. 3    Alice    25    Female
   
5. 4    Alice    30    Female

复制代码

我们将使用这个表来进行演示。
使用GROUP_CONCAT函数进行拼接
MySQL提供了GROUP_CONCAT函数，可以用来将一列的值进行拼接。我们可以使用这个函数来实现多个字段的拼接。
下面的示例将演示如何将name和age字段进行拼接，并去重：

1. SELECT GROUP_CONCAT(DISTINCT CONCAT(name, age) SEPARATOR ',')
   
2. FROM users;

复制代码

运行以上SQL语句，将会返回去重后的拼接结果：

1. Alice25,Alice30,Bob30

复制代码

使用CONCAT_WS函数进行拼接除了GROUP_CONCAT函数，MySQL还提供了CONCAT_WS函数，它可以将多个字段的值进行拼接，并使用指定的分隔符进行分隔。
下面的示例将演示如何将name和age字段进行拼接，并使用逗号作为分隔符：

1. SELECT CONCAT_WS(',', name, age)
   
2. FROM users
   
3. GROUP BY name, age;

复制代码

运行以上SQL语句，将会返回拼接后的结果：

1. Alice,25Alice,30Bob,30

复制代码

去除重复的拼接结果在上述示例中，我们可以看到，使用GROUP_CONCAT或者CONCAT_WS函数可以将多个字段进行拼接，但是它们并不能去除重复的拼接结果。如果我们需要去除重复的拼接结果，可以使用子查询和DISTINCT关键字来实现。
下面的示例演示了如何使用子查询和DISTINCT关键字来去除重复的拼接结果：​​​​​​​

1. SELECT DISTINCT CONCAT_WS(',', name, age)
   
2. FROM (
   
3.     SELECT name, age
   
4.     FROM users
   
5.     GROUP BY name, age
   
6. ) AS subquery;

复制代码

运行以上SQL语句，将会返回去重后的拼接结果：​​​​​​​

1. Alice,25Alice,30Bob,30

复制代码

参考文章：
【sql】MySQL中使用distinct单、多字段去重方法_mysql distinct 多个字段-CSDN博客
mysql GROUP_CONCAT函数详解-CSDN博客
mysql 多个字段拼接去重(GROUP_CONCAT)_mysql group_concat 去重-CSDN博客
到此这篇关于MySQL中使用distinct单、多字段去重方法的文章就介绍到这了,更多相关MySQL 字段去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/database/320582xvg.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！