不要再犯SQL的这些常见错误了!

数据库 SQL Server
SQL上手特别简单,在所有语言里算是简单的一种,甚至很多人不认为它算得上编程语言。但是,不要被SQL的简单外表迷惑了,如果我们问自己:多少次我尝试从大数据抓取数据,但是获得了不完整或者错误的数据?答案是:太多次了,连自己都数不清!

 SQL上手特别简单,在所有语言里算是简单的一种,甚至很多人不认为它算得上编程语言。但是,不要被SQL的简单外表迷惑了,如果我们问自己:多少次我尝试从大数据抓取数据,但是获得了不完整或者错误的数据?答案是:太多次了,连自己都数不清! 

[[358361]]

而正是因为SQL代码不轻易报错(通常只要语法正确,都会返回一些数据,但未必是你本来想要的),我们反而需要花更多的精力去校对,确保数据的准确性。

以下,我们总结了最关键的5个SQL常见错误,以儆效尤:

1. Queries语句的执行顺序

 

SQL的入门门槛很低。很多人认为会使用Join, Group By 语句就可以自诩专家了。但是“砖家”们真的知道SQL语句的执行顺序吗?

SQL查询不是以SELECT开始的,虽然我们编写代码时,它们在编辑器中是从Select开始编写的,但是实际执行却并不是从SELECT开始的。

数据库首先使用FROM和JOIN执行查询,这就是为什么我们可以在WHERE中使用合并表中的值。

为什么我们不能在WHERE语句中筛选分组(GROUP BY) 的结果?因为GROUP BY在WHERE之后才会被执行。因此,我们需要通过HAVING进行更进一步的条件筛选。

常规情况下,SELECT是最后执行语句。它决定了查询结果需要输出哪些列,并进行何种聚合运算。此外,WINDOW FUNCTION 在这一步被执行。

这就是为什么当我们尝试在WHERE中筛选WINDOW FUNCTION的结果时会出现错误。

注意:数据库使用查询优化器来优化查询语句执行。优化器可能会更改某些操作的顺序,以便查询运行得更快。以上的介绍是正对常见情况下,对SQL执行幕后所发生事情的笼统的概述。

2. WINDOW FUNCTION 是做什么的?

 

很多人第一次遇到WINDOW FUNCTION时都觉得它似乎很神秘。为什么使用Window function作为分组可以聚合数据?

Window Function (WF) 通过特定语句简化了许多操作步骤以方便语句运行:

  • WF允许直接访问当前记录前后的数据。参见LEAD和LAG函数。
  • WF可以使用GROUP BY对已经聚合的数据执行额外的聚合。见上图中的示例:使用WF计算移动累计销售额。
  • ROW_NUMBER 可以遍历每一行。还可以用来删除重复的记录。或者取一个随机样本。
  • 顾名思义,WF可以计算给定窗口的统计信息:

 

上面的WF计算的就是从第一个记录到当前记录的累计总和。

Window Function值得你去专门花时间学习一下基本原理,不然很可能会把查询语句写得过于复杂以至于程序报错。

3. 利用CASE WHEN 计算平均值

CASE WHEN类似于编程语言中的IF条件语句。当我们需要对数据的某个子集计算统计信息时,它的作用就显现出来了。

 

上面的代码计算了在美国销售的产品的平均价格,但是这段代码有一点小问题,也就是对于Else的编写是有问题的。

在第一个个语句中,这段代码将所有非美国产品价格设为0,这降低了总体平均价格。如果有很多非美国产品,平均价格可能接近于0。

 

在第二个例子中,它只计算了在美国销售的产品的平均价格,这才是我需要的结果。请注意在这里使用CASE时不需要包括ELSE,因为它默认为NULL。

 

请注意在使用CASE语句时,一定要小心使用“else 0”。它对SUM没有任何影响,但是会对AVG平均计算产生巨大影响。

4. 对存在缺失值的列执行JOIN语句

SQL中有4种不同的JOIN: Inner, Outer, Left和Right。当我们在查询中使用JOIN时,它默认为INNER JOIN。

 

虽然我对JOIN有一些研究学习,但是我还是会犯一些小错误。

如上图所示执行JOIN语句,结果显示许多记录都丢失了。为什么会这样?明明是很简单的JOIN语句。

真是的原因其实是表1和表2中string_field列存在许多NULL值。通常人们会认为JOIN会保留NULL的记录因为NULL等于NULL,难道不是吗?

然后我运行如下语句:

 

 

 

 

结果返回的是NULL。

对于这种情况,为了不丢失有NULL的记录,解决方法应该是利用COALESCE,将string_field中的NULL转换为空字符串。

 

但需要注意的是,这样做会将表1中每个包含NULL的记录与表2中每个包含NULL的记录全部匹配起来。

通过使用ROW_NUMBER() 的 WINDOW FUNCTION,我们可以移除这些重复的匹配:

  • 假设该数据表对每一行都有唯一的标识符“某某某ID”和一个时间戳字段。
  • 只需保留每个标识符的第一行,这样就可以删除重复项。

 

5. 对于复杂的查询语句不会使用临时表

SQL另外一大优点就是能够调试纠错。

 

我们可以拆分复杂的查询语句并创建多个临时表。然后可以对这些表运行“完整性检查”,以确保它们包含正确的记录。在设计一个全新且重要的查询或报告时,强烈推荐使用这种方法。

 

临时表的唯一缺点是数据库中的查询优化器无法优化该查询。

当需要保证执行效率时,可以将创建临时表的语句用with语句重新定义、查询。

 

 

责任编辑:华轩 来源: MarTechCareer
相关推荐

2021-01-01 14:37:51

SQL数据库语言

2020-08-21 08:12:56

人工智能技术互联网

2018-10-17 11:20:55

SQL数据库程序员

2020-07-01 07:38:38

SQL数据库程序员

2023-07-12 09:52:57

自动驾驶模式

2017-11-02 15:42:32

开发错误代码

2015-04-28 10:35:01

设计

2010-07-09 15:04:25

SQL Server

2011-03-28 14:59:53

SQL Server

2023-01-09 15:16:17

2019-05-31 15:10:33

SQL数据库MySQL

2011-07-04 15:04:04

SQL Server

2016-10-21 10:00:01

HTML标签WEB

2018-08-28 10:36:01

5G高通华为

2015-08-19 14:11:56

SQL Server错误处理

2020-04-30 13:41:59

用户输入错误Pythonkeyerror

2017-06-07 15:37:51

MySQLSQL性能优化

2017-03-16 14:30:52

5G4G联通

2021-01-14 21:37:01

JavaScript开发代码

2011-04-02 10:47:51

点赞
收藏

51CTO技术栈公众号