开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据库

1.4w内容

关注

数据库话题为数据库工程师和数据库管理人员提供数据库相关新闻资讯、前沿技术、管理和开发技巧、使用案例等内容，涉及SQL Server、MySQL、MariaDB、PostgreSQL、Redis、MongoDB等数据库。

文章博文帖子课程

共 1.4w 条

分享几个索引创建的小 Tips

由于在 A 这个二级索引中就包含了 ID 字段，所以上面这个查询是可以使用到索引排序的。此时，如果由于其他需求，我们将 A 这个索引扩展成联合索引（A、B）了，那么很明显，再执行上面的查询的时候就用不了索引排序了，只能 filesort 了。这样的问题小伙伴们在创建或者修改索引的时候很容易忽略，所以一定要仔细。

2023-05-30 11:52:11

索引冗余索引冗余索引

四种 MySQL 同步 ES 方案，yyds！

Databus 通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化 client 实时获取变更并进行其他业务逻辑。

2023-05-30 08:38:25

MySQL 数据库日志

PG 16的新特性是不是在挤牙膏呢？

PostgreSQL 16增加了更多的并行查询能力，比如允许FULL和RIGHT JION在并行模式下执行，这两类都是SQL中常有的操作，可以对十分广泛的SQL执行加速。允许parallel group和parallel aggregate则会对统计类的SQL加速，从而更快的执行一些大数据量分析的SQL。

2023-05-30 08:32:00

PG 16 PostgreSQL 模式

如何将Pandas数据帧加载到QuestDB 译文

本文将介绍如何通过使用QuestDB Python包获取Pandas DataFrames来提高时间序列分析能力。

2023-05-30 08:00:00

Pandas QuestDB Python

ArkTS元服务与关系型数据库—计步卡片

这里主要讲解一下ArKTS开发服务卡片，Codelabs开发的是JS服务卡片，还有在把这个JS卡片改为用ArkTS过程中。

2023-05-29 16:51:06

ArKTS 开发服务卡片

MySQL数据库中的函数怎样使用？

函数是指一段可以直接被另一段程序调用的程序或代码。也就意味着，这一段程序或代码在MySQL中已经给我们提供了，我们要做的就是在合适的业务场景调用对应的函数完成对应的业务需求即可。那么，函数到底在哪儿使用呢?

2023-05-29 15:23:37

MySQL 数据库函数

提高代码质量，掌握SQLAlchemy查询过滤、排序、分组和聚合

SQLAlchemy的查询语言是通过SQLAlchemy的查询构建器来实现的。查询构建器是一种将SQLAlchemy查询定义为Python对象的方式。它允许开发人员使用Python来构建查询，而无需编写SQL语句。

2023-05-29 09:21:53

SQL日志太大？教你一键清理

原来数据仓库中，每天的定时任务需要从其他系统里面抽取数据过来，导致数据文件和日志文件的磁盘空间都增长的飞快。

2023-05-29 09:08:27

SQL 日志数据

我们一起聊聊奇怪的SQL问题+1

实际上手动删除的 SQL 这么奇怪就是因为表没有主键，不然正常手动的删除 SQL 上 where 条件肯定是 id =xxx。

2023-05-29 09:07:10

SQL pageSize 主键

深度图解 Redis Hash（散列表）实现原理

Redis 的散列表Dict 由数组 + 链表构成，数组的每个元素占用的槽位叫做哈希桶，当出现散列冲突的时候就会在这个桶下挂一个链表，用“拉链法”解决散列冲突的问题。

2023-05-29 08:31:48

Redis 散列表

聚数成峰，共赢未来，openGauss Developer Day 2023在京举行

以“聚数成峰，共赢未来”为主题的openGauss Developer Day 2023（openGauss开发者大会2023）在北京举办。

2023-05-26 15:20:01

带你读 MySQL 源码：Where 条件怎么过滤记录？

从存储引擎读取一条记录之后，对 Or 连接的 N 个 Where 条件（N >= 2）调用 Item->val_bool()，只要其中一个返回值等于True，记录就匹配 Or 连接的 N 个 Where 条件。

2023-05-26 14:08:00

Where 条件 MySQL

分布式数据库的几个事实，你知道了吗？

分布式数据库一定能提高交易性能吗？我们先来看看RAC，两个节点的环境，大体上会对交易量提升有帮助，而对于交易延时的提升就不一定了，在少数情况下，如果原有系统存在较为严重的资源争用，那么可能RAC会缓解这种争用，提高单一交易性能。不过在大多数情况下，集群是有开销的，单笔交易的延时反而会增加。

2023-05-26 14:07:00

数据库分布式 RAC

MySQL索引，快速记忆法

3. B+Tree的每个叶子节点增加了一个指向相邻叶子节点的指针，它的最后一个数据会指向下一个叶子节点的第一个数据，形成了一个有序链表的结构。

2023-05-26 08:22:08

MySQL 索引数据

慢查询日志中的 Lock_Time 从哪里来？

今天我们就一起来看看，Lock_Time 包含哪些锁等待时间、以及是怎么计算得到的？

2023-05-26 08:21:59

Lock_Time MySQL

再聊聊分布式数据库，你知道了吗？

数据库选型是个很复杂的事情，不过做起来也可以变得很简单。就像我本文中介绍的一个客户，大量的中小型的系统可以直接根据自己的喜好和商务上的考虑，选择一款和Oracle兼容性较好的集中式数据库进行替代了。

2023-05-26 07:55:06

分布式数据库 SQL

Redis 和 MySQL 如何保证数据一致性？

启动一个订阅程序去订阅数据库的binlog，获得需要操作的数据。在应用程序中，另起一段程序，获得这个订阅程序传来的信息，进行删除缓存操作。

2023-05-26 07:34:50

Redis MySQL 缓存

浅析 Redis 中 String 数据类型及其底层编码

如果存储在 SDS 中的数据小于等于 44 字节，则会采用 EMBSTR 编码，此时 **RedisObject 与 SDS 是一段连续空间。而不是像 RAW 的编码方式一样，由 ptr 指向另外一片空间，**申请内存时只需要调用一次内存分配函数，效率更高。

2023-05-26 00:02:31

SDS 数据编码

Redis有哪些持久化方式？一文带你了解技术存储的魅力！

通过以上对Redis持久化方式的介绍，我们可以看到每种方式都有其独特的优势和适用场景。RDB持久化适合用于备份和灾难恢复，AOF持久化提供更高的数据安全性，混合持久化则兼具快速恢复和数据安全性的优势。而关闭持久化则适用于对数据安全性要求较低的临时场景。

2023-05-26 00:00:00

Redis 持久化方式

MySQL Router高可用搭建，你学会了吗？

Pacemaker是一个开源的高可用性集群资源管理和故障转移工具，可以实现在集群节点之间自动管理资源（如虚拟IP、文件系统、数据库等），并在节点或资源故障时进行自动迁移，从而确保整个系统的高可用性和连续性。

2023-05-24 08:14:55

MySQL 开源工具

1.5万字+30张图盘点索引常见的11个知识点

首先主要是讲了聚簇索引和非聚簇索引，随后讲了MySQL对于一些常见查询的优化，比如覆盖索引，索引下推，都是为了减少回表次数，从而减少带来的性能消耗，再后面就提到MySQL是如何选择索引的，最后介绍了索引失效的场景和索引建立的原则。

2023-05-23 22:19:04

索引 MySQL 优化

Mybatis操作数据库执行流程的先后顺序是怎样的？

MyBatis是一个支持普通SQL查询、存储及高级映射的持久层框架，它几乎消除了JDBC的冗余代码。使Java开发人员可以使用面向对象的编程思想来操作数据库。对于MyBatis的工作原理和操作流程的理解，我们先来看下面的工作流程图。

2023-05-23 16:25:48

MyBatis SQL 数据库

中泰证券引入阿里云瑶池数据库：完成核心业务系统自主创新，实现业务微秒级响应

国内大型券商中泰证券股份有限公司（以下简称中泰证券）日前宣布采用阿里云瑶池数据库旗下的云原生内存数据库Tair替换自建系统。

2023-05-23 16:11:56

阿里云瑶池数据库中泰证券

关系型数据库—动态共享包开发

用静态共享包把数据库表操作抽出来，在Entry模块上引入使用，对的，这样也是可以达到分离，但如果有部分公共的资源和代码，只能在开发静态共享，并且打包到每个依赖的HAP里，这样导致包体积较大，且有重复多份公共资源和代码重复打包到应用中。

2023-05-22 16:10:51

动态共享包数据库

莫让时间序列数据搞砸了关系数据库译文

人们忍不住将时间序列数据塞入到熟悉的Postgres或MySQL数据库中，但这是糟糕的主意，原因有很多。

2023-05-22 11:20:27

数据库 MySQL 关系数据

基于图数据库的知识图谱存储技术及实践

创邻科技是一家致力于分布式原生图技术的公司，从 2016 年成立以来，一直在图存储和图计算领域深耕。创邻的图数据库产品 Galaxybase 已经为银行、电力、公安、互联网等行业的多家头部客户提供服务。本文将分享基于图数据库的知识图谱存储技术及实践。

2023-05-22 09:18:04

图数据库知识图谱存储

国产关系型数据库大调查

墨天轮社区提供了流行度评分，其计算方式是参考搜索引擎、趋势指数、三方评测、生态（社区、高校合作、培训认证等）情况、专利数、论文数、招聘岗位数、书籍搜索量、海外机构排名（Gartner、IDC）综合得到的分数。

2023-05-20 08:11:55

国产关系型数据库

SQLAlchemy 建立第一个应用程序

在开始创建应用程序之前，我们需要建立一个基础模型。在SQLAlchemy中，模型是ORM的基础，它用于描述数据库表格和数据之间的映射关系。

2023-05-19 08:49:58

SQLAlchemy 数据库

SQLAlchemy的安装和配置详解

本篇介绍一些SQLAlchemy的基本和高级配置选项。您可以根据自己的需求和应用程序来选择和配置适当的选项，以提高数据库性能和可靠性。

2023-05-18 07:58:27

SQLAlchemy 开源SQL工具包

SQLAlchemy和ORM的基础概念

SQLAlchemy是一个Python的ORM工具包，它允许开发人员使用Python类和对象来操作关系型数据库。SQLAlchemy提供了一种简单、易于使用的接口，可以轻松地将对象模型映射到关系模型中，从而实现ORM的功能。

2023-05-17 10:16:04

ORM工具包 SQLAlchemy

你管这破玩意叫缓存穿透？还是缓存击穿？

Redis缓存预热是指在服务器启动或应用程序启动之前，将一些数据先存储到Redis中，以提高Redis的性能和数据一致性。这可以减少服务器在启动或应用程序启动时的数据传输量和延迟，从而提高应用程序的性能和可靠性。

2023-05-15 10:03:00

Redis 缓存穿透

分库分表的 21 条法则，hold 住！

本文介绍了关于分库分表架构的21个通用概念，有一定的了解之后，接下来我们将进入更深度的内容，包括读写分离、数据脱敏、分布式主键、分布式事务、配置中心、注册中心、Proxy服务等实战案例的讲解和源码分析。

2023-05-15 10:02:00

分库分表数据

一文带你系统性学习Redis

Redis是一款性能优越、功能丰富、易于使用的键值存储数据库，被广泛应用于互联网、移动互联网、大数据和物联网等领域。

2023-05-15 08:44:15

Redis 数据库

查询时长下降十倍！网易有数 BI 物化视图设计要点与内部实践

众所周知，BI 工具因其灵活的使用方式和便捷的结果展示，已成为生产运营和辅助管理决策的重要工具。网易有数 BI 在用户实际使用中，发现多表复杂关联、无效扫描全表数据等许多拖慢性能的现象。为提升用户体验，加速查询性能，有数 BI 设计开发了物化视图产品功能体系，取得了非常好的效果。

2023-05-15 07:42:10

数据库物化视图

【大数据】Presto（Trino）配置参数以及 SQL语法

使用分桶后，Trino优化器可以将查询操作分配到不同的节点上并行执行，以实现更快的查询速度。比如，如果你的分桶表中有100个桶，Trino可以把这100个桶分配到100个不同的节点上并行执行查询操作，从而大大提高查询效率。

2023-05-15 07:40:13

大数据 SQL 语法

Deno Fresh OpenAI 实现智能搜索

Suabase的免费托管PostgresDB非常适合与OpenAI的GPT-3一起使用，因为该数据库带有扩展pgvector，允许您存储嵌入并执行向量相似性搜索。这两者都是构建GPT-3应用程序所必需的。接下来咱们看看怎么实现。

2023-05-15 07:33:19

智能搜索 pgvector GPT-3

关于在 MySQL 排序中使用索引这件事！

在 MySQL8 之前，默认会按照 group by 的字段进行排序，此时加上 order by null 就是告诉 MySQL，不用帮我排序了，直接返回结果就行了，因为如果不加 order by null，则可能会进行 filesort 排序，降低查询效率。

2023-05-12 17:45:15

MySQL 索引排序

Redis持久化：RDB和AOF

重启 Redis 时，我们很少使用 RDB 来恢复内存状态，因为可能丢失大量数据。通常采用 AOF 日志重放，但是重放 AOF 日志性能相对 RDB 来说要慢很多，在Redis实例很大的情况下，启动需要花费很长时间。

2023-05-11 09:12:35

Redis RDB 日志

Windows环境MySQL自动备份脚本

创建一个MySQL备份脚本mysql_backup.bat，并在Windows任务计划程序中设置自动执行。

2023-05-11 08:46:28

国产数据库的谱系，你看明白了吗？

数据库产品的成功绝对不是技术堆叠的成功，而是需要有大量的应用场景磨合才能逐步成功的。如果仅仅依靠自己那几百个用户，想要发展出成熟的高水平的商用数据库产品来，那几乎是不太能的。依靠开源社区的广大用户来研发自己的数据库产品不失为一种比较好的策略。

2023-05-11 08:14:58

国产数据库用户

麻了，一个操作把MySQL主从复制整崩了

我们定位到原来是由于大事务+blob字段大致binlog非常大，最终我们采用了修改业务代码，将blob字段单独拆到一张表中解决。所以，在设计开发过程中，要尽量避免大事务，同时在数据库建模的时候特别考虑将blob字段独立成表。

2023-05-11 08:08:18

MySQL 主从复制

一种KV存储的GC优化实践

本文希望基于从KV存储的设计开始讲解，到GC设计的逐层优化的过程，从问题的存在到不同层面的分析，可以给读者在类似的优化实践中提供一种参考思路。

2023-05-11 07:30:10

KV存储 GC优化

PG类数据库优化之稳定关键SQL执行速度

现在我们如果不使用Oracle数据库了，我们要把应用从Oracle迁移到国产数据库上了，那么这些老手艺可能又有些作用了。不过与那个时代不同的是，现在硬件的能力已经百倍的提升了，存储系统的全局IO打散能力也成为了标配，因此再也不需要像我在二十多年前那样为了一点点的IOPS去精打细算了。

2023-05-10 08:29:12

PG SQL 数据库

MySQL好玩新特性：离线模式

从MySQL 5.7开始，支持设置为离线模式（offline_mode），再有维护操作需求就不用这么麻烦了。只需在线动态修改，可立即生效，非常的简单粗暴。

2023-05-10 08:04:55

MySQL 离线模式生效

Prophecy 3.0如何使企业无须编写SQL代码就能创建数据管道？译文

虽然低代码SQL是新的，但要注意的是，这不是该平台的第一个可视化工具。该公司已经为Spark、Spark Streaming和Apache Airflow（用于数据工作流编排）提供低代码支持——为具有不同专长和需求的用户提供了统一的服务。

2023-05-09 12:34:45

Prophecy 可视化工具

技术派中的缓存一致性解决方案

这篇文章很基础，也非常适用，大家可以直接下载技术派项目，里面都有代码和测试用例，代码仓库详见：https://github.com/itwanger/paicoding

2023-05-09 10:59:33

缓存技术派 MySQL

帮你了解一下Gaussdb，你学会了吗？

目前Gaussdb形成了商用数据库、开源数据库（openGuass）、基于开源数据库的第三方商用数据库这种丰富的生态，又在大生态上兼容流行度排名靠前的PostgreSQL数据库。

2023-05-09 08:25:26

Gaussdb 数据库开源数据库

怎样初始化MySQL？MySQL环境变量配置教程

环境变量里面有很多选项，这里我们只用到Path 这个参数。为什么在初始化的开始要添加环境变量呢?在黑框(即CMD) 中输入一个可执行程序的名字，Windows会先在环境变量中的Path所指的路径中寻找一遍，如果找到了就直接执行，没找到就在当前工作目录找，如果还没找到，就报错。

2023-05-08 15:55:16

MySQL 数据库

YashanDB推出共享集群技术剑指核心系统替换原创

随着信创进入深水期，国产数据库厂商即将面临一个巨大的考验：国产替代必须从外围系统走向高端市场核心系统。国产数据库能挑起“核心”的大梁吗？这也成为决定国产数据库未来格局的关键性问题。

2023-05-08 12:03:54

国产数据库 YashanDB 共享集群

好的索引当然是要覆盖了！

覆盖索引不需要回表，直接在 B+Tree 这颗索引树上就能读取到需要的数据，这极大的减少了数据库 IO 次数，在 IO 密集型应用中，这样的性能提升非常有效。

2023-05-08 11:57:24

索引数据库 IO

1 2 3 4 5 6 ··· 296 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营