开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据库

1.4w内容

关注

数据库话题为数据库工程师和数据库管理人员提供数据库相关新闻资讯、前沿技术、管理和开发技巧、使用案例等内容，涉及SQL Server、MySQL、MariaDB、PostgreSQL、Redis、MongoDB等数据库。

文章博文帖子课程

共 1.4w 条

MySQL：MySQL体系架构

存储引擎负责MySQL中数据的存储与提取，与底层系统文件进行交互。MySQL存储引擎是插件式的，服务器中的查询执行引擎通过接口与存储引擎进行通信，接口屏蔽了不同存储引擎之间的差异。现在有很多种存储引擎，各有各的特点，最常见的是MyISAM和InnoDB。

2023-06-02 08:16:14

MySQL 体系架构

聊一聊SQLAlchemy事务和并发

事务和并发是数据库系统中非常重要的概念，能够保证数据的一致性和完整性，同时提高系统的处理能力和效率。在使用SQLAlchemy时，应该充分利用其提供的事务管理功能，并注意隔离级别和锁的使用，以避免并发问题的出现。

2023-06-02 07:45:39

SQLAlchemy 数据库

Doris数仓的四大特点，一篇讲明白

Doris是一款基于MPP技术的SQL分析型数据库系统，能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。Doris的实现架构脱胎自Apache Impala和Google Mesa系统，并进行了大量的改造和优化，最终形成了今天大家看到的这款架构优雅、性能卓越、功能丰富、简单易用的OLAP数据库系统。

2023-06-01 21:50:53

Doris 数仓 SQL

SQLAlchemy连接池与连接管理：提高数据访问效率和稳定性的关键

SQLAlchemy提供了强大的连接池和连接管理功能，可以有效地管理数据库连接，并提高应用程序的性能和可靠性。连接池和连接管理的实现原理比较复杂，但是使用起来非常简单，只需要了解一些基本概念和参数即可。

2023-06-01 07:56:48

SQLAlchemy 数据库

踩坑必看！事务隔离级别选择指南，避免数据库操作的陷阱！

在数据库中，事务隔离机制的实现基于锁机制和并发调度。其中，并发调度使用的是MVVC（多版本并发控制），通过保存修改的旧版本信息来支持并发一致性读和回滚等特性。这样可以避免不同事务之间的互相干扰，确保数据的隔离性和一致性。

2023-06-01 07:37:48

级别事务调度

墨天轮关系型分布式数据库榜单解读原创

本文分析数据源，来自墨天轮最新一期的榜单数据。分布式关系型数据库作为一种新架构基础软件，满足人们对数据在更大规模、更强算力、更高可用性上的要求。

2023-06-01 07:30:42

分析数据源关系型数据库

得物人事系统时间轴设计的演化历程

时间轴对于人事系统是重要且必要的，其将人事数据从离散变为有序，通过把各模块数据按照时间串联起来，构建成一套既可追溯企业发展历程、也支持预先规划未来发展的人事底层数据库。

2023-05-31 18:58:16

得物人事系统时间轴

游戏万能卡片—舒尔特方格游戏

通过开发这个小游戏元服务，学习到不少知识，其实我有尝试过把数据库操作类写到动态共享包里，这样元服务打包后不就更小了。

2023-05-31 15:42:06

游戏开发关系型数据库

SpringBoot使用Canal做MySQL与Redis的数据同步

mysql-bin.000003 是首次配置的，如果master节点重启了，这个文件会递增变为mysql-bin.000004，这时我们的从节点会自动连上这mysql-bin.000004。

2023-05-31 08:56:24

Spring MySQL Redis

MySQL5.7备份恢复工具—Xtrabackup实战

MySQL 备份通常分为两种类型：逻辑备份和物理备份。这两种备份方法各有优缺点，适用于不同的场景。

2023-05-31 08:54:14

MySQL 逻辑备份

Redis事件驱动(aeEventLoop)原理分析

Redis作为Server服务端在启动之后随时随刻监听着相关事件的发生。以linux为例，其处理过程与基于epoll的i/o多路复用伪代码框架基本相似，Redis源码中更多的是通过封装使其得到一个方便使用的库，库的底层包含了多种i/o多路复用实现方式。

2023-05-31 08:39:04

redis 事件驱动

从SIMD与AVX-512说起，你明白了吗？

Oceanbase也比较重视将向量化引擎引入数据库，利用SIMD来提升一些复杂分析类任务的性能。提高数据库单核计算性能，降低查询响应时间数据库来说至关重要。

2023-05-31 08:29:08

数据库 CPU 类型

玩转SQLAlchemy：掌握外键和多种类型的关系定义技巧

本文介绍了SQLAlchemy中的关系模型、外键、一对多关系和多对多关系。关系模型是ORM框架的核心，它将多个表之间的关联转化为模型对象之间的关系。

2023-05-31 08:24:20

SQLAlchemy Python

分享几个索引创建的小 Tips

由于在 A 这个二级索引中就包含了 ID 字段，所以上面这个查询是可以使用到索引排序的。此时，如果由于其他需求，我们将 A 这个索引扩展成联合索引（A、B）了，那么很明显，再执行上面的查询的时候就用不了索引排序了，只能 filesort 了。这样的问题小伙伴们在创建或者修改索引的时候很容易忽略，所以一定要仔细。

2023-05-30 11:52:11

索引冗余索引冗余索引

四种 MySQL 同步 ES 方案，yyds！

Databus 通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化 client 实时获取变更并进行其他业务逻辑。

2023-05-30 08:38:25

MySQL 数据库日志

PG 16的新特性是不是在挤牙膏呢？

PostgreSQL 16增加了更多的并行查询能力，比如允许FULL和RIGHT JION在并行模式下执行，这两类都是SQL中常有的操作，可以对十分广泛的SQL执行加速。允许parallel group和parallel aggregate则会对统计类的SQL加速，从而更快的执行一些大数据量分析的SQL。

2023-05-30 08:32:00

PG 16 PostgreSQL 模式

如何将Pandas数据帧加载到QuestDB 译文

本文将介绍如何通过使用QuestDB Python包获取Pandas DataFrames来提高时间序列分析能力。

2023-05-30 08:00:00

Pandas QuestDB Python

ArkTS元服务与关系型数据库—计步卡片

这里主要讲解一下ArKTS开发服务卡片，Codelabs开发的是JS服务卡片，还有在把这个JS卡片改为用ArkTS过程中。

2023-05-29 16:51:06

ArKTS 开发服务卡片

MySQL数据库中的函数怎样使用？

函数是指一段可以直接被另一段程序调用的程序或代码。也就意味着，这一段程序或代码在MySQL中已经给我们提供了，我们要做的就是在合适的业务场景调用对应的函数完成对应的业务需求即可。那么，函数到底在哪儿使用呢?

2023-05-29 15:23:37

MySQL 数据库函数

提高代码质量，掌握SQLAlchemy查询过滤、排序、分组和聚合

SQLAlchemy的查询语言是通过SQLAlchemy的查询构建器来实现的。查询构建器是一种将SQLAlchemy查询定义为Python对象的方式。它允许开发人员使用Python来构建查询，而无需编写SQL语句。

2023-05-29 09:21:53

SQL日志太大？教你一键清理

原来数据仓库中，每天的定时任务需要从其他系统里面抽取数据过来，导致数据文件和日志文件的磁盘空间都增长的飞快。

2023-05-29 09:08:27

SQL 日志数据

我们一起聊聊奇怪的SQL问题+1

实际上手动删除的 SQL 这么奇怪就是因为表没有主键，不然正常手动的删除 SQL 上 where 条件肯定是 id =xxx。

2023-05-29 09:07:10

SQL pageSize 主键

深度图解 Redis Hash（散列表）实现原理

Redis 的散列表Dict 由数组 + 链表构成，数组的每个元素占用的槽位叫做哈希桶，当出现散列冲突的时候就会在这个桶下挂一个链表，用“拉链法”解决散列冲突的问题。

2023-05-29 08:31:48

Redis 散列表

聚数成峰，共赢未来，openGauss Developer Day 2023在京举行

以“聚数成峰，共赢未来”为主题的openGauss Developer Day 2023（openGauss开发者大会2023）在北京举办。

2023-05-26 15:20:01

带你读 MySQL 源码：Where 条件怎么过滤记录？

从存储引擎读取一条记录之后，对 Or 连接的 N 个 Where 条件（N >= 2）调用 Item->val_bool()，只要其中一个返回值等于True，记录就匹配 Or 连接的 N 个 Where 条件。

2023-05-26 14:08:00

Where 条件 MySQL

分布式数据库的几个事实，你知道了吗？

分布式数据库一定能提高交易性能吗？我们先来看看RAC，两个节点的环境，大体上会对交易量提升有帮助，而对于交易延时的提升就不一定了，在少数情况下，如果原有系统存在较为严重的资源争用，那么可能RAC会缓解这种争用，提高单一交易性能。不过在大多数情况下，集群是有开销的，单笔交易的延时反而会增加。

2023-05-26 14:07:00

数据库分布式 RAC

MySQL索引，快速记忆法

3. B+Tree的每个叶子节点增加了一个指向相邻叶子节点的指针，它的最后一个数据会指向下一个叶子节点的第一个数据，形成了一个有序链表的结构。

2023-05-26 08:22:08

MySQL 索引数据

慢查询日志中的 Lock_Time 从哪里来？

今天我们就一起来看看，Lock_Time 包含哪些锁等待时间、以及是怎么计算得到的？

2023-05-26 08:21:59

Lock_Time MySQL

再聊聊分布式数据库，你知道了吗？

数据库选型是个很复杂的事情，不过做起来也可以变得很简单。就像我本文中介绍的一个客户，大量的中小型的系统可以直接根据自己的喜好和商务上的考虑，选择一款和Oracle兼容性较好的集中式数据库进行替代了。

2023-05-26 07:55:06

分布式数据库 SQL

Redis 和 MySQL 如何保证数据一致性？

启动一个订阅程序去订阅数据库的binlog，获得需要操作的数据。在应用程序中，另起一段程序，获得这个订阅程序传来的信息，进行删除缓存操作。

2023-05-26 07:34:50

Redis MySQL 缓存

浅析 Redis 中 String 数据类型及其底层编码

如果存储在 SDS 中的数据小于等于 44 字节，则会采用 EMBSTR 编码，此时 **RedisObject 与 SDS 是一段连续空间。而不是像 RAW 的编码方式一样，由 ptr 指向另外一片空间，**申请内存时只需要调用一次内存分配函数，效率更高。

2023-05-26 00:02:31

SDS 数据编码

Redis有哪些持久化方式？一文带你了解技术存储的魅力！

通过以上对Redis持久化方式的介绍，我们可以看到每种方式都有其独特的优势和适用场景。RDB持久化适合用于备份和灾难恢复，AOF持久化提供更高的数据安全性，混合持久化则兼具快速恢复和数据安全性的优势。而关闭持久化则适用于对数据安全性要求较低的临时场景。

2023-05-26 00:00:00

Redis 持久化方式

MySQL Router高可用搭建，你学会了吗？

Pacemaker是一个开源的高可用性集群资源管理和故障转移工具，可以实现在集群节点之间自动管理资源（如虚拟IP、文件系统、数据库等），并在节点或资源故障时进行自动迁移，从而确保整个系统的高可用性和连续性。

2023-05-24 08:14:55

MySQL 开源工具

1.5万字+30张图盘点索引常见的11个知识点

首先主要是讲了聚簇索引和非聚簇索引，随后讲了MySQL对于一些常见查询的优化，比如覆盖索引，索引下推，都是为了减少回表次数，从而减少带来的性能消耗，再后面就提到MySQL是如何选择索引的，最后介绍了索引失效的场景和索引建立的原则。

2023-05-23 22:19:04

索引 MySQL 优化

Mybatis操作数据库执行流程的先后顺序是怎样的？

MyBatis是一个支持普通SQL查询、存储及高级映射的持久层框架，它几乎消除了JDBC的冗余代码。使Java开发人员可以使用面向对象的编程思想来操作数据库。对于MyBatis的工作原理和操作流程的理解，我们先来看下面的工作流程图。

2023-05-23 16:25:48

MyBatis SQL 数据库

中泰证券引入阿里云瑶池数据库：完成核心业务系统自主创新，实现业务微秒级响应

国内大型券商中泰证券股份有限公司（以下简称中泰证券）日前宣布采用阿里云瑶池数据库旗下的云原生内存数据库Tair替换自建系统。

2023-05-23 16:11:56

阿里云瑶池数据库中泰证券

关系型数据库—动态共享包开发

用静态共享包把数据库表操作抽出来，在Entry模块上引入使用，对的，这样也是可以达到分离，但如果有部分公共的资源和代码，只能在开发静态共享，并且打包到每个依赖的HAP里，这样导致包体积较大，且有重复多份公共资源和代码重复打包到应用中。

2023-05-22 16:10:51

动态共享包数据库

莫让时间序列数据搞砸了关系数据库译文

人们忍不住将时间序列数据塞入到熟悉的Postgres或MySQL数据库中，但这是糟糕的主意，原因有很多。

2023-05-22 11:20:27

数据库 MySQL 关系数据

基于图数据库的知识图谱存储技术及实践

创邻科技是一家致力于分布式原生图技术的公司，从 2016 年成立以来，一直在图存储和图计算领域深耕。创邻的图数据库产品 Galaxybase 已经为银行、电力、公安、互联网等行业的多家头部客户提供服务。本文将分享基于图数据库的知识图谱存储技术及实践。

2023-05-22 09:18:04

图数据库知识图谱存储

国产关系型数据库大调查

墨天轮社区提供了流行度评分，其计算方式是参考搜索引擎、趋势指数、三方评测、生态（社区、高校合作、培训认证等）情况、专利数、论文数、招聘岗位数、书籍搜索量、海外机构排名（Gartner、IDC）综合得到的分数。

2023-05-20 08:11:55

国产关系型数据库

SQLAlchemy 建立第一个应用程序

在开始创建应用程序之前，我们需要建立一个基础模型。在SQLAlchemy中，模型是ORM的基础，它用于描述数据库表格和数据之间的映射关系。

2023-05-19 08:49:58

SQLAlchemy 数据库

SQLAlchemy的安装和配置详解

本篇介绍一些SQLAlchemy的基本和高级配置选项。您可以根据自己的需求和应用程序来选择和配置适当的选项，以提高数据库性能和可靠性。

2023-05-18 07:58:27

SQLAlchemy 开源SQL工具包

SQLAlchemy和ORM的基础概念

SQLAlchemy是一个Python的ORM工具包，它允许开发人员使用Python类和对象来操作关系型数据库。SQLAlchemy提供了一种简单、易于使用的接口，可以轻松地将对象模型映射到关系模型中，从而实现ORM的功能。

2023-05-17 10:16:04

ORM工具包 SQLAlchemy

你管这破玩意叫缓存穿透？还是缓存击穿？

Redis缓存预热是指在服务器启动或应用程序启动之前，将一些数据先存储到Redis中，以提高Redis的性能和数据一致性。这可以减少服务器在启动或应用程序启动时的数据传输量和延迟，从而提高应用程序的性能和可靠性。

2023-05-15 10:03:00

Redis 缓存穿透

分库分表的 21 条法则，hold 住！

本文介绍了关于分库分表架构的21个通用概念，有一定的了解之后，接下来我们将进入更深度的内容，包括读写分离、数据脱敏、分布式主键、分布式事务、配置中心、注册中心、Proxy服务等实战案例的讲解和源码分析。

2023-05-15 10:02:00

分库分表数据

一文带你系统性学习Redis

Redis是一款性能优越、功能丰富、易于使用的键值存储数据库，被广泛应用于互联网、移动互联网、大数据和物联网等领域。

2023-05-15 08:44:15

Redis 数据库

查询时长下降十倍！网易有数 BI 物化视图设计要点与内部实践

众所周知，BI 工具因其灵活的使用方式和便捷的结果展示，已成为生产运营和辅助管理决策的重要工具。网易有数 BI 在用户实际使用中，发现多表复杂关联、无效扫描全表数据等许多拖慢性能的现象。为提升用户体验，加速查询性能，有数 BI 设计开发了物化视图产品功能体系，取得了非常好的效果。

2023-05-15 07:42:10

数据库物化视图

【大数据】Presto（Trino）配置参数以及 SQL语法

使用分桶后，Trino优化器可以将查询操作分配到不同的节点上并行执行，以实现更快的查询速度。比如，如果你的分桶表中有100个桶，Trino可以把这100个桶分配到100个不同的节点上并行执行查询操作，从而大大提高查询效率。

2023-05-15 07:40:13

大数据 SQL 语法

Deno Fresh OpenAI 实现智能搜索

Suabase的免费托管PostgresDB非常适合与OpenAI的GPT-3一起使用，因为该数据库带有扩展pgvector，允许您存储嵌入并执行向量相似性搜索。这两者都是构建GPT-3应用程序所必需的。接下来咱们看看怎么实现。

2023-05-15 07:33:19

智能搜索 pgvector GPT-3

关于在 MySQL 排序中使用索引这件事！

在 MySQL8 之前，默认会按照 group by 的字段进行排序，此时加上 order by null 就是告诉 MySQL，不用帮我排序了，直接返回结果就行了，因为如果不加 order by null，则可能会进行 filesort 排序，降低查询效率。

2023-05-12 17:45:15

MySQL 索引排序

1 2 3 4 5 6 ··· 297 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营