开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2022年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据库

1.4w内容

关注

数据库话题为数据库工程师和数据库管理人员提供数据库相关新闻资讯、前沿技术、管理和开发技巧、使用案例等内容，涉及SQL Server、MySQL、MariaDB、PostgreSQL、Redis、MongoDB等数据库。

文章博文帖子课程

共 1.4w 条

数据库管理系统中的SpeedUp和ScaleUp是什么？译文

由于数据库的规模稳步增长，承载数百GB数据的数据仓库现在相对较小。甚至数TB的数据可以存储在一些数据库中，这些数据库称为超大数据库(VLDB)。

2023-03-20 16:00:56

数据库管理系统

如何备份MySQL的用户和权限？

使用 MySQLpump 或 pt-show-grants 备份用户和权限——作为 Create User 和 grant 语句——比备份 MySQL 系统数据库中的授权表要好得多。

2023-03-20 07:48:03

MySQL 数据库

如何用Redis提升Mastodon服务器的性能？译文

安装的默认Mastodon系统对于小型服务器来说很好，但需要一番工作才能使其具有可扩展性。本文介绍了您开始动手之前须了解的一些知识。

2023-03-20 07:27:43

Redis Mastodon 服务器

PostgreSQL主从复制-逻辑复制

逻辑复制是基于逻辑解析，其核心原理是逻辑主库将Publication中表的WAL日志解析成一定格式并发送给逻辑备库，逻辑备库Subscription接收到解析后的WAL日志后进行重做，从而实现表数据同步。

2023-03-19 22:38:12

逻辑复制 PostgreSQL

从0到1，PostgreSQL复制的不同策略详解

作为一个开发者，我们知道一个网站如果数据丢失和停机，即使是很少、很短暂，也可能是灾难性的，并且降低生产力、可访问性和产品信心。

2023-03-19 17:36:38

PostgreSQL 数据库

PostgreSQL主从复制--物理复制

PostgreSQL支持物理复制（流复制）及逻辑复制2种。通过流复制技术，可以从实例级复制出一个与主库一模一样的实例级的从库。流复制同步方式有同步、异步两种。另一种复制方式为逻辑复制，区别于物理复制的是物理复制是基于实例级的复制，只能复制整个PostgreSQL实例，而不能基于部分库及表。

2023-03-19 11:53:27

PostgreSQL 主从复制

PostgreSQL部署及简单操作

PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)，在开源数据库使用上与MySQL各领风骚。

2023-03-17 23:08:36

PostgreSQL 数据库

异构跨库数据同步还在用Datax?来看看这几个开源的同步方案

目前，异构数据ETL同步，一般基于两种方式：查询和日志，基于查询做全量同步，基于日志做增量同步，日志方式延迟会比较小，查询来做增量，延迟会比较大，查询频率越高，对数据库性能也会有影响。

2023-03-17 18:58:36

日志查询同步

MySQL 驱动参数大全，以备不时之需

MySQL驱动参数你知道多少呢？常见的几个大家应该都见过。

2023-03-17 16:43:52

MySQL 驱动参数

时钟服务搭建及服务器时间同步配置

时钟服务搭建及服务器时间同步配置步骤我们一起来了解一下。

2023-03-17 08:50:00

服务器时钟服务数据库

数据库设计与优化：MySQL8如何应对500万订单表的挑战

删除数据会对数据库的性能产生影响。如果需要删除大量数据，建议使用分批次删除或者使用TRUNCATE语句一次性清空整个表。

2023-03-16 08:19:45

数据库 MySQL

使用 CnosDB 与 TensorFlow 进行时间序列预测

CnosDB是一款基于分布式架构的高性能时序数据库。TensorFlow则是目前在预测领域中非常受欢迎的深度学习框架之一。在这篇文章中，您将学习如何利用时间序列数据进行预测，特别是结合CnosDB和TensorFlow来进行预测。由于时间序列数据的自相关性，许多数据科学算法无法用于处理此类数据。因此，在使用时间序列数据进行机器学习时需要使用特定的方法，与其他领域的方法略有不同。

2023-03-16 07:27:30

CnosDB 数据库

统计一个表的数据量是怎么生成的？

MyISAM表统计整表行数可以直接取出，效率最高，但是MyISAM表不支持事务。

2023-03-15 19:21:47

端云一体化开发-计算十二生肖-云数据库

由于调用云侧云数据库是异步的，不能马上返回结果，这里添加LoadingProgress组件，让用户知道在运行中，效果看得不是很明显，可能录制时，网速很快，LoadingProgress组件闪一下就不见了，如果遇到网络慢时，LoadingProgress就会一直转，直到云数据库返回响应时，再消失LoadingProgress。

2023-03-15 16:24:43

云数据库代码开发

图解Redis，Redis主从复制与Redis哨兵机制

本篇介绍了Redis复制、Redis复制的工作流程、Redis哨兵、Redis的实战演练、Redis哨兵运行流程和选举原理，

2023-03-15 08:30:37

Redis复制 Redis哨兵

Mongodb副本集添加节点，你学会了吗？

Mongodb副本集架构运行一段时间后如果业务发展需要新增新的成员，或者迁移集群，则可以参考本文处理。

2023-03-14 23:24:27

Mongodb 副本集架构

Redis：内存回收的过期策略

过了一段时间，架构师发哥心急火燎的来找我，我一看这阵势这是有大事吧，发哥不等我开口，说：“小李，快看看系统，运营童鞋来找我说，商品到下架时间还能买到；而且运维童鞋反应过节那天咱们的 RabbitMQ 那台服务器内存和硬盘不够用了，尽快处理下”。

2023-03-14 11:00:05

过期策略 Redis

图解Redis，谈谈Redis的持久化，RDB快照与AOF日志

Redis是一个键值对数据库，服务器中通常包含着任意个非空数据库，而每个非空数据库中又可以包含任意个键值对，我们将是服务器中的非空数据库以及它们的键值对统称为数据库状态。

2023-03-13 08:08:48

数据库 Redis

分页查询出现数据重复或丢失，你遇到过吗？

如果是 app 端的查询，不建议设计多字段排序，因为在多字段排序的环境下，服务端在进行多条件的过滤查询时，可能会把有效的数据给过滤掉，如果无法避开，尽量将多个排序字段合并到一个排序字段上，保证数据的查询符合预期。

2023-03-13 07:41:34

分页查询数据排序

Spring Boot、Druid、MyBatis Plus和Sharding JDBC分表技术详解

我们使用了Druid、MyBatis Plus和Sharding JDBC来实现分表功能。其中，Druid是一个高性能的数据库连接池，MyBatis Plus是一个基于MyBatis的ORM框架，Sharding JDBC是一个分库分表中间件，可以帮助我们快速实现分表功能。当然，在实际开发中，还需要考虑更多的因素，例如数据同步、数据迁移、分布式事务等。

2023-03-13 07:35:44

MyBatis 分库分表

数据库性能杀手？MySQL SQL 优化攻略来了！

SQL 优化需要结合具体的应用场景和需求来进行，需要考虑到 SQL 查询语句、索引的使用、表结构设计以及 MySQL 参数设置等方面。通过优化 SQL 查询语句，提高查询效率，通过优化索引使用，减少查询时间和资源占用，通过优化表结构，提高查询效率和数据存储效率，通过调整 MySQL 参数设置，提高缓存效率、并发性能等。

2023-03-13 00:01:10

数据库性能 MySQL

最全的MySQL时间函数总结

今天我们一起来了解下最全的MySQL时间函数总结都有哪些吧。

2023-03-11 22:22:04

数据库 MySQL

数据工程师的重要数据结构和算法

数据工程是有效管理大量数据的实践，从存储和处理到分析和可视化。因此，数据工程师必须精通数据结构和算法，以帮助他们有效地管理和操作数据。

2023-03-11 22:10:20

数据工程师算法数据库

一文让你入门Redis，你学会了吗？

Redis（Remote Dictionary Server）是一个开源的内存数据结构存储系统，常被用作数据库、缓存和消息队列等。

2023-03-10 22:08:20

Redis 数据库

MySQL自我保护参数，以达到保护数据库稳定性的目的

本文再通过修改数据库参数的方式达到阻断长时间运行的SQL的目的。

2023-03-10 21:57:35

Redis：缓存穿透、缓存击穿、缓存雪崩？

正常情况下，一个请求过来，首先判断key是否存在，如果key存在，直接返回；如果key不存在或者已过期，查询数据库，如果数据库中存在数据，则更新缓存并返回数据；如果不存在，则直接返回空。

2023-03-10 13:33:00

缓存穿透缓存击穿缓存雪崩

一分钟带你了解：为什么MySQL的Count统计会越来越慢？

今天带大家了解一下，为什么MySQL的Count函数会越来越慢，count函数的实现逻辑是什么，以及如何解决大数据量下的统计需求？

2023-03-10 13:29:00

MySQL Count函数

Gartner：充分利用中国数据库管理系统的发展，满足企业机构不断演进的需求

虽然中国的数据库厂商在许多方面，如云生态系统的建立和云财务治理等方面，仍然落后于以亚马逊云服务、谷歌、微软和甲骨文为代表的外国厂商，但在中国独特的业务环境下，本土厂商的产品演进十分迅速，且产生了差异化优势，因此在一些应用场景中具备竞争力。

2023-03-10 09:58:04

数据库 Gartner

避免使用SELECT* 的九个理由及两个例外场景

本文将从两个角度解释避免使用SELECT *的9个理由，同时讨论2个合理使用SELECT *的例外场景。

2023-03-10 08:49:48

SELECT *• PawSQL

SQL优化13连问，收藏好！

group by一般用于分组统计，它表达的逻辑就是根据一定的规则，进行分组。日常开发中，我们使用得比较频繁。如果不注意，很容易产生慢SQL。

2023-03-10 08:45:15

SQL 优化统计

通过预热来优化PostgreSQL的查询

PG数据库提供了相当多的小功能，也有大量的第三方插件，实际上都是在生产环境中遇到了问题而给出的一些解决方案。最近我们就用上了一个数据表预热的插件fincore。对于Oracle这样的数据库来说，数据预热在大多数场景下是不需要的，不过偶尔我们还是会使用预热来加速某些在半夜执行的定时统计任务。

2023-03-10 08:37:33

预热优化 PostgreSQL

从数据库开源商业版本差异谈起

安全功能，是企业选择一款产品的重点考虑要素之一，特别是数据库这种承载数据，担负企业核心业务的基础平台。关于安全还可细分为三类功能：一是访问行为类，如审计、白名单、防火墙；二是数据存储展示类，如加密、脱敏、签名；三是安全扩展类，如对接第三方安全系统。

2023-03-10 07:30:51

数据库开源商业版本

什么是TiDB数据库？数据管理技术的发展

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。

2023-03-09 15:53:05

TiDB 数据库 MySQL

MongoDB写入数据策略

在实际使用中，可以根据具体的业务需求和系统环境来选择适合的写入策略，以达到最佳的性能和可靠性。例如，在数据一致性要求高的场景中，可以使用 majority 写入确认来保证数据同步的可靠性。而在性能要求高、数据不敏感的场景中，可以使用 w 值较小的写入关注点来提高写入性能。

2023-03-09 11:32:00

MongoDB 数据策略

MongoDB读数据策略

对于primary来说，当secondary 节点的oplog发生变化时，会通过命令将 oplog 进度立即通知给 primary，同时节点间的心跳消息里也会包含最新 oplog 的信息。这样primary 节点能很快知道数据是否已经同步到大多数节点的，并更新 snapshot 的状态。比如当t2已经写入到大多数据节点时，snapshot1、snapshot2都可以更新为 commited 状态。

2023-03-09 11:16:57

MongoDB 数据节点

效率提升16800倍的连续整数生成方法

性能提升的原因在于方法1需要执行20W次insert，而方法2是按照2的指数级插入，20W数据只需要不到20次的插入即可完成。

2023-03-09 07:51:23

性能提升数据库

多云时代下，难道“真的”不需要 DBA 了？

从近3年对云实际使用经验看，在人员与业务体量小一点的公司对开发&运维&安全标准规范都没有严格要求跟约束的情况下是适用的，但是体量稍微大一点就玩不转了，尤其混合云的环境下依靠云商能力是很难解决自身个性化的需求的。尤其体系化建设是无法依靠堆“云产品积木”的方式去构建。

2023-03-09 07:28:28

DBA 数据库图数据库

从节点崩了，还怎么「主从读写分离」？

我们的项目采用了读写分离的方案：查询和更新的业务走主库，统计相关的功能走从库，从而减少主库的压力。

2023-03-08 18:00:00

主从读写分离

MySQL批量更新数据的六种方法，你能想出第七种吗？

我们都知道MYSQL中批量插入非常简单，那么批量更新呢？

2023-03-08 16:54:28

MySQL 数据库

MySQL 8主从复制配置详解，你学会了吗？

MySQL 8主从复制是实现高可用和负载均衡的重要方式之一。下面详细说明如何在MySQL 8中进行主从复制的配置。

2023-03-08 08:44:47

MySQL 主从复制

Cost量化分析，你学会了吗？

explain加上format=json选项后可以查看成本信息分为read_cost和eval_cost，但只能看到当前已经选择的执行计划，另外通过show warnings可以看到优化器改写后的语句。

2023-03-08 08:42:55

MySQL cost 量化

从文档上学习下OCEANBASE4

OB的社区版和企业版之间的差异并不太大，最主要是在支持与服务方面。在功能方面，OB社区版最主要是少了Oracle语法兼容租户。另外少了ACS和SPM这两个和SQL执行与优化有关的能力，以及安全审计和行级标签与表空间透明加密功能。除了Oracle语法兼容问题外，其他功能并不是刚需。

2023-03-08 08:19:55

文档 OB OBProxy

「SpringCloud」之集成移动端推送功能的系统通知数据库设计

系统通知公告通常有系统因业务状态变化自动发起的通知公告和管理人员通过后台管理主动发起的通知公告。如果是因业务状态自动发起的通知公告，那么其发送的渠道需要结合业务需求，在编码时确定。如果是管理人员通过界面发起的通知公告，那么需要在配置界面提供可选择的渠道，根据业务需求由发起人来确定通过哪些渠道发送。

2023-03-07 19:58:08

数据库设计移动端

分布式数据库架构及发展

文章分析了未来数据库管理领域的重要发展趋势，各类技术的互相借鉴、融合和发展。数据库数据库产业持续不断地适应着市场需求进行改进，而此演进迭代的进程将持续。

2023-03-07 09:49:04

分布式数据库

比Hive快十倍的大数据查询利器，你知道吗？

创造了Hive的Facebook不负众望，创造了新神器---Presto，其查询速度平均比Hive快10倍，现在就来部署体验一下吧。

2023-03-07 08:34:01

Hive 数据查询

互联网大厂面试：在MySQL中使用!=还能走索引吗？

MySQL中有一个叫做优化器的东西，他会对每一条查询sql做成本分析，然后根据分析结果选择是否使用索引或者全表扫描。

2023-03-07 08:22:34

MySQL 优化器

Postgresql数据库优化上该考虑些什么

当然如果因为并发控制参数设置的过高而导致了CPU等资源出现了不足，因为IOPS过大或者IO吞吐量过大，底层存储能力不足导致的IO延时过大等现象，那么适当调低这些参数对数据库的整体性能提升是有帮助的。

2023-03-07 08:17:19

Postgresql 数据库优化

我们一起聊聊DBA的自我修养

DBA往往聚焦具体的某个数据库产品的运维和研究，有时候会把一个产品的概念和特性等同于数据库这个技术门类的概念和特性。

2023-03-07 07:05:29

生产数据库运维

MySQL常用的字符串函数举例

MySQL提供了许多常用的字符串函数，以下是其中一些常用的字符串函数和用法。

2023-03-06 23:05:32

MySQL 字符串函数

解决调用Token，Token失效问题

若token失效，服务器会报401状态码（表示用户未授权unauthorized，即没有访问权限，需要身份认证。）。因token是动态变化的，建议将读取到的Token值设为环境变量/全局变量，实际使用时调用环境变量/全局变量即可。

2023-03-06 21:43:29

token 失效服务器

1 2 3 4 5 6 ··· 293 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营