鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

数据库

1.7w内容

关注

数据库话题为数据库工程师和数据库管理人员提供数据库相关新闻资讯、前沿技术、管理和开发技巧、使用案例等内容，涉及SQL Server、MySQL、MariaDB、PostgreSQL、Redis、MongoDB等数据库。

文章博文帖子课程

共 1.7w 条

记录一次MySQL+Redis实现优化百万数据统计的方式

客户在我司采购了WAF防火墙产品，用于拦截和阻断非法请求和一些具有攻击行为的请求。随着系统的不断运作，数据量也随之增长，这就导致客户系统部分报表页面加载时间过长，用户体验极差。

2024-11-27 09:32:58

MySQL Redis 数据

面试官：Redis 大 key 多 key，你要怎么拆分？

由于redis是单线程运行的，如果一次操作的value很大会对整个redis的响应时间造成负面影响，所以，业务上能拆则拆，下面举几个典型的分拆方案。

2024-11-26 08:09:58

Redis 单线程 value

新选择！基于Spring Boot监听MySQL日志Binlog实现数据实时同步

MySQL与Redis数据实时同步的主要目的是优化性能和保持数据一致性。通过将热点数据存储在Redis中，可以大大提高系统的访问速度，同时确保MySQL中的数据变化能够实时反映到Redis中，避免数据不一致的问题。

2024-11-26 08:05:44

MySQL 日志 Redis

如何使用Pandas和SQL分析数据译文精选

我们在本教程中将探讨何时以及如何将SQL功能整合到Pandas框架中，并探讨其局限性。

2024-11-26 08:00:00

SQL Pandas PandaSQL

三种常见的数据脱敏方案，你知道哪种？

数据脱敏插件，目前支持地址脱敏、银行卡号脱敏、中文姓名脱敏、固话脱敏、身份证号脱敏、手机号脱敏、密码脱敏一个是正则脱敏、另外一个根据显示长度脱敏，默认是正则脱敏，可以根据自己的需要配置自己的规则。

2024-11-26 07:47:41

数据脱敏插件

QPS提升10倍的SQL优化秘籍

QPS，简单来说，就是数据库每秒能处理的查询数量。它直接关系到系统的响应速度和用户体验。而SQL优化，则是提升QPS的重要手段之一。通过优化SQL语句，我们可以减少查询的执行时间和资源消耗，从而提高数据库的吞吐量。

2024-11-25 09:11:43

QPS 数据库吞吐量

Redis在工作中的十大高频应用场景

Redis在缓存、会话存储、计数器、消息队列、分布式锁、地理位置应用、实时排行榜、缓存预热、数据共享和实时数据分析等方面都有着广泛的应用。

2024-11-25 09:08:10

Redis 高频应用场景

Redis 是什么？架构是怎么样的？

有没有办法在 MySQL 不被压垮的同时，让商品服务支持每秒 1w 次查询？当然有，没有什么是加一层中间层不能解决的，如果有，那就再加一层。这次我们要加的中间层是Redis。

2024-11-25 07:00:00

Redis MySQL 数据库

数据库管理系统中，OLAP 和 OLTP 的区别是什么？

OLAP和OLTP是两种不同类型的数据库系统，这篇文章我们将对这两个概念的详细分析，包括它们的定义、区别、使用场景和示例。

2024-11-25 06:45:00

数据库 OLAP OLTP

.NET Core 与 MySQL 数据库关联：轻松上手教程

MySQL作为一个开源的关系型数据库管理系统，凭借其高性能、稳定性和灵活性，成为了众多开发者的首选。那么，如何在.NET Core项目中与MySQL数据库建立关联呢？

2024-11-25 06:30:00

MySQL 数据库 .NET Core

分库分表后如何生成主键ID？

数据库自增 ID 只适用于单机数据库环境，而对于分库、分表、数据分片来说，自增 ID 不具备唯一性，所以要要使用雪花 ID 来替代数据库自增 ID。

2024-11-22 15:32:19

数据库自增 ID UUID

硬核复刻 Redis 底层双向链表核心实现

本文将介绍一下笔者的开源项目mini-redis中对于链表的复刻思路，希望对你阅读我们的项目源码有所帮助。

2024-11-22 15:00:00

开源 Redis 链表

80后聊架构：3小时搞透数据库扩展性架构实践 | 架构师之路

有看了短视频的同学吐槽：“讲了这么多scalability理论，也不知道究竟有什么用”。今天就和大家聊聊scalability理论，在数据库架构设计上的实践。

2024-11-22 10:49:46

数据库架构

AI时代金融机构需要怎样的数据底座？OceanBase杨冰：高性能、安全可靠、数智化

11月21日，国产数据库OceanBase CEO杨冰在2024世界互联网大会乌镇峰会的金融科技论坛发言。他表示，在数智时代，OceanBase扎根金融核心场景，正为金融行业提供高性能、安全可靠、数智化的数据底座。

2024-11-22 08:37:47

OceanBase 数据库

面试官拷打： Redis 高可用篇章中面试最常见的六个问题！

Redis 有两个方式实现了数据持久化，他们分别是 RDB 快照和 AOF（Append Only File）。RDB 内存快照是全量持久化，AOF 做增量持久化。

2024-11-22 08:31:32

Redis 数据持久化高可用

Redis大Key问题如何排查？如何解决？

Redis 大 Key 问题会让 Redis 服务阻塞，无法响应其他命令，可能会导致客户端响应超时等问题。排查大 Key 问题可以使用 BIGKEYS、MEMORY USAGE、OBJECT 等命令。

2024-11-21 16:47:55

Redis Key 数据库

.NET Core 与 Redis 的简单邂逅：让你的应用更“记忆”

Redis，这个开源的内存数据结构存储系统，它速度快、性能高，还能轻松处理各种数据类型。那么，如何在.NET Core项目中使用Redis呢？别急，咱们这就来一场简单又实用的教程之旅！

2024-11-21 15:56:37

Redis 数据库 .NET Core

Elasticsearch虽好，但矢量数据库才是未来译文精选

专门构建的矢量数据库将Sparse-BM25算法和语义搜索整合到单一的高效操作中，因而优于双系统环境。

2024-11-21 08:00:00

矢量数据库人工智能

MyBatis 批量操作的五个坑，千万不要踩了！

批量操作往往隐藏着一些坑，使用不当，很可能会造成生产事故。今天来分享使用 MyBatis 批量操作可能会遇到的一些坑。

2024-11-20 18:16:39

MyBatis 批量操作数据库

建行二面：Mybatis 是如何工作的？

本文，我们通过核心源码分析了 MyBatis，它是一个轻量级的 ORM框架，它通过配置文件和注解将 Java 对象与数据库记录映射起来。

2024-11-20 16:00:19

Mybatis Java 数据库

国产数据库，开始核心平替了！

崖山数据库最大的竞争力就是有着一只不可复制的团队，有非常优秀，天才横溢的青年科学家，也聚集了中国非常难得的、坚持坐十年冷板凳的数据库内核工匠。

2024-11-20 09:27:06

国产数据库数据库

Redis面试题：什么是Redis的大key和热key，它们会造成什么问题，如何解决？

Redis 中的“大key”是一个相对的概念，它通常指的是占用内存空间较大或包含大量元素的Redis键值对。

2024-11-19 18:27:50

面试官：说说MVCC的执行原理？

MVCC 的实现主要依赖读视图 Read View 和 Undo Log 链，通过 Read View 中的 4 个字段，判断要读取 Undo Log 中数据，从而解决了数据库并发访问中，数据一致性的问题。

2024-11-19 15:13:02

MVCC 数据库数据一致性

数据库复制与分片详解

在设计大规模系统时，最大的挑战之一是确保系统在处理海量数据和高并发用户请求时仍然保持响应迅速。在这种情况下，数据库通常成为主要瓶颈。

2024-11-19 13:11:19

数据库数据库复制数据库分片

ElasticSearch 搜索原理，原来可以这样轻松上手

Elasticsearch 特别擅长处理各种各样的数据类型，不管是文本、数字，还是其他稀奇古怪的玩意儿，它就像一个超级收纳大师，把所有的数据都放在合适的位置，还能让你轻松地找到它们。

2024-11-19 09:15:40

搜索类型 MySQL

Hash 索引和 B+ 树索引：一文读懂它们

Hash 索引使用哈希表作为其底层数据结构，通过哈希函数将索引键值映射到一个固定大小的数组中，从而实现快速的数据访问。

2024-11-19 08:40:18

Hash B+ 树索引

Redis 性能优化 18 招

Redis的性能要如何优化？为了提升Redis的性能，这篇文章跟大家一起聊聊Redis性能优化的18招，希望对你会有所帮助。

2024-11-19 08:09:48

Redis 性能优化数据库

StarRocks 物化视图刷新流程和原理

简单来说，视图和 MySQL 这类传统数据库的概念类似，也是用于解决大量消耗性能的 SQL 的，可以提前将这些数据查询好然后放在一张单独的表中，这样再查询的时候性能消耗就比较低了。

2024-11-19 08:09:09

MySQL 数据库数据

使用命令行备份MySQL数据库

在本文中，我们将介绍如何使用mysql命令行工具备份数据库，并包含几个具体的示例。

2024-11-18 15:05:34

MySQL 数据库

重生之 MySQL SQL 执行的 5 大关键步骤，解锁新技能

引擎层从磁盘文件获取到数据后返回给 Server 层，MySQL 会根据执行计划中的过滤条件（where，group by，having，order by，limit 等），对读取到的数据进行过滤和处理。

2024-11-18 08:31:03

MySQL Server 条件

面试官：说说MySQL主从复制实现原理？

MySQL 主从复制用于多个数据库服务器之间的数据同步，它可以提供高可用性、提高数据库整体性能和吞吐量，以及可以进行数据备份和数据库恢复。

2024-11-15 15:27:09

MySQL 主从复制数据库

写入数据量增加时，如何实现分库分表？

尽管分库分表会带来一定的操作复杂性，但相比它对系统扩展性和性能的提升，依然值得实施。经过分库分表的系统，能够突破单机的容量和请求量瓶颈。正如我们电商系统中的订单表，正是通过分库分表，才解决了因数据量激增导致的性能衰减和存储容量瓶颈。

2024-11-15 09:54:58

分库分表性能系统

一直傻傻分不清 count(*) count(id) count(1) 这次终于整明白了

对于 select count(1) from user; 这个查询来说，InnoDB 引擎会去找到一个最小的索引树去遍历（不一定是主键索引），但是不会读取数据，而是读到一个叶子节点，就返回 1，最后将结果累加。

2024-11-15 09:29:12

count(*)索引 InnoDB

PostgreSQL基于PITR的数据恢复实践原创精选

PostgreSQL 的点时间恢复（PITR，Point-In-Time Recovery）是一种强大的恢复机制，能够让用户将数据库恢复到特定的时间点，从而有效应对数据丢失或损坏的情况。

2024-11-15 08:00:00

PostgreSQL 数据库

数据库的指标体系设计攻略

对数据库的指标进行梳理，可以将数据库的指标按照管理类、配置类和技术类三大类进行归类。管理类指标主要体现数据库与上下游之间的关联关系，数据库不能脱离存储、服务器等独立存在，因此必须关心其关联对象的指标，另外在运维方面有什么关注点，也应该进行指标化。

2024-11-14 11:07:15

数据库指标体系

数据库优化方案：查询请求增加时，如何做主从分离

大部分系统的访问模型是读多写少，读写请求量的差距通常可以达到几个数量级。这一点很容易理解，比如刷朋友圈的请求量肯定比发朋友圈的要大，淘宝商品的浏览量通常也远大于下单量。

2024-11-14 08:19:59

数据库优化数量级

Spring声明式事务源码详解

维护公司之前的后台管理系统，在开发自测时发现mock接口失败，数据库仍插入成功。经排查发现代码中没有指定具体事务，在添加注解@Transactional后事务按预期生效回滚。为此，本文通过分析源码来介绍下事务失效的根源。

2024-11-13 19:03:14

声明式事务数据库

认知：MySQL创建索引时不锁表？

在 MySQL 5.6 之前，创建索引时会锁表，但在 MySQL 5.6.7 之后，因为新增了 Online DDL 技术，所以此时在添加索引时，是可以和 DML 数据操作语言 INSERT、UPDATE、DELETE、SELECT 等命令一起执行的。

2024-11-13 15:29:08

MySQL 技术索引

时间戳简介及其在数据库中的应用

时间戳（Timestamp）是表示特定时间点的一种数据格式。通常，时间戳以自 Unix 纪元（1970 年 1 月 1 日 00:00:00 UTC）以来的秒数或毫秒数表示。例如，Unix 时间戳 0 表示 1970 年 1 月 1 日 00:00:00 UTC。

2024-11-13 15:15:46

时间戳数据库

复杂场景的数据库运维诊断，AI可堪一战？

在数据库领域，AIOPS是未来必然的方向，不过在实现的路径上，还有很多争议，我觉得，任何智能背后都必然有更为艰苦的人工，想要绕过专家，绕过知识去构建AIOPS，只能是空中楼阁。

2024-11-13 10:00:11

数据库运维 AI

Oracle日志挖掘案例，你学到了什么？

日志挖掘可以在源库进行，也可以在其他目标库进行，但需要注意必须是同构操作系统、数据库版本要大于等于源库，字符集也需相同。

2024-11-13 09:22:40

日志操作系统数据库

最强总结！SQL Server/MySQL/Oracle函数完全指南

今天给大家总结的是SQL Server/MySQL/Oracle这三个关系数据库的函数内容，包含常用和不常用的。

2024-11-13 09:16:13

SQL Server MySQL

PostgreSQL数据闪回工具Pg_Dirtyread使用实践原创精选

pg_dirtyread 是一个 PostgreSQL 扩展，它利用了 PostgreSQL 的多版本并发控制（MVCC）机制来读取未提交的事务所影响的数据。此插件可以用于在开发和测试环境中快速查看事务对数据的即时影响，当关键表中的数据被意外删除后，业务系统可能会出现服务中断、数据丢失、数据不一致等问题，影响用户服务。

2024-11-13 08:00:00

PostgreSQ 插件开发

使用Docker在Linux上定时备份MySQL数据库

在Linux上运行MySQL容器后，为了保证数据的安全性，我们可以设置自动备份任务，采取每周全量备份、每天增量备份的方式。以下是一篇详细的实现指南，涵盖了备份方式的选择、脚本编写及定时任务配置。

2024-11-12 14:48:10

MySQL Linux Docker

MySQL为什么不推荐使用Docker部署

从数据库扩容角度来看，由于宿主机的数据文件是容器独占的，所以多个容器就会挂载在多个宿主机文件上，尽管我们可以有方案解决宿主机文件数据共享的问题，但是数据同步方案中存在一定弊端。

2024-11-12 10:30:54

Docker 部署数据库

应用朝前，数据库向后，DBA何去何从

物极必反，随着数据库不断向前侵蚀应用的领地，数据库和服务器变得不堪重负了。企业的IT主管突然发现，数据库成为IT系统中明显的堵点，因为其他组件都是可集群化的，集中式数据库不能。

2024-11-12 10:22:52

应用数据库 DBA

国内数据库云及一体机市场观察原创

近期参加的几家厂商发布会，关注到一种新的数据库部署形态-数据库云及数据库一体机。与传统的私有化部署及公有云产品不同，数据库云及一体机具有高灵活、高性能、极致安全、使用简洁等特点，对于某些客户场景有着明细的价值优势。结合近期 IDC 发布的报告，本文尝试对这一类型产品、市场、价值加以分析。

2024-11-12 07:57:27

数据库数据库云

深入 Redis 系列：详解 Redis 的内存管理和缓存数据的淘汰机制

数据淘汰机制包括两步：第一，根据一定的策略，筛选出对应用访问来说“不重要”的数据；第二，将这些数据从缓存中删除，为新来的数据腾出空间。

2024-11-11 17:12:22

数据淘汰机制 Redis 缓存

Redis 序列化值，多了双引号问题

使用Jackson2JsonRedisSerializer来序列化key和value，会把Java对象序列化为JSON格式的字符串。如果你序列化的是Java字符串，那么它就会被JSON格式化，并在最终存储在Redis中时带有双引号。

2024-11-11 11:51:07

Redis 序列化 JSON

重生之从零设计 MySQL 架构

这一层至关重要，里面还还会划分为「连接与安全管理」和「SQL 解析和优化」两大模块。服务层是 MySQL 中的核心组件，负责提供各种数据库操作所需的基本功能，如 SQL 语法处理、事务管理、锁管理等。

2024-11-11 08:31:32

MySQL 架构 SQL

上一页 1 ··· 12 13 14 15 16 ··· 343 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营