碰到 TOAST 数据损坏怎么办?得重建表了

数据库 PostgreSQL
PostgreSQL 一直以坚韧的可靠性而出名,然而,有时候数据库系统中可能会出现 TOAST 数据的损坏。这时候,需要数据库管理员做出合理地排查和处理。
本文转载自微信公众号「红石PG」,作者红石PG

介绍

在极罕见的情况下,一些与表相关的 TOAST 值发生损坏,这可能是由于某些硬件或文件系统问题,甚至是 PostgreSQL 软件问题。如果遇到如下错误消息,则表示数据库中的某些 TOAST 值已损坏。

ERROR: unexpected chunk size 226 (expected 175) in final chunk 1 for toast value 8846932 in pg_toast_2877446
STATEMENT: SELECT * FROM bad_table WHERE ...

TOAST 表是 PostgreSQL 给大值(如大文本字段、几何图形、大型数组和 BLOB)存储线外压缩数据的地方。服务器在上面错误消息中告诉您的是,TOAST 表中压缩块的大小与其元数据不匹配,因此 PostgreSQL 无法进行解压。

处理方案

第一步是找出损坏的表来进行修复。日志中提供了 TOAST 表名称。但问题是要确定 TOAST 表属于哪个主表。

若要找到相关的主表,可以使用以下 SQL:

SELECT c.oid, n.nspname AS schema, c.relname
FROM pg_class AS c
JOIN pg_namespace AS n ON c.relnamespace = n.oid
WHERE c.reltoastrelid = (
        SELECT oid FROM pg_class AS t
          WHERE t.relname = 'pg_toast_2877446'
      );

在 WHERE 条件下,relname 常量值对应于错误消息中的 TOAST 表名。这会得到如下结果,其中 schema / relname 是损坏的表。

oid   | schema |  relname
---------+--------+-----------
 2825248 | public | bad_table
(1 row)

那么,如何处理损坏的 TOAST 记录呢?

修复损坏的表

显然,如果您有损坏发生前的备份,那可以恢复该备份。但如果你没有备份,你需要手工修复它。让我们首先创建一个新表:

CREATE TABLE new_table (LIKE bad_table INCLUDING ALL);

然后,使用主键索引遍历表,并逐一处理每个行。如果该行数据正常,只需将其插入到新表中即可。如果行中的 TOAST 值已损坏,请将 TOAST 列重写为常量值 '!!! BAD DATA !!!'。我们用一个简单的 DO 脚本来实现这一点,如下所示:

SET enable_seqscan TO off;

DO $$
DECLARE
  row    bad_table%ROWTYPE;
  rowkey bad_table.pkey%TYPE;
BEGIN
  FOR rowkey IN SELECT pkey FROM bad_table LOOP
    BEGIN
      INSERT INTO new_table
        SELECT * FROM bad_table WHERE pkey = rowkey;
    EXCEPTION
      WHEN others THEN
        SELECT * INTO row
          FROM bad_table WHERE pkey = rowkey;
        row.bad_column := '!!! BAD DATA !!!';
        INSERT INTO new_table SELECT (row).*;
    END;
  END LOOP;
END;
$$;

此处的处理流程是,进入每行中(大文本的bad_column字段)的 TOAST 值并对其进行解压缩,这样应该会引发您将要遇到的任何错误。当然,您需要为自己的表定制修改上面的脚本。

最后,我们可以交换两个表的名称:

ALTER TABLE bad_table RENAME TO old_table;
ALTER TABLE new_table RENAME TO bad_table;

完成此操作后,您就能获得一个没有 TOAST 数据损坏的干净的表了。

责任编辑:武晓燕 来源: 红石PG
相关推荐

2021-01-05 10:48:38

RedisAOF日志RDB快照

2009-11-03 08:56:02

linux死机操作系统

2022-12-19 11:31:57

缓存失效数据库

2022-07-05 11:48:47

MySQL死锁表锁

2022-07-05 14:19:30

Spring接口CGLIB

2011-11-18 10:52:00

2022-10-14 08:18:07

Guavaweb应用

2011-11-16 10:02:48

DNSDNS记录DNS记录消失

2021-09-28 10:55:12

钓鱼网站网络攻击信息安全

2009-09-22 10:08:19

Windows 7图标修复

2023-12-25 08:22:02

2018-01-30 15:08:05

2018-11-05 10:18:39

数据中心功率效率

2020-07-10 08:46:26

HTTPS证书劫持网络协议

2024-04-22 08:17:23

MySQL误删数据

2021-06-16 06:14:29

React17Toast组件React bug

2017-10-17 21:27:03

数据中心机房漏水

2020-02-24 11:02:37

断网网络故障

2013-02-18 09:19:11

谷歌X PhoneNexus

2022-10-21 08:17:06

开源项目闭源
点赞
收藏

51CTO技术栈公众号