终极MySQL遗留数据库噩梦

问：

表1： 一切都很好，包括厨房水槽。日期格式错误（年份为最后一年，因此无法对该列进行排序）、存储为 VARCHAR 的数字、“街道”列中的完整地址、firstname 列中的名字和姓氏、lastname 列中的城市、地址不完整、根据多年来更改的一组规则将数据从一个字段移动到另一个字段来更新前面行的行， 重复记录、不完整记录、垃圾记录......你的名字......哦，当然看不到 TIMESTAMP 或 PRIMARY KEY 列。

表2： 在打开这个婴儿后，任何正常化的希望都消失了。 我们为每个条目各行，并更新表一中的行。因此，像没有明天（价值 800MB）这样的重复项和像 Phone1、Phone2、Phone3、Phone4 这样的列......Phone15（它们不称为电话。我用它来说明）外键是..好吧，猜猜看。根据表 1 中行中的数据类型，有三个候选对象

表3： 情况会变得更糟吗？哦，是的。 “外键是破折号、点、数字和字母的 VARCHAR 列组合！如果这不能提供匹配（通常不提供匹配），那么类似的产品代码的第二列应该。名称与其中的数据无关的列，以及强制性的 Phone1 Phone2 Phone3 Phone4...电话15.有 Duplicated from Table1 列，但看不到 TIMESTAMP 或 PRIMARY KEY 列。

表4：被描述为一项进展中的工作，随时可能发生变化。它与其他人本质上相似。

在接近 1m 的行中，这是一个很大的混乱。幸运的是，这不是我的大烂摊子。不幸的是，我不得不从中为每个“客户”提取一个合成记录。

最初，我设计了 Table1 的四步转换，添加一个 PRIMARY KEY 并将所有日期转换为可排序的格式。然后，再进行几个步骤的查询，返回筛选后的数据，直到我有 Table1，我可以使用它从其他表中提取以形成合成。经过数周的工作，我使用一些技巧将其简化为一步。因此，现在我可以将我的应用程序指向混乱的地方，并拉出一个干净的合成数据表。幸运的是，我只需要其中一个电话号码来满足我的目的，因此规范我的表不是问题。

然而，这才是真正的任务开始的地方，因为每天都有数百名员工以你不想想象的方式添加/更新/删除这个数据库，每天晚上我都必须检索新行。

由于任何表中的现有行都可以更改，并且由于没有 TIMESTAMP ON UPDATE 列，因此我将不得不求助于日志来了解发生了什么。当然，这是假设存在二进制日志，但不存在！

引入这个概念就像铅气球一样下降。我还不如告诉他们，他们的孩子将不得不接受实验性手术。它们并不完全是高科技......万一你没有聚集......

情况有点微妙，因为他们有一些有价值的信息，我的公司非常想要。我被一家大公司的高级管理层（你知道他们是怎么回事）派去“实现它”。

我想不出任何其他方法来处理夜间更新，而不是使用另一个应用程序解析 bin 日志文件，以弄清楚他们在白天对该数据库做了什么，然后相应地合成我的表。我真的只需要看看他们的桌子1，就知道该对我的桌子做什么。其他表仅提供用于刷新记录的字段。（使用 MASTER SLAVE 无济于事，因为我会有一堆乱七八糟的东西。

另一种方法是为其 table1 的每一行创建一个唯一的哈希值，并构建一个哈希表。然后，我每天晚上都会检查整个数据库，看看哈希值是否匹配。如果他们没有，那么我会读取该记录并检查它是否存在于我的数据库中，如果存在，那么我会在我的数据库中更新它，如果没有，那么它是一条新记录，我会插入它。这很丑陋，而且速度不快，但解析二进制日志文件也不漂亮。

我写这篇文章是为了帮助弄清楚这个问题。通常告诉别人有助于澄清问题，使解决方案更加明显。在这种情况下，我只是更头疼！

您的想法将不胜感激。