检测和查询与字符编码问题相关的无效字符

Detect and query invalid characters which are related with character encoding issues

提问人：Sam Salim 提问时间：11/4/2023 最后编辑：Dale KSam Salim 更新时间：11/5/2023 访问量：67

问：

我们在 SQL Server 中遇到了一些与字符编码相关的问题。 但无法编写查询来查找所有这些数据。

enter image description here

正如你所看到的，在标题列中有一些非 unicode 字符，我们正在尝试编写一个查询来查找此表中的所有这些数据，但似乎没有任何效果。

“标题”列为 nvarchar，排序规则为“Latin1_General_CI_AS”。

屏幕截图中的 caharacters 实际上是俄语，但我相信我们在其他语言上也有同样的问题。

请提出任何建议。

SQL Server 字符编码

评论

2赞 AlwaysLearning 11/4/2023
在列或变量中呈现西里尔字符应该没有任何问题，这表明这些字符在插入到表中之前已经受到损害。如果你看到什么？我希望所有字符都是 U+FFFD 替换字符，它们应该以二进制形式呈现为一系列0xFDFF序列。NVARCHARCAST(Title AS VARBINARY(MAX))�
0赞 Sam Salim 11/4/2023
是的，没错，我看到了这个，“0xFDFFFDFFFDFFFDFFFDFFFDFF2000FDFF2000FDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFF2000FDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFFFDFF2000FDFFFDFFFDFFFDFFFDFFFDFFFDFF20002D002000FDFFFDFFFDFFFDFFFDFFFDFF2000FDFFFDFFFDFF”
0赞 AlwaysLearning 11/4/2023
那么数据是如何插入的呢？
1赞 Martin Smith 11/5/2023
第三个参数不是代码页，就像您假设的那样CONVERT125265001

答： 暂无答案

上一个：使用 iso-8859-1 文件读取 CSV 和文本文件的 Spark 的不同行为

下一个：Python，如何用中文字符重命名文件