将带有 json.dumps 的 UTF-8 文本保存为 UTF-8,而不是 \u 转义序列

Saving UTF-8 texts with json.dumps as UTF-8, not as a \u escape sequence

提问人:Berry Tsakala 提问时间:8/20/2013 最后编辑:Peter MortensenBerry Tsakala 更新时间:8/9/2022 访问量:689842

问:

示例代码(在 REPL 中):

import json
json_string = json.dumps("ברי צקלה")
print(json_string)

输出:

"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

问题是:它不是人类可读的。我的(聪明的)用户希望使用 JSON 转储验证甚至编辑文本文件(我宁愿不使用 XML)。

有没有办法将对象序列化为 UTF-8 JSON 字符串(而不是)?\uXXXX

python json unicode utf-8 转义

评论

3赞 tripleee 3/10/2023
这通常被用作问题的重复项,其中正确答案实际上是“JSON 是一种用于信息交换的格式,而不是供人类使用的格式;强制它使用 UTF-8 并非在所有情况下都有效,您可能不应该尝试”。
0赞 user2357112 8/5/2023
你有希伯来语。特别是对于像希伯来语这样的 RTL 语言,这是一个坏主意,因为 Unicode 处理双向文本的方式。您认为 中的键和相关值是什么?它不是它看起来的样子 - 是一个有值的键,是一个有值的键。怎么样 ?其中,键是,值是 。人们不会可靠地做到这一点。{"a": "ב", "בב": "b"}"a""ב""בב""b"{"a ב": "בב"}"a ב""בב"
0赞 Berry Tsakala 8/5/2023
@user2357112这是文本查看器/编辑器的问题。有些编辑器可以很好地使用它,有些则不然。软件不在乎。所以这无关紧要;还有更糟糕的可用性情况,例如空格字符或控制字符。所有有效的 JSON 字典键,以及 ...好吧,这不是问题。
0赞 user2357112 8/6/2023
“还有更糟糕的可用性情况,例如空格字符或控制字符”——正常的 ASCII 空格很好。如果有人有控制字符和奇怪的非 ASCII 空格,这些只是他们不做你要找的东西的更多理由,但你发布了希伯来语,所以我专注于希伯来语特别出现的问题。

答:

1236赞 Martijn Pieters 8/20/2013 #1

使用开关 ,然后手动将值编码为 UTF-8:ensure_ascii=Falsejson.dumps()

>>> json_string = json.dumps("ברי צקלה", ensure_ascii=False).encode('utf8')
>>> json_string
b'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print(json_string.decode())
"ברי צקלה"

如果要写入文件,只需使用并保留它给文件对象进行编码:json.dump()

with open('filename', 'w', encoding='utf8') as json_file:
    json.dump("ברי צקלה", json_file, ensure_ascii=False)

Python 2 的注意事项

对于 Python 2,还有一些注意事项需要考虑。如果要将其写入文件,则可以使用 io.open() 而不是生成一个文件对象,该对象在写入时为您编码 Unicode 值,然后改用 to 写入该文件:open()json.dump()

with io.open('filename', 'w', encoding='utf8') as json_file:
    json.dump(u"ברי צקלה", json_file, ensure_ascii=False)

请注意,json 模块中存在一个错误,其中标志可以生成 and 对象的混合。Python 2 的解决方法是:ensure_ascii=Falseunicodestr

with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(u"ברי צקלה", ensure_ascii=False)
    # unicode(data) auto-decodes data to unicode if str
    json_file.write(unicode(data))

在 Python 2 中,当使用编码为 UTF-8 的字节字符串(类型)时,请确保同时设置关键字:strencoding

>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}

>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
ברי צקלה

评论

10赞 AdamAL 1/12/2021
往返/似乎没有必要。只是设置(根据这个答案)似乎就足够了。encodedecodeensure_ascii=False
6赞 Martijn Pieters 1/13/2021
@AdamAL请更仔细地阅读我的答案:这个答案中没有往返,除了解码调用,它只是为了证明字节值确实包含 UTF-8 编码的数据。我回答中的第二个代码片段直接写入文件,仅设置 .注意:我强烈建议不要使用该功能;库早于历史,流实现存在许多未解决的问题。ensure_ascii=Falsecodecs.open()io
1赞 Karl Knechtel 8/5/2022
@AdamAL 在 3.x 中,设置就足够了,因为 .dump.dumps 的结果已经是一个字符串。任何编码任务都已由目标文件的编码设置(如果适用)处理。ensure_ascii=False
-3赞 Ryan X 1/5/2014 #2

正如 Martijn 所指出的那样,在 json.dumps 中使用 ensure_ascii=False 是解决这个问题的正确方向。但是,这可能会引发异常:

UnicodeDecodeError:“ascii”编解码器无法解码位置 1 中的字节0xe7:序号不在范围内(128)

您需要在 site.pysitecustomize.py 中进行额外的设置才能正确设置 sys.getdefaultencoding()。site.py 位于 lib/python2.7/ 下,sitecustomize.py 位于 lib/python2.7/site-packages 下

如果要使用 site.py,请在 def setencoding(): 下将第一个 if 0: 更改为 if 1:,以便 Python 将使用操作系统的区域设置。

如果您更喜欢使用 sitecustomize.py,如果您尚未创建它,它可能不存在,只需添加以下行:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

然后你可以做一些 UTF-8 格式的中文 JSON 输出,例如:

name = {"last_name": u"王"}
json.dumps(name, ensure_ascii=False)

你将获得一个 UTF-8 编码的字符串,而不是一个 \u 转义的 JSON 字符串。

要验证默认编码,请执行以下操作:

print sys.getdefaultencoding()

您应该获得“utf-8”或“UTF-8”来验证您的 site.pysitecustomize.py 设置。

请注意,您无法在交互式 Python 控制台上执行 sys.setdefaultencoding(“utf-8”)。

评论

2赞 jfs 1/5/2014
不。别这样。修改默认字符编码与 的 无关。如果您不这么认为,请提供一个最小的完整代码示例。jsonensure_ascii=False
0赞 Martijn Pieters 5/15/2014
仅当您输入非 ASCII 字节字符串(例如,非 Unicode 值)或尝试将生成的 JSON 值(Unicode 字符串)与非 ASCII 字节字符串组合时,才会出现此异常。将默认编码设置为 UTF-8 实质上掩盖了未正确管理字符串数据的潜在问题。
31赞 monitorius 9/28/2014 #3

这是错误的答案,但理解为什么它是错误的仍然很有用。请参阅注释。

用:unicode-escape

>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1": "ברי צקלה", "2": "ברי צקלה"}

评论

11赞 jfs 5/11/2015
unicode-escape不是必需的:您可以改用。并且不能保证 json 在所有情况下都使用 Python 中的编解码器完全相同的规则,即在某些极端情况下,结果可能相同,也可能不同。反对票是针对不必要且可能错误的转换。不相关:仅适用于 utf8 语言环境,或者 envvar 在此处指定 utf8(改为打印 Unicode)。json.dumps(d, ensure_ascii=False).encode('utf8')unicode-escapeprint json_strPYTHONIOENCODING
3赞 Martijn Pieters 6/7/2015
另一个问题:字符串值中的任何双引号都将失去转义,因此这将导致 JSON 输出中断
0赞 Gank 4/18/2016
Python3 中的错误:AttributeError:“str”对象没有属性“decode”
1赞 Worker 5/11/2016
unicode-escape工作正常!我会接受这个答案是正确的。
0赞 turingtested 11/27/2018
@jfs 不,至少对我来说是行不通的。我收到 -error。但是,该变体工作正常。json.dumps(d, ensure_ascii=False).encode('utf8')UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position ...unicode-escape
30赞 Jonathan Ray 1/20/2015 #4

Pieters 的 Python 2 解决方法在边缘情况下失败:

d = {u'keyword': u'bad credit  \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(d, ensure_ascii=False).decode('utf8')
    try:
        json_file.write(data)
    except TypeError:
        # Decode data to Unicode first
        json_file.write(data.decode('utf8'))

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)

它在第 3 行的 .decode('utf8') 部分崩溃。我通过避免该步骤以及 ASCII 的特殊大小写使程序更简单来解决这个问题:

with io.open('filename', 'w', encoding='utf8') as json_file:
  data = json.dumps(d, ensure_ascii=False, encoding='utf8')
  json_file.write(unicode(data))

cat filename
{"keyword": "bad credit  çredit cards"}

评论

2赞 Martijn Pieters 1/27/2015
“边缘情况”对我来说只是一个未经测试的愚蠢错误。您的方法是更好的选择,而不是使用异常处理。请注意,关键字参数与生成的输出无关;它用于解码函数接收的 STR 输入unicode(data)encoding='utf8'json.dumps()
2赞 jfs 2/8/2015
@MartijnPieters:或更简单:无论返回(仅限 ascii)str 还是 unicode 对象,它都可以工作。open('filename', 'wb').write(json.dumps(d, ensure_ascii=False).encode('utf8'))dumps
0赞 Martijn Pieters 2/8/2015
@J.F.Sebastian:是的,因为先隐式解码。但是,如果给定一个对象,也是如此。:-)不过,使用为您提供了更多选项,包括使用写入 BOM 的编解码器,并且您正在使用其他内容跟踪 JSON 数据。str.encode('utf8')unicode(data)strio.open()
1赞 jfs 5/11/2015
@MartijnPieters:基于 -based 的变体适用于 Python 2 和 3(相同的代码)。Python 3 上没有。不相关:json 文件不应使用 BOM(尽管确认 json 解析器可能会忽略 BOM,请参阅错误率 3983)。.encode('utf8')unicode
0赞 Max L 2/8/2016
添加以解决问题。P.S. 我有一个西里尔文本要转储encoding='utf8'json.dumps
6赞 Neit Sabes 8/26/2016 #5

这是我使用 json.dump() 的解决方案:

def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
    with codecs.open(p, 'wb', 'utf_8') as fileobj:
        json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)

其中 SYSTEM_ENCODING 设置为:

locale.setlocale(locale.LC_ALL, '')
SYSTEM_ENCODING = locale.getlocale()[1]
148赞 Hiep Tran 11/14/2016 #6

写入文件

import codecs
import json

with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
    json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)

打印到 stdout

import json
print(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))

评论

1赞 Alex 5/17/2017
SyntaxError:文件 json-utf8.py 第 5 行中的非 ASCII 字符“\xc3”,但未声明编码;有关详细信息,请参阅 python.org/dev/peps/pep-0263
0赞 Karim Sonbol 6/29/2018
谢谢!我没有意识到事情就这么简单。只有当要转换为 json 的数据是不受信任的用户输入时,才需要小心。
0赞 tripleee 5/16/2021
@Alex 那是 stackoverflow.com/questions/10589620/......
8赞 Cheney 1/7/2017 #7

以下是我对上面和谷歌的理解 var 阅读答案。

# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
    #python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
    #1.reload
    #importlib,sys
    #importlib.reload(sys)
    #sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
    #not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
    #2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
    #too complex
    #3.control by your own (best)
    #==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)
    #see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes

    #how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
    #http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""

from __future__ import print_function
import json

a = {"b": u"中文"}  # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')

# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')

# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b": "\\u4e2d\\u6587"}'
'{"b": "\\u4e2d\\u6587"}'
u'{"b": "\u4e2d\u6587"}'
'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'

u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'

#python3
{'b': '中文'}
'{"b": "\\u4e2d\\u6587"}'
b'{"b": "\\u4e2d\\u6587"}'
'{"b": "中文"}'
b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

b'\xe4\xb8\xad\xe6\x96\x87'
'中文'

'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""

评论

0赞 Peter Mortensen 8/9/2022
第一句话是难以理解的。你能修好吗
5赞 Yulin GUO 8/14/2018 #8

如果可能,请使用编解码器,

with codecs.open('file_path', 'a+', 'utf-8') as fp:
    fp.write(json.dumps(res, ensure_ascii=False))

评论

1赞 Peter Mortensen 8/9/2022
什么是“编解码器”?Python 包?它需要什么导入语句?别的?使用它有什么好处?你为什么选择它?例如,您可以链接到它的文档。请通过编辑(更改)您的答案来回复,而不是在评论中(没有“编辑:”,“更新:”或类似内容 - 答案应该看起来好像是今天写的)。
30赞 Nik 1/20/2019 #9

从 Python 3.7 开始,以下代码工作正常:

from json import dumps
result = {"symbol": "ƒ"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)

输出:

{"symbol": "ƒ"}

评论

2赞 Berry Tsakala 2/14/2019
同样在 Python 3.6 中(刚刚验证)。
1赞 Zaman 1/18/2023
工作得很好,没有进一步的复杂性。
8赞 Chandan Sharma 7/30/2019 #10

如果要从文件加载 JSON 字符串,并且文件内容是阿拉伯语文本,则这将起作用。

假设文件如下 arabic.json

{
  "key1": "لمستخدمين",
  "key2": "إضافة مستخدم"
}

arabic.json 文件中获取阿拉伯语内容

with open(arabic.json, encoding='utf-8') as f:
   # Deserialises it
   json_data = json.load(f)
   f.close()

# JSON formatted string
json_data2 = json.dumps(json_data, ensure_ascii = False)

若要在 Django 模板中使用 JSON 数据,请执行以下步骤:

# If have to get the JSON index in a Django template file, then simply decode the encoded string.

json.JSONDecoder().decode(json_data2)

做!现在,我们可以将结果作为带有阿拉伯值的 JSON 索引。

评论

0赞 AMC 2/22/2020
fh.close() fh未定义。
0赞 Chandan Sharma 2/26/2020
现在已更正。这将是f.close()
0赞 tripleee 3/10/2023
您正在使用上下文管理器 (),因此无论如何都是不必要的。Python 暂时默默地接受它,但这确实是一个错误,可能会在未来的版本中暴露出来。with open....close
27赞 sivi 10/18/2019 #11

感谢您在这里的原始答案。使用 Python 3 时,以下代码行:

print(json.dumps(result_dict,ensure_ascii=False))

还可以。如果不是强制性的,请考虑尝试不要在代码中编写太多文本。

这对于 Python 控制台来说可能已经足够了。但是,为了满足服务器的要求,您可能需要按照此处的说明设置区域设置(如果是在 Apache 2 上) 使用 LANG 和 mod_wsgi 时设置 LANG 和 LC_ALL

基本上,在 Ubuntu 上安装he_IL或任何语言区域设置。 检查是否未安装:

locale -a

安装它,其中 XX 是您的语言:

sudo apt-get install language-pack-XX

例如:

sudo apt-get install language-pack-he

将以下文本添加到 /etc/apache2/envvrs

export LANG='he_IL.UTF-8'
export LC_ALL='he_IL.UTF-8'

然后,您希望不会从Apache获得Python错误,例如:

打印 (JS) UnicodeEncodeError:“ascii”编解码器无法对位置 41-45 中的字符进行编码:序号不在范围内 (128)

同样在 Apache 中,尝试将 UTF 设置为默认编码,如下所述: 如何将 Apache 的默认编码更改为 UTF-8

尽早这样做,因为 Apache 错误调试起来可能很痛苦,您可能会错误地认为它来自 Python,但在这种情况下可能并非如此。

11赞 ChrisXiao 2/23/2020 #12

使用 unicode-escape 解决问题

>>>import json
>>>json_string = json.dumps("ברי צקלה")
>>>json_string.encode('ascii').decode('unicode-escape')
'"ברי צקלה"'

解释

>>>s = '漢  χαν  хан'
>>>print('Unicode: ' + s.encode('unicode-escape').decode('utf-8'))

Unicode: \u6f22  \u03c7\u03b1\u03bd  \u0445\u0430\u043d

>>>u = s.encode('unicode-escape').decode('utf-8')
>>>print('Original: ' + u.encode("utf-8").decode('unicode-escape'))

Original: 漢  χαν  хан

原始资源:Python3 使用 unicode-escape 处理 unicode 16进制字符串编解码问题

评论

1赞 tripleee 5/16/2021
使用库的内置功能而不是滚动自己的功能是愚蠢的。(但要明白,将 JSON 保存为裸 UTF-8 可能会带来互操作性问题,尤其是在 Windows 上。ensure_ascii=False
0赞 Mitzi 3/24/2022
@tripleee这并不傻 - 它是唯一给出确切结果的解决方案,其编码类似于使用 UTF-8 进行文件写入。
0赞 Thomas Krickl 5/30/2023
谢谢:)它帮助我将收到的回复与文本转换为德语可读文本