如何使用 *nix 中的控制台工具将 \uXXXX unicode 转换为 UTF-8

问题描述：

我用来获取一些 URL 响应，它是 JSON 响应，它包含像和这样curl的 unicode 转义的国家字符。/u0144 (ń)/u00f3 (ó)

我如何将它们转换为UTF-8或任何其他编码以保存到文件中？

解决方案 1：

可能有点丑陋，但echo -e应该这样做：

echo -en "$(curl $URL)"

-e解释转义符，抑制通常会添加的-n换行符。echo

注意：/u转义在 bash 内置命令中有效echo，但无效/usr/bin/echo。

正如评论中指出的那样，这是 bash 4.2+，而 4.2.x 在处理 0x00ff/17 值（0x80-0xff）时存在错误。

解决方案 2：

我不知道您使用的是哪个发行版，但应该包含uni2ascii 。

$ sudo apt-get install uni2ascii

它仅依赖于 libc6，因此它是一个轻量级解决方案（uni2ascii i386 4.18-2 在 Ubuntu 上是 55,0 kB）！

然后使用它：

$ echo 'Character 1: /u0144, Character 2: /u00f3' | ascii2uni -a U -q
Character 1: ń, Character 2: ó

解决方案 3：

我发现 JDK 中的 native2ascii 是最好的方法：

native2ascii -encoding UTF-8 -reverse src.txt dest.txt

详细描述在这里：http://docs.oracle.com/javase/1.5.0/docs/tooldocs/windows/native2ascii.html

更新：
自 JDK9 起不再可用：https ://bugs.openjdk.java.net/browse/JDK-8074431

解决方案 4：

现在我有了最好的答案！使用jq

视窗：

type in.json | jq > out.json

鲁尼克斯：

cat in.json | jq > out.json

它肯定比使用 perl/python 的任何答案都快。没有参数，它会格式化 json 并将 /uXXXX 转换为 utf8。它也可以用于执行 json 查询。非常好的工具！

解决方案 5：

假设后面/u总是跟着 4 个十六进制数字：

#!/usr/bin/perl

use strict;
use warnings;

binmode(STDOUT, ':utf8');

while (<>) {
    s/\/u([0-9a-fA-F]{4})/chr(hex($1))/eg;
    print;
}

binmode将标准输出置于 UTF-8 模式。该命令将后跟 4 个十六进制数字s...的每个出现的 替换为相应的字符。后缀导致替换被评估为表达式而不是字符串；表示替换所有出现的情况而不仅仅是第一个出现的情况。/u`e`g

您可以将上述内容保存到您电脑中的某个文件中$PATH（不要忘记chmod +x）。它将标准输入（或命令行上指定的一个或多个文件）过滤到标准输出。

再次，这假设表示后面总是/u跟着 4 个十六进制数字。 Unicode 字符比可以用这种方式表示的要多，但我假设这/u12345将表示 Unicode 字符 0x1234（ETHIOPIC SYLLABLE SEE）后面跟着数字5。

在 C 语法中，通用字符名称后面要么/u跟着正好 4 个十六进制数字，要么U跟着正好 8 个十六进制数字。我不知道您的 JSON 响应是否使用相同的方案。您可能应该找出它如何（或是否）对基本多语言平面（前 2 16个字符）之外的 Unicode 字符进行编码。

解决方案 6：

/u不要依赖正则表达式：JSON 在转义和非 BMP 代码点方面有一些奇怪的极端情况。（具体来说，JSON 将使用两个 /u转义来编码一个代码点）如果您假设 1 个转义序列转换为 1 个代码点，那么您在这样的文本上就注定会失败。

使用你选择的语言的完整 JSON 解析器会更加强大：

$ echo '["foo bar /u0144
"]' | python -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))'

这实际上只是将数据提供给这个简短的 Python 脚本：

import json
import sys

data = json.load(sys.stdin)
data = data[0] # change this to find your string in the JSON
sys.stdout.write(data.encode('utf-8'))

您可以从中另存为foo.py并调用curl ... | foo.py

一个可以打破该问题中大多数其他尝试的例子是"/ud83d/udca3"：

% printf '"\/ud83d\/udca3"' | python2 -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))'; echo