恩,又碰到个蛋疼的编码转换问题了:要把形如 \xE9\xBB 的字符串转成中文。。。
在python中我们直接 print "\xE9\xBB\x84" 即可,
在shell中我们直接 echo $'\xe9\xbb\x84' #echo -e '\xe9\xbb\x84'也行,
注意:不能直接 echo $'\xde\xab'|iconv -f gbk -t utf-8 ,
因为 gbk的话,\xE9\xBB是榛,后面的\x84只有半个字,会报错或乱码,
utf8是变长的,占1~4字节,汉字一般是3字节,例如 xe9是16进制,占8bit,也就是一个字节。
但是到了 java 中,就比较蛋疼了,还是上代码吧:
import java.io.UnsupportedEncodingException;
import java.math.BigInteger;
public class Test {
public static String str2Hex(String str) throws UnsupportedEncodingException {
String hexRaw = String.format("%x", new BigInteger(1, str.getBytes("UTF-8")));
char[] hexRawArr = hexRaw.toCharArray();
StringBuilder hexFmtStr = new StringBuilder();
final String SEP = "\\x";
for (int i = 0; i < hexRawArr.length; i++) {
hexFmtStr.append(SEP).append(hexRawArr[i]).append(hexRawArr[++i]);
}
return hexFmtStr.toString();
}
public static String hex2Str(String str) throws UnsupportedEncodingException {
String strArr[] = str.split("\\\\"); // 分割拿到形如 xE9 的16进制数据
byte[] byteArr = new byte[strArr.length - 1];
for (int i = 1; i < strArr.length; i++) {
Integer hexInt = Integer.decode("0" + strArr[i]);
byteArr[i - 1] = hexInt.byteValue();
}
return new String(byteArr, "UTF-8");
}
public static void main(String[] args) throws UnsupportedEncodingException {
System.out.println(str2Hex("中国1a23"));
System.out.println(hex2Str(str2Hex("中国1a23")));
System.out.println(hex2Str("\\xE9\\xBB\\x84\\xE8\\x8A\\xB1\\xE6\\xA2\\xA8\\xE5\\xAE\\xB6\\xE5\\x85\\xB7\\xE8\\xBD\\xAC\\xE8\\xAE\\xA9"));
}
}
结果:
\xe4\xb8\xad\xe5\x9b\xbd\x31\x61\x32\x33
中国1a23
黄花梨家具转让
下面再来看看 unicode 形式怎么在 java 中转换:
String string = "中国\u6211\u7231\u5317\u4EAC";
byte[] utf8 = string.getBytes("UTF-8");
string = new String(utf8, "UTF-8");
System.out.println(string);
在 shell 中:
echo -e \\u4f60 #注意 type -a echo; which echo; man bash 版本是否支持 \uHHHH 4 字节 unicode。
perl -CS -le 'print "\x{4f60}"'
python -c 'print u"\u4f60"'
REF:
java中byte 与16进制字符相互转换
http://marshzg.iteye.com/blog/722260
shell 下 urlencode/urldecode 编码/解码的几种方法
http://hi.baidu.com/leejun_2005/item/9e0f4e4ba62cde0bc11613b5
java: utf-8 与 unicode 互转
http://www.360doc.com/content/08/0421/16/21290_1206154.shtml
Converting A String To Hexadecimal In Java
http://stackoverflow.com/questions/923863/converting-a-string-to-hexadecimal-in-java
Convert from byte array to hex string in java
http://stackoverflow.com/questions/9655181/convert-from-byte-array-to-hex-string-in-java
推荐阅读:
深度剖析Java的字符编码
http://geeklu.com/2009/12/dive-into-the-charset-of-java/
java中byte转换int时为何与0xff进行与运算