String#offsetByCodePointsでハマリ

文字列の補助文字対応をしていてハマッタのでメモ。

症状

下記のようにUnicodeのコードポイント単位で処理をしたいが、

offsetByCodePointsの値に期待値がこないで、妙にでかい値がくる。なぜ？！

for (int i = 0; i < s.length(); i = s.offsetByCodePoints(i, 1)) {
...
}

調査

下記のようなテストプログラムでoffsetByCodePointsの出力を調べる。

期待値は１．

class Test {
public static void main(String[] args) throws Exception {
String org = "＊＊＊＊＊ハロー";
String word = org.substring(5, org.length());
p("offsetByCodePoints:%s\n", word.offsetByCodePoints(0, 1));
p("%s\n", word);
}

public static void p(String format, Object... args)
{
System.out.printf(format, args);
}
}

しかし、出力は以下となる。

$ java Test
offsetByCodePoints: 6
ハロー

この６という数字はなにか。

JavaDocによると、String#substringは新しいStringのインスタンスを返すと記述されている。

しかし実はsubustringで生成されたインスタンスは、完全に新しく生成されるわけではないのだ。

Stringのインスタンスは内部に文字列を保持しているが、メモリ効率をよくするために、

同じ文字列をnew Stringした場合は、同じ文字列をメモリ上指し示すような作りになっている。

subustringメソッドを実効した場合も同様で、subustringを実効したStringインスタンスと

同じ文字列を指すのだ（内部にオフセット値をもっていて、この値を変えているだけ。Stringクラスのソースを読むと分かる）

このことから以下のようなループ処理をするときは、substringを使用してはいけない。

for (int i = 0; i < s.length(); i = s.offsetByCodePoints(i, 1)) {
...
}

使用する場合は、

String word = new String(org.substring(5, org.length()));

としなくてはならい。

結論

substringで生成された文字列に対して、offsetByCodePointsを使用してはならない。

じゃあ、どうやって文字ループを実現するかだが、以下のようにした方がいいかもしれない。

for (int i = 0; i < s.length(); ) {
int c = s.codePointAt(i);
p("%x\n", c);
i += Character.charCount(c);
}

offsetByCodePointsはループに使用するなってことだね。

今回使用したテストプログラム

import java.io.*;

class Test {
public static void main(String[] args) throws Exception {
String org = "＊＊＊＊＊ハロー";
String word = org.substring(5, org.length());
p("offsetByCodePoints:%s\n", word.offsetByCodePoints(0, 1));
p("%s\n", word);
testLoop1(word);
testLoop2(word);
}

public static void p(String format, Object... args)
{
System.out.printf(format, args);
}

public static void testLoop1(String s) {
p("===================\n");
p("offsetByCodePoints\n");
for (int i = 0; i < s.length(); i = s.offsetByCodePoints(i, 1)) {
int c = s.codePointAt(i);
p("%x\n", c);
}
}

public static void testLoop2(String s) {
p("===================\n");
p("charCount\n");
for (int i = 0; i < s.length(); ) {
int c = s.codePointAt(i);
p("%x\n", c);
i += Character.charCount(c);
}
}
}

追記

この症状はバグとして報告されていて、Java6で実行したら問題なかったよ。。。

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6242664