複数の区切り文字を使用した文字列トークナイザーの使い方

以下に、複数の区切り文字を使用して文字列をトークンに分割する方法をいくつか示します。

正規表現を使用する方法: 正規表現を使うと、複数の区切り文字を指定することができます。以下はJavaの例です。

import java.util.regex.Pattern;
import java.util.regex.Matcher;
String text = "Hello,World|Foo-Bar";
Pattern pattern = Pattern.compile("[,|\\-]");
String[] tokens = pattern.split(text);
for (String token : tokens) {
    System.out.println(token);
}

上記の例では、コンマとパイプ記号を区切り文字として指定しています。splitメソッドは正規表現を受け取り、指定した区切り文字で文字列を分割します。

文字列の一時的な置換を使用する方法: 文字列内の複数の区切り文字を一時的に同じ文字に置換し、それを区切り文字として使用する方法もあります。以下はPythonの例です。

text = "Hello,World|Foo-Bar"
text = text.replace(",", "|").replace("-", "|")
tokens = text.split("|")
for token in tokens:
    print(token)

上記の例では、コンマとハイフンを一時的にパイプ記号に置換しています。その後、パイプ記号を区切り文字として使用して文字列を分割しています。

これらの方法を使用することで、複数の区切り文字を使用して文字列をトークンに分割することができます。必要に応じて、他のプログラミング言語や具体的な要件に合わせてコードを調整してください。