Use tokenize instead of getTokenizer

[k-tahiro]

ルール間で形態素解析結果を使いまわせるようにtokenizeを使用するPRです。

[azu]

https://github.com/azu/kuromojin/blob/374bba24329507caa16c2e5b1cdc9e69c1062a76/src/kuromojin.ts#L75-L99
kuromojinの getTokenizer の方にもLRUキャッシュが効くように変更しちゃうのはどうですかね?
getTokenizer でキャッシュ入れてないのはあんまり一貫性がない気がするので、入れてしまうのが楽なのかなーと思って。

[k-tahiro]

kuromoji.jsのTokenizerではなくて、kuromojinのTokenizerクラスを作って返す感じですかね。
kuromojinのgetTokenizerがどういった使われ方を想定しているのかを詳しく知っているわけではないですが、良いんじゃないかなと思います。

[azu]

kuromoji.jsのTokenizerではなくて、kuromojinのTokenizerクラスを作って返す感じですかね。

はい。

https://github.com/azu/kuromojin/blob/374bba24329507caa16c2e5b1cdc9e69c1062a76/src/kuromojin.ts#L9-L12
型的には2つのメソッド持つラッパーになってるので、ラッパー的なオブジェクトを返すとかで良いのかなーと思いました。

[azu]

別途Issueを作りました
azu/kuromojin#13

これ自体は問題ないため、マージしてしまいます。

[azu]

Released https://github.com/textlint-ja/textlint-rule-max-ten/releases/tag/v4.0.3