このツールの機能
テキストトークナイザーはテキストをトークン（単語、文字、行）に分割し、各トークンの頻度を表示します。モードを選び、テキストを貼り付けて即座にカウントと頻度表を取得。トークンをカンマ区切りや改行区切りでコピー、頻度表をコピー、統計計算ツールにカウントを送信できます。
使い方
- モードを選択 — 単語、文字、行。
- テキストを入力または貼り付け — 「ダミーテキスト生成」で素早く入力。
- トークナイズをクリック — 分割してカウントと頻度表を表示。
- 結果をコピー — トークンまたは頻度表。
- さらに解析 — 「統計で解析」で統計計算ツールを開く。
動作の仕組み
- 単語モード — 空白で分割、空文字列を除外。
- 文字モード — 各文字がトークン；空白、タブ、改行は除外。
- 行モード — 改行（\n または \r\n）で分割。
頻度は出現回数をカウントし、降順でソート。すべてブラウザ内で処理。データはサーバーに送信されません。
使用例とサンプル
- 単語カウント、テキスト解析、データ準備、統計パイプライン。
例
「hello world hello」単語モード → トークン hello, world, hello；頻度 hello (2), world (1)。
制限と既知の制約
- 最大512KB。クライアント側のみ。単純なトークン化。文字モードは空白を除外。