差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン次のリビジョン両方とも次のリビジョン | ||
programming_algorithm:string_search [2020/01/17] – [Aho-Corasick 法] ikatakos | programming_algorithm:string_search [2020/01/20] – ikatakos | ||
---|---|---|---|
行 3: | 行 3: | ||
執筆途中(多分永遠に) | 執筆途中(多分永遠に) | ||
+ | * [[wpjp> | ||
+ | * [[wp> | ||
* [[https:// | * [[https:// | ||
行 14: | 行 16: | ||
==== 愚直(Brute Force) ==== | ==== 愚直(Brute Force) ==== | ||
+ | |||
+ | ==計算量== | ||
+ | |||
+ | $O(|S||T|)$ | ||
+ | |||
+ | ==概要== | ||
まずは基本。マッチ位置 $i$ を1つずつずらして、そこから各 $j$ 文字目が一致するか照合していく。 | まずは基本。マッチ位置 $i$ を1つずつずらして、そこから各 $j$ 文字目が一致するか照合していく。 | ||
- | | + | S ABCDEABCF |
- | T ABCF | + | |
- | | + | 照合 |
- | ABCF | + | |
- | 一般的な(言語上意味のある)文字列であればほとんど1文字目で失敗するので、愚直といえどほぼ $O(|S|)$ で済むが、 | + | 一般的な(自然言語上意味のある)文字列であればほとんど1文字目で失敗するので、愚直といえどほぼ $O(|S|)$ で済むが、 |
同じ文字が多く出現する特殊な場合は、最悪 $O(|S||T|)$ かかる。 | 同じ文字が多く出現する特殊な場合は、最悪 $O(|S||T|)$ かかる。 | ||
行 46: | 行 53: | ||
* [[wpjp> | * [[wpjp> | ||
* [[https:// | * [[https:// | ||
+ | |||
+ | ==計算量== | ||
+ | |||
+ | 前計算 $O(|T|)$、検索 $O(|S|)$ | ||
+ | |||
+ | ==概要== | ||
1対1の検索アルゴリズム。 | 1対1の検索アルゴリズム。 | ||
- | $T$ から「$j$ 文字目で照合失敗したら次のマッチ位置は何文字飛ばせるか」テーブルを事前に作っておく。 | + | 事前に |
+ | ++++ もう少し詳細 | | ||
+ | |||
+ | 前計算テーブル | ||
j 012345 | j 012345 | ||
T ABCABD | T ABCABD | ||
行 65: | 行 81: | ||
'' | '' | ||
- | (基本的に照合失敗したら $T$ をずらして、失敗した $S$ 側の文字はもう一度 $T$ と照合されるが、$j=0$ の場合のみ、$S$ 側の文字も進める必要がある) | ||
- | 計算量は、テーブル作成 | + | 照合失敗したら、基本的には失敗した $S$ 側の文字はもう一度 |
+ | |||
+ | ++++ | ||
++++ Pythonでの実装例 | | ++++ Pythonでの実装例 | | ||
行 120: | 行 137: | ||
1対1の検索アルゴリズム。 | 1対1の検索アルゴリズム。 | ||
+ | |||
+ | ===計算量=== | ||
+ | |||
+ | 前計算 $O(|T|)$、検索はランダムケースならほぼ $O(\frac{|S|}{|T|})$、最悪 $O(|S||T|)$(最悪を $O(|S|)$ にする改善方法は存在) | ||
+ | |||
+ | ===概要=== | ||
KMP法同様、マッチ位置をスキップしつつずらしていくのだが、文字の照合は後ろからおこなうのが特徴。 | KMP法同様、マッチ位置をスキップしつつずらしていくのだが、文字の照合は後ろからおこなうのが特徴。 | ||
行 268: | 行 291: | ||
* [[https:// | * [[https:// | ||
- | 主に $\mathbb{T}$ が複数ある場合に用いる。 | + | 主に $T$ が複数ある場合に用いる。($T$ の集合を $\mathbb{T}$ で表す) |
===計算量=== | ===計算量=== | ||
行 274: | 行 297: | ||
$\mathbb{T}$ の各要素の長さの合計を $m$ とすると、 | $\mathbb{T}$ の各要素の長さの合計を $m$ とすると、 | ||
- | 前計算の構築に $O(m)$、検索に最悪 | + | 前計算の構築に $O(m)$、検索に $O(|S|+m+マッチ数)$ |
===概要=== | ===概要=== | ||
行 286: | 行 309: | ||
==failureの構築== | ==failureの構築== | ||
- | Trie木を構築後、戻る辺(failure)を構築する。 | + | Trie木を構築後、各ノードに対し、検索失敗時に戻るノード(failure)を特定する。 |
- | * ''' | + | * ''' |
* ''' | * ''' | ||
* ある→その子 | * ある→その子 | ||
- | * ない→(''' | + | * ない→''' |
* ある→その子 | * ある→その子 | ||
* ない→... | * ない→... | ||
- | * 再帰的に遡り、根まで遡っても無ければ、根 | + | * failureを再帰的に遡り、根まで遡っても無ければ、根 |
幅優先探索で根から近い方から埋めていくことで、遡る時に訪れるfailureが既に確定していることを保証できる。 | 幅優先探索で根から近い方から埋めていくことで、遡る時に訪れるfailureが既に確定していることを保証できる。 | ||
行 395: | 行 418: | ||
</ | </ | ||
++++ | ++++ | ||
+ | |||
+ | ==== FM-index ==== | ||
+ | |||
+ | * [[wp> | ||
+ | * [[https:// | ||
+ | |||
+ | ==概要== | ||
+ | |||
+ | 主に $T$ が複数ある場合に用いる。(別に複数で無くてもよいが、1対1なら前処理にかかる時間を考えると他のアルゴリズムを用いた方がよい) | ||
+ | |||
+ | $S$ をBWT(Burrows Wheeler変換)しておき、$T$ の各接尾辞が出現するかをチェックする。(まだ詳しく調べてない) | ||
+ | |||
+ | ==計算量== | ||
+ | |||
+ | * 前計算 | ||
+ | * $O(|S| \log{|S|})$($O(|S|), | ||
+ | * 1回の検索 | ||
+ | * 出現する文字の種類数を $\sigma$ として、$O(|T| \log{\sigma})$ | ||
+ | |||
===== 文字列を効率的に保持するアルゴリズム ===== | ===== 文字列を効率的に保持するアルゴリズム ===== | ||
行 402: | 行 444: | ||
* [[wpjp> | * [[wpjp> | ||
- | 検索手法というか、データ構造。複数の文字列を木構造で表現する。 | + | 複数の文字列を木構造で表現するデータ構造。 |
- | トライ木は、文字列の集合を1文字を1ノードとした木構造に変換したもの。 | + | トライ木は、文字列の集合を1文字を1ノードとした木構造に変換したもの。(1辺を1文字と対応させる考え方もあるが、本質は一緒) |
短くて似たような単語が沢山あるとき、特に効率的に保持できる。 | 短くて似たような単語が沢山あるとき、特に効率的に保持できる。 | ||
行 422: | 行 464: | ||
* [[https:// | * [[https:// | ||
- | 検索ではなく、文字列を同じ文字が連続しやすいように可逆変換するアルゴリズム。 | + | 文字列を同じ文字が連続しやすいように可逆変換するアルゴリズム。 |
主に圧縮の前処理に用いる(同じ文字が連続していれば圧縮効率がよくなる) | 主に圧縮の前処理に用いる(同じ文字が連続していれば圧縮効率がよくなる) | ||
行 440: | 行 482: | ||
$S$ の各文字の間に $S$ には絶対に登場しないダミー文字を挟み込むと、偶数長の回文も見つけられる(ダミー文字が中心になったとき)。 | $S$ の各文字の間に $S$ には絶対に登場しないダミー文字を挟み込むと、偶数長の回文も見つけられる(ダミー文字が中心になったとき)。 | ||
+ | ++++ Pythonでの実装 | | ||
+ | |||
+ | 両端と各文字の間に' | ||
+ | |||
+ | <sxh python> | ||
+ | def manacher(s): | ||
+ | n = len(s) | ||
+ | radius = [0] * n | ||
+ | i, j = 0, 0 | ||
+ | while i < n: | ||
+ | while i - j >= 0 and i + j < n and s[i - j] == s[i + j]: | ||
+ | j += 1 | ||
+ | radius[i] = j | ||
+ | k = 1 | ||
+ | while i - k >= 0 and i + k < n and k + radius[i - k] < j: | ||
+ | radius[i + k] = radius[i - k] | ||
+ | k += 1 | ||
+ | i += k | ||
+ | j -= k | ||
+ | return radius | ||
+ | |||
+ | |||
+ | s = ' | ||
+ | s = ' | ||
+ | man = manacher(s) | ||
+ | print(man) | ||
+ | # a | ||
+ | # => [1, 2, 1, 2, 1, 4, 1, 4, 1, 2, 1, 12, 1, 2, 1, 4, 1, 4, 1, 2, 1, 2, 1] | ||
+ | |||
+ | s = ' | ||
+ | s = ' | ||
+ | man = manacher(s) | ||
+ | print(man) | ||
+ | # a | ||
+ | # => [1, 2, 1, 2, 1, 2, 7, 2, 1, 2, 1, 2, 1] | ||
+ | </ | ||
+ | |||
+ | ++++ | ||