巨大テキスト検索の専門化集合！ＨＥＬＰ！

1 ：名無しさん＠お腹いっぱい。 ：2001/07/21(土) 18:49

ＵＮＩＸで巨大テキスト（２２０Ｍ）からＡＮＤ　ＯＲ検索を高速で行いたいのですが、なかなかどうしてうまくいきません。
ＭＹＳＱＬのあいまい検索を使っても実行速度１０秒。ＳＵＦＡＲＹは早いんですがＡＮＤ検索が出来ないし・・。
巨大テキストファイルから高速検索できるような方法やソフトなどをご存知でしたら教えてください。

「デリミタがタブで改行コードにて一行とみてくれて、ＡＮＤ・ＯＲ検索が出来て、表示行数の指定ができる。」
というような方法（ソフト）を教えてください！。

2 ：名無しさん＠お腹いっぱい。 ：2001/07/21(土) 19:47

自分でプログラム書けよ。
漏れは自分で作ったが快適

3 ：名無しさん＠お腹いっぱい。 ：2001/07/21(土) 21:24

>>1
そんなことしないからわかんないんだけど、
namazuじゃだめ？
それがだめならIBMのメインフレームでも使ってちょ。

4 ：名無しさん＠お腹いっぱい。 ：2001/07/22(日) 11:22

libsary つかって AND は自前で実装、ってのはどうよ。
http://sary.namazu.org/

5 ：名無しさん＠お腹いっぱい。 ：2001/07/22(日) 18:02

１です。ｍ（＿＿）ｍ
saryやsafuryを組み込んでＡＮＤ検索してみました。（Ｃ言語バージョン）
ＡＮＤはやはり、ループでまわして一つ一つ照合しないとダメなのでしょうか。
ループだと複数になると、時間がかかってしまいます。

ループ以外のアルゴリズムなどあったら是非ご教授おねがいいたします。

6 ：nobody@65535 ：2001/07/22(日) 22:44

単語ごとの行への出現ビットマップを作る。
あとはANDとるだけ。
1行何フィールドで何行、何種類の単語が出現するのか知らんが、
全部オンメモリで処理すればこれは速ぇーぞー(笑)。

read.cgi ver5.26+ (01/10/21-)