キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug

このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

259 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:17 ID:stSp5H8A

>>258
IFRAMEを使用すれば可能。ただしUA依存が激しいのでおすすめしかねる。
ついでに、read.cgiに対して&ls=0で0レス取得は提案済み。

260 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:21 ID:kBS5NSxo

いきなりすいませんがプロ技板は閉鎖しちゃったんでしょうか。
read.cgiハックスレを毎日帰宅してから追いかけてたんですが。。ROMですが　(^^
残念〜

261 ：音楽侍 ◆NtVkSITE ：01/08/30 21:23 ID:7UF/vWVo

>>260
かちゅう〜しゃ使ってない？
ブラウザから行くと新しいリンク先わかるよ〜

262 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:34 ID:kBS5NSxo

>>260
ありがとッス、piza2に引っ越してたんですね
板一覧はローカルだったのをすっかり忘れていました　　＾＾
今mirror.plを導入すべくcygwinを設定してます　(ｳｨﾝﾅなんで。)
linuxは何故かNETに晒すのが怖い。。。。んー厨房だ
感謝です

263 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/30 22:09 ID:xz66aZYk

>>259
すまん、私はにちゃんねらーじゃないので、2chをよく知らないんだ。礼儀違
反だったかな？またなんかあったら教えてくださいな。

結論としては>>252のようにbbs.cgiを変えてmirrorサーバからのリクエスト
を受けてもらうのが一番データ転送量が少ないし、その他の問題も少なくて済
みそう、ということでいいのかな。

あとmirror.plだけど、プロセスとして定期的に起動するようなスクリプトも
組みこみが必要ですね。>>158の5のやり方だとログインしっぱなしになるんで。

264 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:14 ID:7fOtYCeU

>263
単に起動するだけだと前のプロセスとファイルを取り合う可能性があるので、
queue に突っ込んで、
前のプロセスの処理が終わってなかったら待つなり諦めるなりの
それなりのスケジューリングをしないと。

265 ：　 ：01/08/30 22:15 ID:7ajzWl22

そろそろ出来た？

266 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:27 ID:tJ.u7wQ2

しかし大丈夫なのかなぁ？
ミラーのやりあいで、フレーム起こって
かえって転送量増える事ないのかなぁ？

267 ：Perler ◆GSi39OA6 ：01/08/30 22:46 ID:8hpmXoeM

ではとりあえず、mirror.plに関して、

・コマンドライン引数による、サーバー/板の指定
・多重起動抑制
・デーモン化のコマンドラインスイッチ設置
・ログのgzip化

の変更を開始します。

268 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:17 ID:KS31DBTQ

後ろ向きな考えでアレですが、ミラーサーバーでの改変や同一性検証を
どのように行うか、展望はありますか？
データを暗号化して公開鍵でread.cgiが複合するとか、
ミラーサーバー間&2ch.netが何かのついでにちょくちょくとCRCなりMD5なりを
チェックするとか。。。でしょうか。

269 ：Perler ◆GSi39OA6 ：01/08/30 23:29 ID:8hpmXoeM

>>268
そこまでコストかけても、ミラーサーバー側のスクリプトいじられたらアウトなんですよね。。。
公開鍵で復号はいい案だと思うんですが、Rangeでのログの取得が出来なくなりますし。
どうしましょうか。。。?

270 ：Perler ◆GSi39OA6 ：01/08/30 23:55 ID:8hpmXoeM

>>46
と私も思ったんですが。。。

現状のApache(1.3.x以降)だと、nph-する、しないに関わらずhttpd側でのバッファリングは一切やらない
(クライアントにリダイレクトしちゃう)みたいなので、昔のApacheで言われていたバッファリングによる
オーバーヘッドの回避はないらしいです。

ヘッダのパースで生じるオーバーヘッドもほとんどないような気がします。

271 ：Perler ◆GSi39OA6 ：01/08/30 23:56 ID:8hpmXoeM

>>270 すみません、誤爆です。。。

272 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:57 ID:KS31DBTQ

>>269
どの程度負荷がかかってしまうかとかわからないので、様々な方々の意見を
お待ちしたいです＞公開鍵

CRC とかチェックサムっぽいのならば、サーバーＡが dat 更新のリクエストを
出して、サーバーＢが応答して dat(差分) を送信した後に、Ａに更新後の CRC を
算出させ、Ｂのそれと一致しない場合にはアラートをだす、とか。
これを、複数のサーバー間で dat 更新のたびにやらせれば、１つのミラーサーバー
管理者が悪意をもってもだいじょうぶだと思います。
# ミラーサーバー内でさらにDISK内容をミラーさせて、read.cgiに見せるdatと
# mirror.plに見せるdatを変えられたら、ダメですが(笑

改変されないことはひとまずおき、改変されたら周りの鯖が気付くことで必要十分ですね。

273 ：名無しさん ：01/08/31 00:01 ID:K0661yX.

既出でしょうが
read.cgiを国内キャッシュ鯖において、ＲＯＭはそこで処理
big鯖にはbbs.cgiをおいて書き込み処理＆キャッシュ情報
更新をやらせるという形は？
少なくともhe.netに入る前にF5攻撃とROMは阻止できる。
キャッシュ鯖はbbs.cgiから送られるdatを表示するだけだから
ミラー鯖のような同一性検証も必要ない。

274 ：名無しさん ：01/08/31 00:03 ID:x2Bz1IF.

このスレで開発してるのは、P2Pではくて、書込バケツリレー頂点サーバーからねずみ算式に
mirrorが読んでいくシステムではないかと．．．

275 ：名無しさん ：01/08/31 00:08 ID:K0661yX.

>>274
273だが折れがいいたかったのはまさにそーゆーシステムなのだが・・・

276 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:11 ID:.hIWo2j.

>>273
キャッシュ鯖での改変は。。。
>>274
スレ立てるときの間違えです。申し訳ありません。

277 ：２７４ ：01/08/31 00:20 ID:uajIN0xc

>275
スマソ、もっと上に向かって書いたつもりだったよ、失敬。

>276
datディレクトリの更新チェック毎コピーだから問題ないのでは？
上位鯖から更新毎に通知してくれればロスは無いと思われ

278 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:37 ID:.hIWo2j.

>>277
全コピーですか？
それだと、datの差分転送ができなくなりますが。
差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。

279 ：名無しさん ：01/08/31 00:40 ID:K0661yX.

それでも無用ＲＯＭとＦ５攻撃の遮断だけでも
効果はあると思う

どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と
差分転送と両方やれば？

280 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:43 ID:.hIWo2j.

>キャッシュ鯖分業化と差分転送
その、本質的な違いがわからないのですが。。。

281 ：腐卵 ◆r4/JZF2o ：01/08/31 00:43 ID:XN8TPsgk

>>278
悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。
mirror.pl でも悪意による改変は可能では？
転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。

282 ：273 ：01/08/31 00:44 ID:K0661yX.

あっと・・・

どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に
キャッシュ鯖に更新されたdatを配信するという考えだったのだが。

cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。
たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。

283 ：anony ◆3XTuRnAc ：01/08/31 00:45 ID:Lkdpz9pY

>>268-272
そんなに深刻になる必要は実はないんじゃないでしょうか。
というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い
タイミング)で検出する」必要はないのじゃないかと。

つまり、必要なのは、
「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか
　いないかを確認する方法」
だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。

というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、
「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。
たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」
というときでも、Masterである2chサーバーには生き残っているわけです。

たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に
誰でも確かめられるんじゃないでしょうか。

１．GUI画面プログラムとする。
２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する
３．「チェック」を実行すると、以下のように動く
　　３．１　2chサーバーから「マスターdat」をダウンロード
　　３．２　ミラーサーバから「疑惑のdat」をダウンロード
　　３．３　行毎に比較を行い、改変や追加削除があるかどうかをチェックする
　　３．４　左右分割画面にて、改変追加削除があった場所の表示やその個所の
　　　　　　dat行のレンダリングを行う。

まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、
2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの
負荷がかかりかねませんが・・・。

284 ：腐卵 ◆r4/JZF2o ：01/08/31 00:49 ID:XN8TPsgk

>>283
両方を wget なりで落としてきて、diff（藁

285 ：音楽侍 ◆NtVkSITE ：01/08/31 00:54 ID:NnB1zrp2

ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑)
サーバは、クラッキングでもされない限り、責任者の所在が露出するから。

でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。

286 ：初期不良 ：01/08/31 00:57 ID:St7MFrmY

くさちゅー変換キャッシュサーバとか出てきそう

改変できることをプラスにとってみたら？

287 ：anony ◆3XTuRnAc ：01/08/31 00:58 ID:Lkdpz9pY

>>284
まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、
しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。

288 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:24 ID:K0661yX.

>>280
キャッシュ鯖分業化
279がいいたいのはread.cgiを国内のサーバーにおいて
読むだけのリクエストはそこで対処する。
書き込みがあった時だけbig鯖に処理を任せると言うこと。
これでＲＯＭの分だけbig鯖への転送量が下がる。

差分転送
普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で
（詳しくは知らないので勘弁してくれ）
更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。
上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時
キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば
big鯖からキャッシュ鯖へ転送する情報量が
書き込みによって追加されたレスの分だけ転送すればよくなるので
特に多くのレスがついているdatのときはそれだけ転送量を削減できる。

289 ：98er ◆8OGY65D6 ：01/08/31 01:31 ID:kGkxktsU

>>298
で、mirror で今一番問題なのは レスあぼーん だと思った。
差分転送なら楽だけど、削除したら減るか同一byte。
まぁ、１スレ全部転送すれば済むのかな。

290 ：98er ◆8OGY65D6 ：01/08/31 01:32 ID:kGkxktsU

>>289
のはレス先誤爆。正しくは >>288

291 ：腐卵 ◆r4/JZF2o ：01/08/31 01:34 ID:XN8TPsgk

>>289
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&st=450&to=450&nofirst=true
このあたりとか。

292 ：音楽侍 ◆NtVkSITE ：01/08/31 01:37 ID:NnB1zrp2

いまのミラー化って、dat落ちが発生したらどう管理するんですか？
個人的にはかちゅ〜しゃ使っているので、datで残るのはうれしいんですけどね。

293 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:52 ID:K0661yX.

>>290
まさしくその通り。単純増加なら簡単だがあぼーんという問題がある。

どこかのスレにあったが、datのフォーマットに
あぼーんを意味するコードを作って置いて、
そのコードを受信したら対象のレスをキャッシュ側で消す、という
こともできるんじゃないかな？

294 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:53 ID:XsEuxm5g

すいません。
キャッシュ用read.cgiのパール版を１７さんのread.cgiをいじって作ったのですが、
ファイルの置き場所ってあります？

１）SERVER.TXTを置くことで、いろんな板のミラー化に対応可能
２）書込みフォームを削除して、書込みする場合は、本家のread.cgiを呼び出す。
　　（その場合nofirst=trueでレス1つだけ）
３）ミラーに対応する.datファイルがなければ、本家にread.cgiもしくは過去倉庫どちらかに
　　移動できるようにリンクがでる。

ってようなやつですが。

295 ：腐卵 ◆r4/JZF2o ：01/08/31 01:54 ID:XN8TPsgk

>>292
mirror.pl をざっと読んでみた限りでは、ファイル削除 or 移動って部分はなさげ。
４０４とか換えされたら、そのままエラーにしてるっぽい。

296 ：aki ：01/08/31 02:03 ID:YI9wG.Qg

>>294
ftp://210.170.170.118/incoming/ とか。
cvsとsshが使えるならCVSレポジトリも上がってます。
ftp鯖内のファイルに使い方は書いてあります。

297 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 02:11 ID:.hIWo2j.

>>281 >>283
改変可能でも、どこまで検出しようとするかの問題かと。
信頼性は大事だと思うんです。もちろん、それでもっと大事なものを
犠牲にしちゃあいけませんが。
>>284 >>287
それやるならCRCなりを算出させれば。4桁でも十分。
ミラーリングする場合でも、networkへの負荷はできるだけ下げなければ。
>>288
激しく同意ですが、それはすでにこのスレで激しくｶﾞｲｼｭﾂ。。。
>>289 >>293
read.cgi で実装された raw_out と同じ方式で、結論として全部転送になるかと。
>>295
そうすると、スレあぼーんは・・・。kako送りも。

298 ：Perler ◆GSi39OA6 ：01/08/31 02:11 ID:KVFMabyg

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.3

アップロードしました。

そうですね、あぼーん対策をすっかり忘れていました。。。

今回更新したのは以下。

・オプションに対応、細かい指定が可能に
・シグナル受信時にファイルハンドルを閉じるようにした
・デーモン化するオプションを追加
・沈黙モード追加
・無限ループモード追加。ループ間隔指定可能に

コマンドラインオプションが大量に追加されました。

-dを付けるとデーモン化します。

mirror.pl piza2.2ch.net/tech

とすると、piza2.2ch.netの、tech板を読みに行きます。

mirror.pl piza2.2ch.net:8080/tech

とすれば、80番ポート以外も大丈夫。
その他のオプションは以下。

usage: mirror.pl [-dvhfq] [-s server] [-p port] [-b BBS] [-l dir] [i interval] [
server[:port][/bbs]]

mirror.pl connects [server] on port [port], and retrieve message-data
named [bbs].

Options...

-d Run as a daemon.
-v,-h Show this massage.
-s Set server name.
-p Set port number.
-b Set BBS name.
-l Set log directory.
-f Forever loop.
-i Set interval(defailt: 60)
-q Quiet mode

299 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:14 ID:XsEuxm5g

>>296
WINな人なんで、cvs使えません。
mirror_read_cgi_per.tar.gz
で置きました。
中にdocファイルも一緒に入れてあります。

300 ：踊る大捜査線 ：01/08/31 02:15 ID:cWiTsGz2

>>299
wincvs 入れとけ

301 ：音楽侍 ◆NtVkSITE ：01/08/31 02:17 ID:NnB1zrp2

先の話になるでしょうが、mirrorの機能のために、datに変更を加えるすべてのcgiに、idxファイルなんかをつくって、ステータス管理してもらえると助かるですね。

302 ：299 ：01/08/31 02:32 ID:XsEuxm5g

>>300
wincvs探しに逝ってきます。

303 ：aki ：01/08/31 02:34 ID:YI9wG.Qg

>>299
Cygwinでも可。
むしろgcc使えるし。

304 ：98er ◆8OGY65D6 ：01/08/31 02:37 ID:kGkxktsU

とりあえず read.cgi を mirror 対応のために、
(counter++ % server_num)==0 だったらそのまま 200 Ok,
0 以外だったら 302 Moved temporarily, Location: mirror URI

というように改造したら如何でしょうか。
まだ早いかな？

305 ：武道版棲息 ：01/08/31 02:40 ID:CM.kHQF2

みんな、俺は専門知識はなんも分からんがかっこいーぞ！！
がんばってくれ！！

306 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:44 ID:Lkdpz9pY

＞Perlerさん
お疲れ様です、早速実験投入してみます。

＞娘。さん
うーん、やはり逐一のチェックは必要でしょうか。
それやるとキリがないんで、「チェッカ」だけ作って
あとは「確かめたければ自分で確かめろ」としたほうが
潔いと思います。

ミラーサーバー上のread.cgiに、「読みこみ命令された範囲での、
ミラー上のdatとマスター上のdatの改変有無をチェックする機能
(差分検出でもMD5でも)」を作ったとしても「read.cgiを書き換え」、
つまりチェッカ潰しされれば意味はないし、
基本的にmirror.plもindex.plもread.cgiもソースが公開されちゃう
以上は「改変を自動的に検出する」方法はお手上げではないでしょうか。
bbs.cgiぐらいですよね、「非公開」を貫けるのって。

307 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:53 ID:cWiTsGz2

＞bbs.cgiぐらいですよね、「非公開」を貫けるのって。
なぜ貫く必要があるの？

308 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:58 ID:Lkdpz9pY

とりあえず、3つほど巡回させてみようと思ったんですが、さすがに
一時閉鎖中の板やhttp://2ch.coco.co.jp/ からのミラーは無理のようですね。
ちょっと残念(^^;;。

とりあえず、生きている板から3つほど巡回させて見ます。

309 ：98er ◆8OGY65D6 ：01/08/31 03:03 ID:kGkxktsU

>>307
ポリシーを保てないからでしょう。
bbs.cgi を書き換えられれば、IP 表示だって可能です。

310 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:04 ID:.hIWo2j.

>>306
うーん。必要かといわれても困ります。。。（＾＾；
読む人が確かめたい場合もあるでしょうが、悪意があれば改変なり、
場合によっては破壊行為ができるとなってしまうと、ミラー鯖が
クラッカーに狙われる可能性も高くなると思います。
もちろん、2ch.netのオリジナルは常に安心のはずですが。
でも、全チェックはつらそうですから、どれくらいのチェックなら耐えられるか、
ご意見が欲しいところです。
できることはやっとこう、って感じでよいかと。

311 ：anony ◆3XTuRnAc ：01/08/31 03:05 ID:Lkdpz9pY

あと、たしかキャップとかの設定が全部あそこに入る
んじゃなかったでしたっけか。＞bbs.cgi

# あ、新しいbbs.cgiではその辺は全部外部ファイルに出して
# bbs.cgiそのものは公開ってことでしょうか。

312 ：音楽侍 ◆NtVkSITE ：01/08/31 03:08 ID:NnB1zrp2

>>311
当然ですよね(笑)
いつもそれが問題になるのですから＞キャップ漏れ

313 ：名無しさん＠お腹いっぱい。 ：01/08/31 03:14 ID:PWPehy9g

手伝いたいのに俺はマカだちきしょう！！

314 ：踊る大捜査線 ：01/08/31 03:14 ID:cWiTsGz2

>>309
イヤ。
嘘は嘘で見抜けないと２ちゃんねるで遊ぶ資格は無いとの
ポリシーもあったハズ。

315 ：anony ◆3XTuRnAc ：01/08/31 03:26 ID:Lkdpz9pY

ということで、巡回開始させて見ました。

ターゲットは
piza2.2ch.net/tech
cocoa.2ch.net/unix
yasai.2ch.net/suisou
www2.bbspink.com/ascoo
www2.bbspink.com/801

といったところです。suisouは自分がよく行ってた板、
bbspinkの二枚はまあネタ半分ということで(笑。

＞娘。さん
いや、自分の主張というのは、「思い立てばいつでも簡単に
チェックができ、結果も見やすく表示できる仕組み」さえできれば、
mirrorサーバでの悪意ある書き換えやクラッキングの対策処理ってのは
あまり重要ではないのではないか、と。

もし改竄を防ごうということであれば、RSAなどの非対称鍵で

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat→gziped
２．read.cgiでは、暗号化datをgunzip→本体の公開鍵を使って復号→平文dat
　　→HTMLへ

という流れになるでしょうか。ミラーのdatファイルには「暗号化」された
まま置いておけばこれをいったん復号した上で改変したとしても、
暗号化datには戻せないということになります。

ただ、この場合はread.cgiの改変(暗号化datではなく平文datから
HTMLを生成させるようにする)には弱いですが・・・。

316 ：anony ◆3XTuRnAc ：01/08/31 03:29 ID:Lkdpz9pY

あ、上の書き込み、

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat

です。最後のgzipedは不要です。失礼しました。

317 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:36 ID:.hIWo2j.

>>315
Perlerさんからも指摘されましたが、その方式だと、差分転送使えないんですよね。
で、ファイル共有とかの設計思想って、やっぱり穴がないことを目指した方が
いいと思うんですよ。クラックされるかどうかよりも、クラッカーに狙われるか
どうかが重要だったり。それでなくても、２ちゃんねるをミラーするなんて
目立つことやっていただくわけですから＞鯖提供者の方
そういう意味では、4桁CRC程度で十分だと思います。
もっと単純化された方式でもいいかもしれないです。10行に１回とか100行に１回とか、
ファイルサイズが減少するときだけとかでも、いいかもです。

318 ：anony ◆3XTuRnAc ：01/08/31 04:11 ID:Lkdpz9pY

うーむ。難しいですね。

それではおいらはそろそろ寝ます。
例によってミラーはまわしっぱなしにしておきます。

319 ：名無しさん＠お腹いっぱい。 ：01/08/31 06:54 ID:l.Akto1I

えーっと、ミラーを動かしてみました。
とりあえず2つほど巡回中です。
一応、ちゃんと動いているようです。

http://sc.dip.jp/mirror/dat/accuse/index2.html
http://sc.dip.jp/mirror/dat/tech/index2.html

320 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/31 10:49 ID:Efcez.O6

cgiの扱いがごちゃごちゃになってきたので、場所変えました。
＃専用id作った（笑）。
http://www.tokyo-nazo.net/~tester/mirror/dat/tech/index2.html
に移動です。

321 ：Perler ◆GSi39OA6 ：01/08/31 14:36 ID:KVFMabyg

あぼーん対策とりました。

2,3バイト余分に読んで、ファイルとの整合性を見てます。

これから出かけますが、急作りのソースなんで、帰ってきたら
綺麗に作り直します。

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.4

322 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:31 ID:4pKNOack

> あぼーん対策とりました。
頼んだら、固定長あぼーんにはならないもんなんだろうか？
なんなに転送量減らしたがってたのに。

323 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:33 ID:4pKNOack

なんなに → あんなに
つーか、Perler氏はこんな時間に書き込んでいるがプーなのか？

324 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:44 ID:mJ/QDeRE

>>323 んなぁこたぁないっしょ
これまでのPerler氏のカキコ見ればわかると思うけど
仕事の合間をぬってやってるのだと思われ

# どうせ勤務時間中にここ見てるヤツ多いっしょ？

325 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:51 ID:z32xs4vg

>>323-324
それは言っちゃダメ☆

326 ：名無しさん＠お腹いっぱい。 ：01/08/31 16:44 ID:t6PLs/UQ

2chがビッターズオークション！1000万円！

327 ：Perler ◆GSi39OA6 ：01/08/31 17:08 ID:KVFMabyg

>>322
>頼んだら、固定長あぼーんにはならないもんなんだろうか？

それは、bbs.cgiの方の話になるのではないかと。

>>323
違いますよ。

328 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:17 ID:WfXe/smI

>269 >306
read.cgi 等を丸ごと定期的に転送してチェックって意味無いのでしょうか。
binaryファイルのチェックはmirrorと同じ開発環境が必要で面倒ですが。
チェックするタイミングを読まれないように平均頻度だけ決めてランダムで。

329 ：326 ：01/08/31 17:19 ID:VTdq1UU2

http://www.2ch.net/

＞ 今までがんばってくださった削除人さんや復帰屋さんなどボランティアの方々、、、
＞手立てをしてくださったUNIX板、WEB制作板の方々、、、
＞そして、ずっと2chを使っている参加者の方々、、、
＞今まで、ありがとうございました。
＞
＞おいらの力が足りず、このような結果になってしまいました。
＞申し訳ありません。
＞
＞
＞
＞
＞
＞
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。

330 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:22 ID:fFABwrgw

４００億の値段がついてるようだが・・・？

331 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:24 ID:fFABwrgw

１０兆円でエラーになった・・・

332 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:56 ID:YhC0IV3I

これぞキャッシュ型だな…

333 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:04 ID:pc6LiiK.

>>332
それだ!

334 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:18 ID:4pKNOack

> これぞキャッシュ型だな…
キャッシュで４００億は無理だろー。

335 ：Perler ◆GSi39OA6 ：01/08/31 18:52 ID:KVFMabyg

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.5
ftp://210.170.170.118/incoming/perler/mirror/index.pl.3

修正版アップロードしました。

mirror.plは主に、スクリプトの整形を行ったので、特に大きな変更はありません。
画面が流れていくのが無駄だと感じたので、エスケープシーケンスで画面が
流れるのを止めました。それから、エスケープシーケンスを使わないオプション
-r(raw)を追加しました。

index2.plはエスケープシーケンス対応(こちらも-rで抑制できます)の他に、
スレッドのレス数が1つ少ないバグを修正しました。

336 ：名無しさん ：01/08/31 19:00 ID:qCr.kTaI

>>335
Perlerさん、もういいんだよ（泣）

337 ：批判要望板から転載 ：01/08/31 19:04 ID:OC7kf1.s

なんかこれ読んでて北杜夫のエッセイ思い出したよ。
自分が死んだ事にして葬式をやって参列者の様子を
見ようと思ったが人としてあまりにもどうかと思う
から止めたとかいう内容だったが今回の騒動は
これとまったく同じだったわけか。最初から
転送量騒動なんかなくってここに至るまでの
伏線だったと言うわけか。ＵＮＩＸ板の人も
プログラム板の人も管理側の掌で踊っていただけ。
だけど素直に笑えないな。人の善意を利用して
それを笑うと言う趣向は好かん。

338 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:06 ID:.kXjF96A

転送料危機はネタではないと思われ。
2chがどうなろうと、ここやプロ技板でやってることは無駄にはならない。

339 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:PWPehy9g

read.cgiを設置するときの夜勤さんの感謝はネタではないと思う。
ただしオークションはNETA！！

340 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:lieJqDvo

スレと関係ないことを書き込んでいる厨房は放置ってことで
逝きましょう。にしても、多いな…。

341 ：腐卵 ◆r4/JZF2o ：01/08/31 19:25 ID:XN8TPsgk

２ｃｈ売りはネタ。http://members.tripod.co.jp/tera_link/2chheisa.html
９月末までは確実に残ると言う意見もどこかであったはず。
たぶん、そこまでは確実に残すでしょ。

転送料危機はマジでしょ。そして、転送量を減らす努力は
いろいろな意味で無駄ではないと思われ。

342 ：う〜む ：01/08/31 21:36 ID:Jke38zmA

2ch売りはネタでしょう
第一何を売るんだ？
これか？
http://www.2ch.net/

ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
んじゃないかな

343 ：にはん ◆/gWayilU ：01/08/31 21:49 ID:WNhJn6Gw

>ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
>んじゃないかな

これを言い出すなら、ほとんどが国内トラフィックで閉じることの出来る2chのサーバ郡を
he.netの配下に置いたままの前提で話しているこのスレの意味が変わるかと。

# 非効率極まりない

344 ：音楽侍 ◆NtVkSITE ：01/08/31 22:10 ID:6ZIWZduk

>>343
もっといえば、完全にオーバーコストのhe.netにいつまでも通信回線料を払うのだったら、むしろアメリカにオフィスを用意して、回線の一次卸元になった方がよろしいのじゃないかと。
っていうの、２回目ですけど。

345 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:19 ID:zeO5jSvo

管理側が正式発表しない以上ネタかどうかはわからん
みんな貴重な時間を裂いて取り組んでるってのに
おふざけにも程度ってもんがあると思われ

346 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:24 ID:xF/ewMI2

というよりおふざけでも　1千万で売るなんて言葉みたら正直げんなり

ひろゆきさん、これ商売なら自分で頑張って下さいな

347 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:27 ID:pc6LiiK.

>>338
開発スレちゃんと追っかけてないんだけど、
今つくってんのは 2ch がなくても動くシステムなのか?

348 ：にはん ◆/gWayilU ：01/08/31 22:33 ID:WNhJn6Gw

で、スレ元の話題に戻すけど、記事データのありかをhe.net配下の2ch,net前提で話をするのか、
そうではないのかによってこのスレで目指すべきシステムって変わってくると思うのだけど、
どうかな。

巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、
（板ごとに記事保管している鯖が違うとか）比較的小規模な、っていうか「普通の」掲示板
サイトと同程度な規模の（ラウンジとか速報系はそうもいかないだろうけど）掲示板への
リンク集+サブドメイン供給元になる、という激しく既出ではあるがまっとうな体裁の
効率化（そして、そこにこのスレとかで議論しているような仕掛けを突っ込んでより多く
負荷を軽減する）のと、どっちがいいだろう、という話が再燃してしまうかもしれないけど。

# で、今のこのスレはどっち前提なの？

349 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:33 ID:q.ZfcRSM

>>345
まあ同感。トップページに「2ch売ります」だけならともかく、
オークションはやりすぎだと思うなぁ、明らかに＞ひろゆき

350 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:36 ID:xF/ewMI2

いっそ　2CHが無くても動くように方針転換しないか？
　キャッシュ鯖じゃなく互いにデータ交換しあう事で
責任の所在を不明確にするあめぞう型掲示板群システム

このスレの自動更新CGIに read.cgi 後 bbs.cgi相当が
あればとりあえず何とかなるだろう

351 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:39 ID:q.ZfcRSM

>>350
いや、恐らく可能ですよ＞2ch抜き
bbs.cgiもちょっと古いけど流出してるから、作ろうと思えば作れる。
ただし、トラフィックの問題もあるし、クラッキング対策もしなきゃ
いけないしセキュリティ対策もしなきゃいけない、って事になるとね。

352 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:41 ID:DcVKK.2I

>>350
ＮＮＴＰサーバ形式（バケツリレー形式）ってこと？
それともＰ２Ｐ？

＃馬鹿な質問だったらごめん。

353 ：にはん ◆/gWayilU ：01/08/31 22:50 ID:WNhJn6Gw

>>352
分散させた「元httpd」の上がっているWebサーバを複数立て、そこに bbs.cgi や read.cgi なんか
を置く。それぞれの鯖は一つの板を受け持つ。
それらの「板鯖」間で相互に mirror.pl を動かして他の板のログも集めミラーになるか、
proxy鯖を上げるか、あるいはそのApache自身でVirtualhostを上げて「本家の」板鯖に
redirectするとかが一番手軽な「上流」トラフィック分散法だと思われ。

354 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:56 ID:xF/ewMI2

>>352
ピアというより相互ミラーかな

たとえば
今は２CHを　A,B,Cの鯖でキャシュ（ミラー）しようとしている
これを、A,B,Cが互いにミラーしあうように変更する。
　書込みについても、A,B,Cの鯖がそれぞれ自分のキャッシュに書き込むようにする

レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
今の >>n のポインタの変わりに　３桁程度のアルファベット をレスにつけて
　352 名前：名無しさん 投稿日：01/08/31 22:41 AZC

>>AZC
のようにポインタ出来るようにする。　もちろん　今迄通り数字でも可能とする

A,B,Cは自分のヒットが多くなってくれば、 read.cgi や index.cgi 内のポインタを
他の鯖に変更する機能を持たせる

355 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:58 ID:pc6LiiK.

>>354
> レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
と
> もちろん　今迄通り数字でも可能とする
が矛盾しているように思えるのだが。

356 ：名無しさん＠お腹いっぱい。 ：01/08/31 23:02 ID:xF/ewMI2

＞３５５
今の.datにはレス番はついていないのです。
　\n の数を数えてレス番をつけてるだけ

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988
こっちでレス番をファイル内に入れる案も出ていますが、やはり最新のレス番はズレれる
可能性を考慮した構造で検討されています。

つまり古いレスについてはレス番は確定してるけど、最新のレスについては確定していない
と考える訳です

実際、分の単位が前後するレスがあるでしょう？

357 ：Perler ◆GSi39OA6 ：01/08/31 23:07 ID:KVFMabyg

>>348
>巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、

私が考え、作業してるのはこちら。全システムの移行・分散は、上記が終わった後
でも遅くないと思う。今問題になっているのはトラフィック「のみ」ですから。

個人的には、将来がどうの効率がどうのではなくて、8月末閉鎖、9月末閉鎖回避のための
緊急避難的措置を主眼に置いています。

現在の2chは、理想的でエレガントだが余計な工数を取ったり、不確定要素の残る方法を
選ぶ余裕はないと考えています。
不恰好・非効率的かつ不本意だが確実に今すぐ障害を潰せる方策を優先させるのが、
現状では現実的ではないかと。

read.cgiやindex2.cgiに関しても同じ考えで開発しました。

358 ：352 ：01/08/31 23:11 ID:DcVKK.2I

ふむふむ。>>353 >>354　さん詳細な解説ありがと。

どうやら
１．データのマージ
２．各サーバのセキュリティ
を如何するかってとこが問題ですかね。

353さんの案だと、1板1サーバを立てるからマージの問題がない。
354さん案は、全ミラーを想定してるみたいだから、マージで問題が出てくる。

マージ専門のサーバを1つ立てる必要があるかな？
そこのセキュリティレベルだけ上げとけば、他のミラーサーバのセキュリティは
ある程度あきらめることができるし。

read.cgi ver5.26+ (01/10/21-)