キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug

このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

277 ：２７４ ：01/08/31 00:20 ID:uajIN0xc

>275
スマソ、もっと上に向かって書いたつもりだったよ、失敬。

>276
datディレクトリの更新チェック毎コピーだから問題ないのでは？
上位鯖から更新毎に通知してくれればロスは無いと思われ

278 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:37 ID:.hIWo2j.

>>277
全コピーですか？
それだと、datの差分転送ができなくなりますが。
差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。

279 ：名無しさん ：01/08/31 00:40 ID:K0661yX.

それでも無用ＲＯＭとＦ５攻撃の遮断だけでも
効果はあると思う

どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と
差分転送と両方やれば？

280 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:43 ID:.hIWo2j.

>キャッシュ鯖分業化と差分転送
その、本質的な違いがわからないのですが。。。

281 ：腐卵 ◆r4/JZF2o ：01/08/31 00:43 ID:XN8TPsgk

>>278
悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。
mirror.pl でも悪意による改変は可能では？
転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。

282 ：273 ：01/08/31 00:44 ID:K0661yX.

あっと・・・

どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に
キャッシュ鯖に更新されたdatを配信するという考えだったのだが。

cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。
たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。

283 ：anony ◆3XTuRnAc ：01/08/31 00:45 ID:Lkdpz9pY

>>268-272
そんなに深刻になる必要は実はないんじゃないでしょうか。
というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い
タイミング)で検出する」必要はないのじゃないかと。

つまり、必要なのは、
「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか
　いないかを確認する方法」
だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。

というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、
「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。
たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」
というときでも、Masterである2chサーバーには生き残っているわけです。

たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に
誰でも確かめられるんじゃないでしょうか。

１．GUI画面プログラムとする。
２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する
３．「チェック」を実行すると、以下のように動く
　　３．１　2chサーバーから「マスターdat」をダウンロード
　　３．２　ミラーサーバから「疑惑のdat」をダウンロード
　　３．３　行毎に比較を行い、改変や追加削除があるかどうかをチェックする
　　３．４　左右分割画面にて、改変追加削除があった場所の表示やその個所の
　　　　　　dat行のレンダリングを行う。

まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、
2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの
負荷がかかりかねませんが・・・。

284 ：腐卵 ◆r4/JZF2o ：01/08/31 00:49 ID:XN8TPsgk

>>283
両方を wget なりで落としてきて、diff（藁

285 ：音楽侍 ◆NtVkSITE ：01/08/31 00:54 ID:NnB1zrp2

ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑)
サーバは、クラッキングでもされない限り、責任者の所在が露出するから。

でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。

286 ：初期不良 ：01/08/31 00:57 ID:St7MFrmY

くさちゅー変換キャッシュサーバとか出てきそう

改変できることをプラスにとってみたら？

287 ：anony ◆3XTuRnAc ：01/08/31 00:58 ID:Lkdpz9pY

>>284
まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、
しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。

288 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:24 ID:K0661yX.

>>280
キャッシュ鯖分業化
279がいいたいのはread.cgiを国内のサーバーにおいて
読むだけのリクエストはそこで対処する。
書き込みがあった時だけbig鯖に処理を任せると言うこと。
これでＲＯＭの分だけbig鯖への転送量が下がる。

差分転送
普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で
（詳しくは知らないので勘弁してくれ）
更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。
上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時
キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば
big鯖からキャッシュ鯖へ転送する情報量が
書き込みによって追加されたレスの分だけ転送すればよくなるので
特に多くのレスがついているdatのときはそれだけ転送量を削減できる。

289 ：98er ◆8OGY65D6 ：01/08/31 01:31 ID:kGkxktsU

>>298
で、mirror で今一番問題なのは レスあぼーん だと思った。
差分転送なら楽だけど、削除したら減るか同一byte。
まぁ、１スレ全部転送すれば済むのかな。

290 ：98er ◆8OGY65D6 ：01/08/31 01:32 ID:kGkxktsU

>>289
のはレス先誤爆。正しくは >>288

291 ：腐卵 ◆r4/JZF2o ：01/08/31 01:34 ID:XN8TPsgk

>>289
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&st=450&to=450&nofirst=true
このあたりとか。

292 ：音楽侍 ◆NtVkSITE ：01/08/31 01:37 ID:NnB1zrp2

いまのミラー化って、dat落ちが発生したらどう管理するんですか？
個人的にはかちゅ〜しゃ使っているので、datで残るのはうれしいんですけどね。

293 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:52 ID:K0661yX.

>>290
まさしくその通り。単純増加なら簡単だがあぼーんという問題がある。

どこかのスレにあったが、datのフォーマットに
あぼーんを意味するコードを作って置いて、
そのコードを受信したら対象のレスをキャッシュ側で消す、という
こともできるんじゃないかな？

294 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:53 ID:XsEuxm5g

すいません。
キャッシュ用read.cgiのパール版を１７さんのread.cgiをいじって作ったのですが、
ファイルの置き場所ってあります？

１）SERVER.TXTを置くことで、いろんな板のミラー化に対応可能
２）書込みフォームを削除して、書込みする場合は、本家のread.cgiを呼び出す。
　　（その場合nofirst=trueでレス1つだけ）
３）ミラーに対応する.datファイルがなければ、本家にread.cgiもしくは過去倉庫どちらかに
　　移動できるようにリンクがでる。

ってようなやつですが。

295 ：腐卵 ◆r4/JZF2o ：01/08/31 01:54 ID:XN8TPsgk

>>292
mirror.pl をざっと読んでみた限りでは、ファイル削除 or 移動って部分はなさげ。
４０４とか換えされたら、そのままエラーにしてるっぽい。

296 ：aki ：01/08/31 02:03 ID:YI9wG.Qg

>>294
ftp://210.170.170.118/incoming/ とか。
cvsとsshが使えるならCVSレポジトリも上がってます。
ftp鯖内のファイルに使い方は書いてあります。

297 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 02:11 ID:.hIWo2j.

>>281 >>283
改変可能でも、どこまで検出しようとするかの問題かと。
信頼性は大事だと思うんです。もちろん、それでもっと大事なものを
犠牲にしちゃあいけませんが。
>>284 >>287
それやるならCRCなりを算出させれば。4桁でも十分。
ミラーリングする場合でも、networkへの負荷はできるだけ下げなければ。
>>288
激しく同意ですが、それはすでにこのスレで激しくｶﾞｲｼｭﾂ。。。
>>289 >>293
read.cgi で実装された raw_out と同じ方式で、結論として全部転送になるかと。
>>295
そうすると、スレあぼーんは・・・。kako送りも。

298 ：Perler ◆GSi39OA6 ：01/08/31 02:11 ID:KVFMabyg

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.3

アップロードしました。

そうですね、あぼーん対策をすっかり忘れていました。。。

今回更新したのは以下。

・オプションに対応、細かい指定が可能に
・シグナル受信時にファイルハンドルを閉じるようにした
・デーモン化するオプションを追加
・沈黙モード追加
・無限ループモード追加。ループ間隔指定可能に

コマンドラインオプションが大量に追加されました。

-dを付けるとデーモン化します。

mirror.pl piza2.2ch.net/tech

とすると、piza2.2ch.netの、tech板を読みに行きます。

mirror.pl piza2.2ch.net:8080/tech

とすれば、80番ポート以外も大丈夫。
その他のオプションは以下。

usage: mirror.pl [-dvhfq] [-s server] [-p port] [-b BBS] [-l dir] [i interval] [
server[:port][/bbs]]

mirror.pl connects [server] on port [port], and retrieve message-data
named [bbs].

Options...

-d Run as a daemon.
-v,-h Show this massage.
-s Set server name.
-p Set port number.
-b Set BBS name.
-l Set log directory.
-f Forever loop.
-i Set interval(defailt: 60)
-q Quiet mode

299 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:14 ID:XsEuxm5g

>>296
WINな人なんで、cvs使えません。
mirror_read_cgi_per.tar.gz
で置きました。
中にdocファイルも一緒に入れてあります。

300 ：踊る大捜査線 ：01/08/31 02:15 ID:cWiTsGz2

>>299
wincvs 入れとけ

301 ：音楽侍 ◆NtVkSITE ：01/08/31 02:17 ID:NnB1zrp2

先の話になるでしょうが、mirrorの機能のために、datに変更を加えるすべてのcgiに、idxファイルなんかをつくって、ステータス管理してもらえると助かるですね。

302 ：299 ：01/08/31 02:32 ID:XsEuxm5g

>>300
wincvs探しに逝ってきます。

303 ：aki ：01/08/31 02:34 ID:YI9wG.Qg

>>299
Cygwinでも可。
むしろgcc使えるし。

304 ：98er ◆8OGY65D6 ：01/08/31 02:37 ID:kGkxktsU

とりあえず read.cgi を mirror 対応のために、
(counter++ % server_num)==0 だったらそのまま 200 Ok,
0 以外だったら 302 Moved temporarily, Location: mirror URI

というように改造したら如何でしょうか。
まだ早いかな？

305 ：武道版棲息 ：01/08/31 02:40 ID:CM.kHQF2

みんな、俺は専門知識はなんも分からんがかっこいーぞ！！
がんばってくれ！！

306 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:44 ID:Lkdpz9pY

＞Perlerさん
お疲れ様です、早速実験投入してみます。

＞娘。さん
うーん、やはり逐一のチェックは必要でしょうか。
それやるとキリがないんで、「チェッカ」だけ作って
あとは「確かめたければ自分で確かめろ」としたほうが
潔いと思います。

ミラーサーバー上のread.cgiに、「読みこみ命令された範囲での、
ミラー上のdatとマスター上のdatの改変有無をチェックする機能
(差分検出でもMD5でも)」を作ったとしても「read.cgiを書き換え」、
つまりチェッカ潰しされれば意味はないし、
基本的にmirror.plもindex.plもread.cgiもソースが公開されちゃう
以上は「改変を自動的に検出する」方法はお手上げではないでしょうか。
bbs.cgiぐらいですよね、「非公開」を貫けるのって。

307 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:53 ID:cWiTsGz2

＞bbs.cgiぐらいですよね、「非公開」を貫けるのって。
なぜ貫く必要があるの？

308 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:58 ID:Lkdpz9pY

とりあえず、3つほど巡回させてみようと思ったんですが、さすがに
一時閉鎖中の板やhttp://2ch.coco.co.jp/ からのミラーは無理のようですね。
ちょっと残念(^^;;。

とりあえず、生きている板から3つほど巡回させて見ます。

309 ：98er ◆8OGY65D6 ：01/08/31 03:03 ID:kGkxktsU

>>307
ポリシーを保てないからでしょう。
bbs.cgi を書き換えられれば、IP 表示だって可能です。

310 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:04 ID:.hIWo2j.

>>306
うーん。必要かといわれても困ります。。。（＾＾；
読む人が確かめたい場合もあるでしょうが、悪意があれば改変なり、
場合によっては破壊行為ができるとなってしまうと、ミラー鯖が
クラッカーに狙われる可能性も高くなると思います。
もちろん、2ch.netのオリジナルは常に安心のはずですが。
でも、全チェックはつらそうですから、どれくらいのチェックなら耐えられるか、
ご意見が欲しいところです。
できることはやっとこう、って感じでよいかと。

311 ：anony ◆3XTuRnAc ：01/08/31 03:05 ID:Lkdpz9pY

あと、たしかキャップとかの設定が全部あそこに入る
んじゃなかったでしたっけか。＞bbs.cgi

# あ、新しいbbs.cgiではその辺は全部外部ファイルに出して
# bbs.cgiそのものは公開ってことでしょうか。

312 ：音楽侍 ◆NtVkSITE ：01/08/31 03:08 ID:NnB1zrp2

>>311
当然ですよね(笑)
いつもそれが問題になるのですから＞キャップ漏れ

313 ：名無しさん＠お腹いっぱい。 ：01/08/31 03:14 ID:PWPehy9g

手伝いたいのに俺はマカだちきしょう！！

314 ：踊る大捜査線 ：01/08/31 03:14 ID:cWiTsGz2

>>309
イヤ。
嘘は嘘で見抜けないと２ちゃんねるで遊ぶ資格は無いとの
ポリシーもあったハズ。

315 ：anony ◆3XTuRnAc ：01/08/31 03:26 ID:Lkdpz9pY

ということで、巡回開始させて見ました。

ターゲットは
piza2.2ch.net/tech
cocoa.2ch.net/unix
yasai.2ch.net/suisou
www2.bbspink.com/ascoo
www2.bbspink.com/801

といったところです。suisouは自分がよく行ってた板、
bbspinkの二枚はまあネタ半分ということで(笑。

＞娘。さん
いや、自分の主張というのは、「思い立てばいつでも簡単に
チェックができ、結果も見やすく表示できる仕組み」さえできれば、
mirrorサーバでの悪意ある書き換えやクラッキングの対策処理ってのは
あまり重要ではないのではないか、と。

もし改竄を防ごうということであれば、RSAなどの非対称鍵で

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat→gziped
２．read.cgiでは、暗号化datをgunzip→本体の公開鍵を使って復号→平文dat
　　→HTMLへ

という流れになるでしょうか。ミラーのdatファイルには「暗号化」された
まま置いておけばこれをいったん復号した上で改変したとしても、
暗号化datには戻せないということになります。

ただ、この場合はread.cgiの改変(暗号化datではなく平文datから
HTMLを生成させるようにする)には弱いですが・・・。

316 ：anony ◆3XTuRnAc ：01/08/31 03:29 ID:Lkdpz9pY

あ、上の書き込み、

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat

です。最後のgzipedは不要です。失礼しました。

317 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:36 ID:.hIWo2j.

>>315
Perlerさんからも指摘されましたが、その方式だと、差分転送使えないんですよね。
で、ファイル共有とかの設計思想って、やっぱり穴がないことを目指した方が
いいと思うんですよ。クラックされるかどうかよりも、クラッカーに狙われるか
どうかが重要だったり。それでなくても、２ちゃんねるをミラーするなんて
目立つことやっていただくわけですから＞鯖提供者の方
そういう意味では、4桁CRC程度で十分だと思います。
もっと単純化された方式でもいいかもしれないです。10行に１回とか100行に１回とか、
ファイルサイズが減少するときだけとかでも、いいかもです。

318 ：anony ◆3XTuRnAc ：01/08/31 04:11 ID:Lkdpz9pY

うーむ。難しいですね。

それではおいらはそろそろ寝ます。
例によってミラーはまわしっぱなしにしておきます。

319 ：名無しさん＠お腹いっぱい。 ：01/08/31 06:54 ID:l.Akto1I

えーっと、ミラーを動かしてみました。
とりあえず2つほど巡回中です。
一応、ちゃんと動いているようです。

http://sc.dip.jp/mirror/dat/accuse/index2.html
http://sc.dip.jp/mirror/dat/tech/index2.html

320 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/31 10:49 ID:Efcez.O6

cgiの扱いがごちゃごちゃになってきたので、場所変えました。
＃専用id作った（笑）。
http://www.tokyo-nazo.net/~tester/mirror/dat/tech/index2.html
に移動です。

321 ：Perler ◆GSi39OA6 ：01/08/31 14:36 ID:KVFMabyg

あぼーん対策とりました。

2,3バイト余分に読んで、ファイルとの整合性を見てます。

これから出かけますが、急作りのソースなんで、帰ってきたら
綺麗に作り直します。

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.4

322 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:31 ID:4pKNOack

> あぼーん対策とりました。
頼んだら、固定長あぼーんにはならないもんなんだろうか？
なんなに転送量減らしたがってたのに。

323 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:33 ID:4pKNOack

なんなに → あんなに
つーか、Perler氏はこんな時間に書き込んでいるがプーなのか？

324 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:44 ID:mJ/QDeRE

>>323 んなぁこたぁないっしょ
これまでのPerler氏のカキコ見ればわかると思うけど
仕事の合間をぬってやってるのだと思われ

# どうせ勤務時間中にここ見てるヤツ多いっしょ？

325 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:51 ID:z32xs4vg

>>323-324
それは言っちゃダメ☆

326 ：名無しさん＠お腹いっぱい。 ：01/08/31 16:44 ID:t6PLs/UQ

2chがビッターズオークション！1000万円！

327 ：Perler ◆GSi39OA6 ：01/08/31 17:08 ID:KVFMabyg

>>322
>頼んだら、固定長あぼーんにはならないもんなんだろうか？

それは、bbs.cgiの方の話になるのではないかと。

>>323
違いますよ。

328 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:17 ID:WfXe/smI

>269 >306
read.cgi 等を丸ごと定期的に転送してチェックって意味無いのでしょうか。
binaryファイルのチェックはmirrorと同じ開発環境が必要で面倒ですが。
チェックするタイミングを読まれないように平均頻度だけ決めてランダムで。

329 ：326 ：01/08/31 17:19 ID:VTdq1UU2

http://www.2ch.net/

＞ 今までがんばってくださった削除人さんや復帰屋さんなどボランティアの方々、、、
＞手立てをしてくださったUNIX板、WEB制作板の方々、、、
＞そして、ずっと2chを使っている参加者の方々、、、
＞今まで、ありがとうございました。
＞
＞おいらの力が足りず、このような結果になってしまいました。
＞申し訳ありません。
＞
＞
＞
＞
＞
＞
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。

330 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:22 ID:fFABwrgw

４００億の値段がついてるようだが・・・？

331 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:24 ID:fFABwrgw

１０兆円でエラーになった・・・

332 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:56 ID:YhC0IV3I

これぞキャッシュ型だな…

333 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:04 ID:pc6LiiK.

>>332
それだ!

334 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:18 ID:4pKNOack

> これぞキャッシュ型だな…
キャッシュで４００億は無理だろー。

335 ：Perler ◆GSi39OA6 ：01/08/31 18:52 ID:KVFMabyg

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.5
ftp://210.170.170.118/incoming/perler/mirror/index.pl.3

修正版アップロードしました。

mirror.plは主に、スクリプトの整形を行ったので、特に大きな変更はありません。
画面が流れていくのが無駄だと感じたので、エスケープシーケンスで画面が
流れるのを止めました。それから、エスケープシーケンスを使わないオプション
-r(raw)を追加しました。

index2.plはエスケープシーケンス対応(こちらも-rで抑制できます)の他に、
スレッドのレス数が1つ少ないバグを修正しました。

336 ：名無しさん ：01/08/31 19:00 ID:qCr.kTaI

>>335
Perlerさん、もういいんだよ（泣）

337 ：批判要望板から転載 ：01/08/31 19:04 ID:OC7kf1.s

なんかこれ読んでて北杜夫のエッセイ思い出したよ。
自分が死んだ事にして葬式をやって参列者の様子を
見ようと思ったが人としてあまりにもどうかと思う
から止めたとかいう内容だったが今回の騒動は
これとまったく同じだったわけか。最初から
転送量騒動なんかなくってここに至るまでの
伏線だったと言うわけか。ＵＮＩＸ板の人も
プログラム板の人も管理側の掌で踊っていただけ。
だけど素直に笑えないな。人の善意を利用して
それを笑うと言う趣向は好かん。

338 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:06 ID:.kXjF96A

転送料危機はネタではないと思われ。
2chがどうなろうと、ここやプロ技板でやってることは無駄にはならない。

339 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:PWPehy9g

read.cgiを設置するときの夜勤さんの感謝はネタではないと思う。
ただしオークションはNETA！！

340 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:lieJqDvo

スレと関係ないことを書き込んでいる厨房は放置ってことで
逝きましょう。にしても、多いな…。

341 ：腐卵 ◆r4/JZF2o ：01/08/31 19:25 ID:XN8TPsgk

２ｃｈ売りはネタ。http://members.tripod.co.jp/tera_link/2chheisa.html
９月末までは確実に残ると言う意見もどこかであったはず。
たぶん、そこまでは確実に残すでしょ。

転送料危機はマジでしょ。そして、転送量を減らす努力は
いろいろな意味で無駄ではないと思われ。

342 ：う〜む ：01/08/31 21:36 ID:Jke38zmA

2ch売りはネタでしょう
第一何を売るんだ？
これか？
http://www.2ch.net/

ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
んじゃないかな

343 ：にはん ◆/gWayilU ：01/08/31 21:49 ID:WNhJn6Gw

>ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
>んじゃないかな

これを言い出すなら、ほとんどが国内トラフィックで閉じることの出来る2chのサーバ郡を
he.netの配下に置いたままの前提で話しているこのスレの意味が変わるかと。

# 非効率極まりない

344 ：音楽侍 ◆NtVkSITE ：01/08/31 22:10 ID:6ZIWZduk

>>343
もっといえば、完全にオーバーコストのhe.netにいつまでも通信回線料を払うのだったら、むしろアメリカにオフィスを用意して、回線の一次卸元になった方がよろしいのじゃないかと。
っていうの、２回目ですけど。

345 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:19 ID:zeO5jSvo

管理側が正式発表しない以上ネタかどうかはわからん
みんな貴重な時間を裂いて取り組んでるってのに
おふざけにも程度ってもんがあると思われ

346 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:24 ID:xF/ewMI2

というよりおふざけでも　1千万で売るなんて言葉みたら正直げんなり

ひろゆきさん、これ商売なら自分で頑張って下さいな

347 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:27 ID:pc6LiiK.

>>338
開発スレちゃんと追っかけてないんだけど、
今つくってんのは 2ch がなくても動くシステムなのか?

348 ：にはん ◆/gWayilU ：01/08/31 22:33 ID:WNhJn6Gw

で、スレ元の話題に戻すけど、記事データのありかをhe.net配下の2ch,net前提で話をするのか、
そうではないのかによってこのスレで目指すべきシステムって変わってくると思うのだけど、
どうかな。

巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、
（板ごとに記事保管している鯖が違うとか）比較的小規模な、っていうか「普通の」掲示板
サイトと同程度な規模の（ラウンジとか速報系はそうもいかないだろうけど）掲示板への
リンク集+サブドメイン供給元になる、という激しく既出ではあるがまっとうな体裁の
効率化（そして、そこにこのスレとかで議論しているような仕掛けを突っ込んでより多く
負荷を軽減する）のと、どっちがいいだろう、という話が再燃してしまうかもしれないけど。

# で、今のこのスレはどっち前提なの？

349 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:33 ID:q.ZfcRSM

>>345
まあ同感。トップページに「2ch売ります」だけならともかく、
オークションはやりすぎだと思うなぁ、明らかに＞ひろゆき

350 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:36 ID:xF/ewMI2

いっそ　2CHが無くても動くように方針転換しないか？
　キャッシュ鯖じゃなく互いにデータ交換しあう事で
責任の所在を不明確にするあめぞう型掲示板群システム

このスレの自動更新CGIに read.cgi 後 bbs.cgi相当が
あればとりあえず何とかなるだろう

351 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:39 ID:q.ZfcRSM

>>350
いや、恐らく可能ですよ＞2ch抜き
bbs.cgiもちょっと古いけど流出してるから、作ろうと思えば作れる。
ただし、トラフィックの問題もあるし、クラッキング対策もしなきゃ
いけないしセキュリティ対策もしなきゃいけない、って事になるとね。

352 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:41 ID:DcVKK.2I

>>350
ＮＮＴＰサーバ形式（バケツリレー形式）ってこと？
それともＰ２Ｐ？

＃馬鹿な質問だったらごめん。

353 ：にはん ◆/gWayilU ：01/08/31 22:50 ID:WNhJn6Gw

>>352
分散させた「元httpd」の上がっているWebサーバを複数立て、そこに bbs.cgi や read.cgi なんか
を置く。それぞれの鯖は一つの板を受け持つ。
それらの「板鯖」間で相互に mirror.pl を動かして他の板のログも集めミラーになるか、
proxy鯖を上げるか、あるいはそのApache自身でVirtualhostを上げて「本家の」板鯖に
redirectするとかが一番手軽な「上流」トラフィック分散法だと思われ。

354 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:56 ID:xF/ewMI2

>>352
ピアというより相互ミラーかな

たとえば
今は２CHを　A,B,Cの鯖でキャシュ（ミラー）しようとしている
これを、A,B,Cが互いにミラーしあうように変更する。
　書込みについても、A,B,Cの鯖がそれぞれ自分のキャッシュに書き込むようにする

レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
今の >>n のポインタの変わりに　３桁程度のアルファベット をレスにつけて
　352 名前：名無しさん 投稿日：01/08/31 22:41 AZC

>>AZC
のようにポインタ出来るようにする。　もちろん　今迄通り数字でも可能とする

A,B,Cは自分のヒットが多くなってくれば、 read.cgi や index.cgi 内のポインタを
他の鯖に変更する機能を持たせる

355 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:58 ID:pc6LiiK.

>>354
> レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
と
> もちろん　今迄通り数字でも可能とする
が矛盾しているように思えるのだが。

356 ：名無しさん＠お腹いっぱい。 ：01/08/31 23:02 ID:xF/ewMI2

＞３５５
今の.datにはレス番はついていないのです。
　\n の数を数えてレス番をつけてるだけ

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988
こっちでレス番をファイル内に入れる案も出ていますが、やはり最新のレス番はズレれる
可能性を考慮した構造で検討されています。

つまり古いレスについてはレス番は確定してるけど、最新のレスについては確定していない
と考える訳です

実際、分の単位が前後するレスがあるでしょう？

357 ：Perler ◆GSi39OA6 ：01/08/31 23:07 ID:KVFMabyg

>>348
>巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、

私が考え、作業してるのはこちら。全システムの移行・分散は、上記が終わった後
でも遅くないと思う。今問題になっているのはトラフィック「のみ」ですから。

個人的には、将来がどうの効率がどうのではなくて、8月末閉鎖、9月末閉鎖回避のための
緊急避難的措置を主眼に置いています。

現在の2chは、理想的でエレガントだが余計な工数を取ったり、不確定要素の残る方法を
選ぶ余裕はないと考えています。
不恰好・非効率的かつ不本意だが確実に今すぐ障害を潰せる方策を優先させるのが、
現状では現実的ではないかと。

read.cgiやindex2.cgiに関しても同じ考えで開発しました。

358 ：352 ：01/08/31 23:11 ID:DcVKK.2I

ふむふむ。>>353 >>354　さん詳細な解説ありがと。

どうやら
１．データのマージ
２．各サーバのセキュリティ
を如何するかってとこが問題ですかね。

353さんの案だと、1板1サーバを立てるからマージの問題がない。
354さん案は、全ミラーを想定してるみたいだから、マージで問題が出てくる。

マージ専門のサーバを1つ立てる必要があるかな？
そこのセキュリティレベルだけ上げとけば、他のミラーサーバのセキュリティは
ある程度あきらめることができるし。

359 ：名無しさん＠お腹いっぱい。 ：01/08/31 23:30 ID:l.Akto1I

>>353
板を受け持つということは、ログを保持するということですよね。
サーバ管理者が同時に書き込みを管理(削除含めて)する必要が出てくると思うので、
なかなか厳しいと思うのですが。

というか、ミラーリング案でもそうなのかもしれませんが、
個人情報の漏洩や誹謗中傷なんかの犯罪性のある書き込みに対する
法的責任なんかは問題ないんでしょうか？

360 ：音楽侍 ◆NtVkSITE ：01/08/31 23:38 ID:6ZIWZduk

書き込むサーバは一つ。
読み出すサーバが複数。
それがここでのmirror案です。
同時複数書き込みは、P2Pスレの方で検討かと。

361 ：名無しさん＠お腹いっぱい。 ：01/09/01 00:04 ID:NEmy6iak

完成した際のライセンスなんかも話し合われているのかな?

362 ：にはん ◆/gWayilU ：01/09/01 00:09 ID:6ZAL1f42

>>361
GPLか、それが嫌ならBSDライセンスあたりでいいんでは。

363 ：音楽侍 ◆NtVkSITE ：01/09/01 00:09 ID:nAqJ7GB2

>>362
GPLって切り口でしたよね、当初。

364 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:41 ID:pjf5FAnk

>>359
問題あるでしょうね。
事実上削除できる人が、削除するべき(と裁判所が判断する)書き込みがあることを
知って、削除しない場合は。
コンピュータセキュリティの面でも、法的な面でも、それなりの覚悟は必要かと。

365 ：Perler ◆GSi39OA6 ：01/09/01 00:45 ID:KDhC7Jyc

>>359
>というか、ミラーリング案でもそうなのかもしれませんが、
>個人情報の漏洩や誹謗中傷なんかの犯罪性のある書き込みに対する
>法的責任なんかは問題ないんでしょうか？

mirror.plの場合、あぼーんがあると、その.datファイルを1から
取得しなおすので、現仕様では問題はでにくいと思います。

ミラー側が先に違法投稿に気づいてしまった場合は、ミラー上のデータを手動で削除
して、メインサーバー(2ch.net)にも削除要求を出す、という方法しかないでしょうね。

366 ：anony ◆3XTuRnAc ：01/09/01 00:49 ID:9ylud7MU

うーん、個人的には「投稿は2ch.net本体に一本化」、かつ、
「ミラーサーバー側は無差別にキャッシュ」
という前提で動かすのだから法的問題なんか発生しないと思うのですが。

367 ：音楽侍 ◆NtVkSITE ：01/09/01 00:51 ID:nAqJ7GB2

Big-Serverもしくはひろゆきさんの支配下にあるサーバが、bbs.cgiやdelete.cgi含めたすべての「dat」生成〜変更権限を持っていないといけない理由はいくつもあります。
まずは、即時性の問題。既出ですね。データの一意性とでもいいましょうか。
次に、データ内容の管理性の問題。削除人の作業やら復帰人やら諸々の作業の問題。
そして、責任問題。

基本的に、datだけを配るのであれば、そのサーバは法的に問題は発生しない、と思います。
拡大解釈かもしれませんが、nntpに違法な内容が流通したとして、feedに関わったすべてのサーバの罪を認めるのか？ということになりますし、それはメールでも一緒ですよね？
読み出し側が広くシステムの一部となるなら、どうおか？という問題はありますが、その場合でも、
「datの内容を管理するものが最終責任者だ」という結論になるのは当然の帰路です。

＃社会的道義的責任は別にして。というのなのは忘れてはいけませんが。

368 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:51 ID:pjf5FAnk

>>365
一番問題なのは、今回の日生みたいなのが意図的に削除されない場合でしょうか。
削除制度は、ある意味2chの真髄ですから、ねぇ。。。

369 ：名無しさん＠お腹いっぱい。 ：01/09/01 00:54 ID:0uvhcdI.

いますぐ対処できる方法？
そんなもん・・・sleep( 2 ) ;にきまってんじゃん。
　　（処理量[TPS]×レスポンス[秒]）÷（多重度×1秒×並列実行度(0.7〜0.9)）＝1秒
　　処理量[TPS] ＝ （多重度×並列実行度）÷レスポンス
今は処理量をある一定量にしたいだけ。
多重度をあげようと思うと、apacheの設定変更が要る→×どうもそれはやっちゃダメなレギュレーションらしい
並列実行度は、まぁ最大95%くらいはいけるだろう。
あとは、レスポンスをのばすしかねぇ。

みんないいかげんにきれい事ばかり奉るのはよせ。

370 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:56 ID:pjf5FAnk

>>366-367
いや、そういうわけにはいかないかと。
もちろん、一時的なことなら問題にはならないでしょうが、2chでは意図的に
危ないものを残してますから、長期間、違法なものだと気付きつつ公開する
覚悟が必要になります。

371 ：Perler ◆GSi39OA6 ：01/09/01 01:04 ID:KDhC7Jyc

>>369

既出だったと思います。

当時言われていたのは、Bigの「快適」であるという宣伝文句に触れるという点。

プロセス空間を埋め尽くしてfork出来なくなったり、ApacheのMaxClientsをオーバーして
ほとんど接続できないという状況が発生する可能性も考慮する必要があると思います。

>>370
同意します。NNTPでも違法と知りつつサーバーにデータを残しておくのは問題が
あるでしょう。ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
働いて、そういった状況になりにくいだけだと思います。

372 ：音楽侍 ◆NtVkSITE ：01/09/01 01:10 ID:nAqJ7GB2

>>370
その点を争点にすると、非常にやっかいになります。
idxファイルを作ってもらえないとミラーリングしにくいのも、実はここに帰着しますし。

idxファイルの更新を確認することでデータのミラーリングを進めるのは、
「削除されたデータを消す」作業と、「削除されたdatを消す」作業の両方のメリットがあるわけでして。

ただ、訴訟大国アメリカでも、feedに関わったnntpサーバが敗訴した、という話は、寡聞で恐縮ですけど、知りませんです。
このプランはnntpではありませんが、システム的にdatにコミットできない状況が証明できれば、賠償責任は発生しないと考えます。

＃社会的道義的責任と非行政的司法的な公的制裁については別ですよ。

373 ：あぼーん ：あぼーん

あぼーん

374 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 01:45 ID:pjf5FAnk

>>372
nntpその相違点は、今回のシステムはあくまで「２ちゃんねる」というコンテンツの
配信にあるということかな。
２ちゃんねるがこういうコンテンツ群であることは、ミラー鯖を立てる時点で
わかっているはずですから。
# 心配なら、安全そうな専門板だけをミラーするのもありかと。
# datにコミットできなくても、「ミラーに参加しない」という選択肢がある以上、
# 認められにくいと思います。まあ、現実的には、2ch.net を訴えずにミラー鯖だけ
# 訴えるってことはないと思いますが。

375 ：anony ◆3XTuRnAc ：01/09/01 01:49 ID:9ylud7MU

＞Perler様
てことで、新作の稼動を開始しました。
さらにミラーする板の数増えてます(笑。

376 ：♯6411 ：01/09/01 01:56 ID:d7EdbXsw

>>369 下手にsleep()なんかすると、
さらなる過酷な事態が待ってます。

read.cgi ver5.26+ (01/10/21-)