キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug

このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

377 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:06 ID:0uvhcdI.

>>371
プロキシ化したりミラー化したりするのって、
それこそ「BigServerはつかえません」て公言しているのと同じように
みられるんじゃないかなー・・・

378 ：音楽侍 ◆NtVkSITE ：01/09/01 02:18 ID:nAqJ7GB2

>>377
そんなことないですよん。
お金の問題なんですから。
予算に問題なかったらＴ１専用回線だっていいんだし。

379 ：音楽侍 ◆NtVkSITE ：01/09/01 02:19 ID:nAqJ7GB2

>>374
ちょっと詭弁ですか私？(笑)
まー、ミラーする人のモチベーション次第ですよね。

380 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:22 ID:0uvhcdI.

>>376
apacheでとまるでしょ。
socket的なところにおいても同様。
つまり、7月までに大事になってなければ、
それやっても大事にはならないはず。

テレホのときなんか待ちだらけじゃない　すでに起こっていることだよ。

381 ：にはん ◆/gWayilU ：01/09/01 02:24 ID:6ZAL1f42

>>378
T1じゃ足りないでしょう。瞬間最大風速だけならT1の100倍出てるんだから。

#　いまどきは専用線引いてうんぬんというソリューションはあまり聞かないですな。

382 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:25 ID:0uvhcdI.

>>378
であれば別にsleepしても構わないんでは？
BigServer側を思いやった安全装置、という姿勢で通せばよいだけだと思う。

ひょっとして別の意図があってProxyにしたりP2Pにしたりしてない？

383 ：にはん ◆/gWayilU ：01/09/01 02:27 ID:6ZAL1f42

>>382
sleep() かますんなら帯域制御したほうが確実だと思われ。(LinuxでBSD/OSとかFreeBSDの
4系みたいな帯域制御って出来ます？＞all)

だけど、それは既に選択肢にはないんでしょう。ていうかそれをやるなら根本から
この議論が無意味になってしまう。

384 ：音楽侍 ◆NtVkSITE ：01/09/01 02:32 ID:nAqJ7GB2

>>381
たしかに(笑)
じゃなくて、いいたいのは、
「帯域課金が問題で、サーバ性能の問題じゃない」ってことで。
（ちゅ〜か、ちゃんとつたっわってますです・・・）

しかし、ここの瞬間最大風速すごいですよね。
でも、いまのアメリカのITバブル崩壊状態でも、そんな多額な使用量要求されるんだなぁって。
納得いかないっす。

385 ：98er ◆8OGY65D6 ：01/09/01 02:33 ID:zffvJ/c.

本気で cache server を動かすのだったら、

1. master の変更を細かく cache server へ知らせる
2. cache server にアクセスがあった時点で master へ変更分を聞きに逝く

のどちらかでないと、cache server が増えたら今の mirror だと対処できなくなると思いますがどうでしょうか。

386 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:35 ID:ltjuNT5c

なんか　Apacheも自由にいじれないわ　使用料もバカ高だわで　もっといいとこ
ありそうな気はするけどねぇ......

387 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:36 ID:0uvhcdI.

話題を発散させるつもりはないです。
NNTPの話とか法的問題とかの話がでたので、ちょっとみんなの意図を確認したかった。
といいつつ、発散させてしまってすまんです。

>>383
sleepでも同じ効果はあるよ　過負荷下でも処理能力上限がそれで決まるから。
# gzipも逆の方向の同じ線上の対処だよ。
それと根本は変えられないはず　だって契約の世界の話だもん。

388 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 03:01 ID:pjf5FAnk

>>379
いえいえ（＾＾；
ま、鯖管理者の人に重荷を背負わせなければいいんで。
怖くなったらやめられるとか、そういうのりで(笑
>>386
同感です。。。

389 ：名無しさん＠お腹いっぱい。 ：01/09/01 07:33 ID:JFd9Ufio

夜勤さんは悪くない。
夜勤さんは悪くない。
夜勤さんは悪くない。

390 ：ｶﾞｲｼｭﾂﾀﾞｯﾀﾗｺﾞﾒ ：01/09/01 07:56 ID:pYZtiI2U

ttp://www.geocities.co.jp/SiliconValley-PaloAlto/6896/

391 ：名無しさん＠お腹いっぱい。 ：01/09/01 12:00 ID:5n2mByDs

27日から忙しくてこれませんでした。
キャッシュされたコンテンツに違法なものが含まれていることが
争点になった裁判の判例というのは今のところ国内外でないと
思います (知り合いの弁護士と話した限りです。漏れがあるかもしれません)。

ただし、もし訴えられた場合には (例え必ず勝つとわかっていても)
手間や費用は発生します。別に2chキャッシュだけの問題ではなく、
個人で小規模なサイトを運営していたとしても同じリスクはありますけどね。
(自分の日記サイトで「○○で飯食ったら不味かった」と書いたら訴える
という内容証明が届いたという例もあるようです)。

2chキャッシュの場合、キャッシュ運営者が訴えられた場合、それはキャッシュ
運営者側で対応しなくてはなりません。それをひろゆき氏側にそのまま
リダイレクトということは制度上できません。

まぁ、キャッシュ運営者グループで互助会を作って、定期的に法律や
判例の勉強会などをやっておく程度の自衛は必要かと思います。

392 ：名無しさん＠お腹いっぱい。 ：01/09/01 13:14 ID:ZVC7//8A

大丈夫だよ。
金持ってない奴を訴えるような暇人はﾆｾｰｲとかﾚｸみたいなトコだよ。

393 ：名無しさん＠お腹いっぱい。 ：01/09/01 22:24 ID:g7nGJVFU

>>391
勝訴すれば、かかった費用は敗訴側におっつけることができます。

394 ：音楽侍 ◆NtVkSITE ：01/09/01 22:49 ID:nAqJ7GB2

>>393
よく知らないけど、それは別訴訟を起こさないといけなかったのでは？

395 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 23:24 ID:T7eD9J7M

>>393-394
訴訟費用の裁判は決定でできるのですが、いろいろあってあまり使われていません。
結論としては、「押しつけるのはちょっと面倒」です。

396 ：住人 ：01/09/02 02:59 ID:0T0SCVvQ

法的議論は後回しにしませんか？
我々は法律の事がよくわかってないし、法律板の人たちは
我々の実装がよくわからないうちでは、いいようもないだろうし

とりあえず、でっち上げて、問題がおこったらなんとかすりゃいいっつーのは
ダメっすかね？　ダメっすかね？

397 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 06:09 ID:KHm/2G/Q

>>396
いいとおもいますよ。

398 ：名無しさん＠お腹いっぱい。 ：01/09/02 17:18 ID:c/03xBX6

キャッシュの同一性については、2chの鯖側で対応できるのでは？
どうせ書き込みの時には本家に飛ばされるんだから、
そのときに本家側でキャッシュを検出して、あとで同一性
チェックをやれば済みそうな。
実装するのはいつでも構わないし。

399 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 18:52 ID:ahw9C5HM

>>398
bbs.cgi がキャッシュ検出(?)を呼び出すってことでしょうか。

400 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/02 20:05 ID:kFLIU9UQ

>>398
つまり、キャッシュサーバは書きこみデータを飛ばすときに一緒にそのボードのdatを
まとめて渡し、2chの本家サーバはそれを自分のデータとマージしてチェックってこと？
アップロード側の転送量なら問題ないし。

401 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 22:32 ID:m12q0h3w

>>400
キャッシュ鯖は書き込みデータを飛ばさないと思うのですが。。。
2ch.netのbbs.cgiにPOSTするんですよね？

402 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/02 22:56 ID:kFLIU9UQ

>>401
あ、そうか。
そうするとどういうことだろ。

403 ：名無しさん＠お腹いっぱい。 ：01/09/02 23:26 ID:aaNCJszY

>>402
POSTするときに、キャッシュのIPをパラメータとして渡しておいて
配信してもらう、てのはどう？

404 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/03 00:16 ID:4ddUyIws

>>403
データ転送量の削減になるかなぁ。

405 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 00:28 ID:Av.MF.Jo

>>403
キャッシュ鯖のIPはもともと2ch.netに登録しないといけませんし、
いざbbs.cgiが書き込みをすれば、全キャッシュ鯖にそれを反映させないと
いけません。。。ので、パラメータの必要はないかと。

406 ：名無しさん ：01/09/03 00:55 ID:MtmTOYVc

P2P → 分散（レプリケーション）
キャッシュ → ミラー

あーやだやだ

407 ：　　 ：01/09/03 01:51 ID:7L2.Ubc6

　★「２ちゃんねる閉鎖騒動」の発端について★
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
そもそも、このサイトで「２ちゃんねらーに殺されかけた」と告発があってから、
これを機に反２ちゃんねる勢力が「２ちゃんねるつぶし隊」なる組織を結成し、
２ちゃんねるサーバにクラッキングを開始したことが、事件の発端らしい。
http://www2.odn.ne.jp/~win530/voice//voice05.html （「個人情報が流出した日」）
なお、この騒動の後に「２ちゃんねる売 ります」の事態が起きたという。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

408 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 02:29 ID:Av.MF.Jo

>>406
ｶﾞｲｼｭﾂですけど、>>1についてはいろいろありましてな。すいません。
>>398-405 は、私もよく意味わかってないので、意思疎通のために
方便使いました。やっぱりそういうことなんでしょうかね。
それならｶﾞｲｼｭﾂだから、気にしなくてよさそうだ。

409 ：398 ：01/09/03 05:15 ID:W4HUGYWI

漏れも詳しいことは知らないが、「bbs.cgiなり何なりが自動的に
ミラーを訪れて、抜き打ち検査をやる」というシステムなら
作れるかもと言うこと。
書き込みの時には、単に巡回リストにミラーを登録するだけ。

410 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/03 21:21 ID:4ddUyIws

一番簡単なのは江戸時代の五人組制でしょう。
サーバが相互に監視するの。
例えば回線太いA(L1)B(L1)という２台のサーバと細いC(L2)D(L2)E(L2)という
サーバがあったとして。
time1
2ch→A→B→D
　　　　 →C→E
time2
2ch→B→A→E
　　　　 →D→C
time3
2ch→A→B→C
　　　　 →E→D
という具合にデータを参照すればいいんじゃないかな。相互支援（謎）ね。

411 ：名無しさん ：01/09/03 21:38 ID:kQsP7ha.

>ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
>残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
>働いて、そういった状況になりにくいだけだと思います。

過去何人もキチガイキャンセラーが出現したけどね
2chでいう電波削除人だね
しかも、結構有名な人も

一日中炉裏画像キャンセルしまくってるキチガイセンセイもいるしね

412 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 23:32 ID:VfGNwAvM

>>410
賛成です。私の意見の概要は>>272 からそれほど変わっていません。
これを効率化し、必要最低限(がどれくらいかわかりにくいけど)にしていければ、
うまくいきそうな気がします。

413 ：名無しさん ：01/09/04 20:10 ID:gAGVJ.CY

Perlerさんのクソ・リアリズム、マジでカッコ良かった。
それだけは書いときたかったんで。脈絡なくて、失礼

414 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/06 20:31

ところで、こっちは収束したと考えていいんでしょうか。
まだ何かありましたっけ？

415 ：名無しさん＠お腹いっぱい。 ：01/09/08 13:59

datファイルがうまく参照できない。
apacheのoptionのIndexesを外したのかな．．．

416 ：音楽侍 ◆NtVkSITE ：01/09/08 18:12

>>415
error: Status code is not 200ですか？

417 ：名無しさん＠お腹いっぱい。 ：01/09/08 19:36

>>416
その通りです。その行をコメントアウトしたら、kakiko.comのページに飛ばされてることが判明しました。
subbackを見て取ってくるようにしないと駄目かな。

418 ：音楽侍 ◆NtVkSITE ：01/09/08 20:59

>>417
今朝未明からdat直覗きが出来なくなってますね。

read.cgi ver5.26+ (01/10/21-)