■掲示板に戻る■ 1- 101- 201- 301- 401- 最新50キャッシュ型負荷分散システム開発スレッド
- 1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug
- このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。
参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。
２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20
その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20
に、それぞれお願いいたします。
- 76 ：Perler ◆GSi39OA6 ：01/08/27 23:59 ID:95LP96f6
- さてと、今度こそ寝ます。テスト環境の件などなどでで私と直接連絡とりたい方は、
perler_2ch@hotmail.com
までお願いします。皆さん大変でしょうが引き続き頑張ってください。
- 77 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:01 ID:2PfKaiYI
- >75
おごちゃん、散々イジめたからなぁ。この板で…
- 78 ：_ ：01/08/28 00:02 ID:W9iyzXDo
- ＞71
nursさんか・・・
個人でML運営させてもらってるので、アカウント作ってもらったとこだ。
自分のメインのメールアドレスもnurs。
ただ、いつも load average 高いです。今現在は 4〜8程度。
知ってる人は知ってると思いますが、ここのrootはogochanです。
- 79 ：不実SUN ：01/08/28 00:03 ID:rAM8Mv0E
- >>63 >>64
cacheに王道なし
ゆえに、血道をあげて最適化を図るしかないのがcache道。
できれば、最期の手段として取っておきたかったな、というのが本音です。
cacheしますよ、だけではproposalとして×。
ヒット率目標を明確にしないとPGが走れないと思う。
さまよえるオランダ人キャッシュっていうのは、
「誰からも90%以上のヒット率がえられるキャッシュ機構」のことです。
writeback非同期、turnback最小化が理想。
- 80 ：不実SUN ：01/08/28 00:07 ID:rAM8Mv0E
- 追記：
RISCがなぜあそこまでcachehitにこだわるか考えてみよ。
あれは、高いcachehit率に支えられないとうまく回らない
（つまりCISCにまける - ただ命令が長いだけの演算論理に成り下がる）論理だから、
ああいう風にしている。
- 81 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:09 ID:BxO2wZdU
- >>79
今ここでやってる cache は、disk cache と違って
cache server にアクセスすれば必ず hit すると思うんですが…
今やってる cache は mirror だから。認識間違ってるかな。
そのうち本物の cache になるかどうかは今後次第ですね。
- 82 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:10 ID:Aid0VNNU
- mirror.plで取ってきたものをread.cgiで読めるようにしてみました。
例えば、
http://202.247.106.47/test/read.cgi?bbs=tech&key=998845501&ls=100
こんな感じで。.datは
973187725.dat 990101968.dat 994912940.dat 997791189.dat 998845501.dat
980342413.dat 990334284.dat 995044723.dat 997931422.dat 998878393.dat
981044659.dat 991795568.dat 995431899.dat 998329377.dat 998908559.dat
981726544.dat 993005709.dat 996151042.dat 998403891.dat 998914613.dat
981823340.dat 993186053.dat 996848309.dat 998444037.dat 998915621.dat
984182993.dat 993358225.dat 997045112.dat 998736516.dat 998921988.dat
985566190.dat 993736410.dat 997348797.dat 998808627.dat 998922784.dat
987698965.dat 993758383.dat 997686555.dat 998841754.dat 998924030.dat
とりあえず、こんだけあります。適当に試してみてください。
僕が誰だか詮索しないように。
- 83 ：＞不実SUN ：01/08/28 00:14 ID:2PfKaiYI
- 理屈ばっかだと、1/16,000 になっちまうぞ。(w
- 84 ：不実SUN ：01/08/28 00:17 ID:rAM8Mv0E
- >>81
cacheの母体がCPUと同じところに乗っていようが、DISKに乗っていようが、
cacheする以上、必要な論理はただ一つです。
「mishit時のアクセスレスポンス < hit時のアクセスレスポンス」
あとは、
・この比を求める
・平均レスポンスをどのあたりに持っていきたいか策定する
・比と平均レスポンスから、何%hit以上をもくろむか策定する
ただし、過半数がゆったりした人orCachehit率100%付近を要求する、
ということであれば、私の意見はないに等しいです ただのうるさいオヤジということになります。
- 85 ：不実SUN ：01/08/28 00:18 ID:rAM8Mv0E
- >>83
cacheの逆ザヤって結構ある話なんです。
私はそこだけ心配なので、
目標のあるcache戦略なのかな？
であれば、サルでもわかる解説があるはず！
と思ったまでです。
- 86 ：375 ◆MsUYMX0E ：01/08/28 00:20 ID:efUShCBo
- 皆様お疲れ様です。
P2P cache のほうはだいぶ下がっちゃったし実装待ちかな。
ところで
>>82
http://202.247.106.47/test/read.cgi?bbs=tech&key=998845501&ls=3
でレスの１ と最後2つが表示されるのですが...
ls=XX の数字がずれてません？
何かずれた事いってたらごめんなさい。
- 87 ：７１ ：01/08/28 00:22 ID:rHlhRBPU
- なんかお役に立てませんでした。
駄文に返事下さり有り難うございました。
その時の履歴漁ったケド有料鯖以外でＣＧＩフリーって、なかなか無いですね。
しくしく
- 88 ：_ ：01/08/28 00:24 ID:W9iyzXDo
- http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&nofirst=true&ls=3
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&ls=3
全部でレス３つってことで、あってるのでは。
- 89 ：375 ◆MsUYMX0E ：01/08/28 00:27 ID:efUShCBo
- >88
あ、すまそ..
もともとの仕様を勘違いしてた.. 鬱だ
- 90 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:28 ID:BxO2wZdU
- >>84
いや、だから、今（少なくとも年内？）問題なのは 2ch.net ゾーンの
転送量ですので、2ch.net 以外のゾーンに cache server 置けば
cache サーバ使用時のレスポンスは今より悪くなる可能性はあるのでは。
でも背に腹は変えられないという訳です。
- 91 ：不実SUN ：01/08/28 00:31 ID:rAM8Mv0E
- >>90
了解しました。
要はread専用にレプリカするためのもので、
それによって転送量総量の問題を分散させる、ということであれば
その範疇で組んでも大丈夫でしょう ほっ・・・
- 92 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:32 ID:Aid0VNNU
- >>85
とりあえず、ミラーサーバに関しては、cacheによって高速化しよう
ということではなくて、有志のサーバ達に分担させて2chのトラフィッ
クを減らそうということです。
ADSLな上り512Kbpsな人が100人集まれば、50Mbpsの回線を提供できると。
- 93 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:43 ID:BxO2wZdU
- >91
理解して頂けたようで良かった。
>92
残念ながら ISP の内部で帯域幅狭まると思われ。
地方から東京までの回線とか、結構狭いと思う。
# flets ADSL とか、IP どう割り振ってるんだろう。
- 94 ：aki ：01/08/28 00:46 ID:LkIGICBw
- 大手ISPごとに居ると嬉しいんですけどね。
なかなかそうも行かないところ。
とりあえずBフレッツ来たらミラーしてもいいです。
- 95 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:48 ID:eBDPPdIg
- http://203.174.72.113/p2pcache/P2Pcache/frame.htm
- 96 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:05 ID:2PfKaiYI
- goo 重いね。やっぱ IIS だから？
- 97 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:14 ID:6KYLBzZ.
- http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998879305&ls=20
もうダメなのか？
- 98 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:53 ID:2BmjueCw
- To:97
http://kaba.2ch.net/test/read.cgi?bbs=news&key=997961706&st=637
隊長暴走気味。
- 99 ：名無しさん＠お腹いっぱい。 ：01/08/28 02:27 ID:qx8hbEL.
- あきらめたらいかん。
- 100 ：名無しさん＠お腹いっぱい。 ：01/08/28 02:35 ID:nhadVYlY
- プログラマ版は必死でやってる。
最後の1秒まであきらめたらあかん。
- 101 ：名無しさん＠お腹いっぱい。 ：01/08/28 06:45 ID:QuisIe3w
- >>100
というか、ここにいた人がプログラム板に逝ってるんですが。
- 102 ：Perler ◆GSi39OA6 ：01/08/28 12:07 ID:0ST40Qqw
- キャッシュサーバー案の方は、テストですらサーバーを提供してくれる
人がいないという事で頓挫しつつありますな。。。
閉鎖しかけた時に「うちのを使ってくれ!」って人が結構いたんで、
多少期待していたんですが。
どなたか、index2.pl動かしてうまく行った人いらっしゃいますか?
- 103 ：名無しさん＠お腹いっぱい。 ：01/08/28 12:11 ID:6S1uJJBo
- >>102 うーん......本質的には キャッシュ／ミラーサーバを用意するにしても
その管理者がどうなのか......ということで利用者の方も引いてしまうことも
考えられますね ひろゆき自身が動いてくれないと......
- 104 ：Perler ◆GSi39OA6 ：01/08/28 12:28 ID:0ST40Qqw
- >>103
うーん、書き込みは2ch.netを使うので、書き込んだ人のIPは今までどおり
保護されますが、やはり読む側のIP保護も必要とされてるんでしょうか？
個人的には読む側のプライバシーは不要だと思っているのですが。。。
実際、世の中の殆どのサーバーが、閲覧者のIPを保存してるわけで
すし、実際悪用しようにも方法が思いつかないです。
ひろゆき氏の登場を待つまでもなく、
現状でも、キャッシュ版index2.htmlへのリンク一覧を専用スレに
張って人力で誘導すればある程度の負荷削減になると考えて
キャッシュサーバー稼動の参加者を募っています。
しかし、個人的には、究極的ですが
・負荷過多のため、2ch.net側がread.cgiを次々と止めてしまう。
・応急処置としてmirror.plを立ち上げるボランティア・サーバーが出現
・ユーザーが次第にそちらへ流れて結果的に負荷削減
という流れが荒療治ですが自然だと思っています。
そういえば、現在read.cgi「だけ」止まっているサーバーってあるのでしょうか?
あるのでしたら、そこのミラー化が一番の実験課題だと思うのですが。
- 105 ：82 ：01/08/28 12:47 ID:Aid0VNNU
- >>102
index2.pl動いています。
http://202.247.106.47/tech/index2.html
他にミラーサーバに参加してやるという奴はいないのか？
- 106 ：名無しさん＠お腹いっぱい。 ：01/08/28 12:50 ID:n0gCtgRw
- 「稼働テストなら参加できるけど本番運用はできない」って人がほとんどと思われ
- 107 ：aki ：01/08/28 13:16 ID:e.GbBjlw
- http://www.gedoh.org/tech/index2.html
- 108 ：Perler ◆GSi39OA6 ：01/08/28 13:53 ID:0ST40Qqw
- >>105
>>107
ありがとうございます。確認しました。
特に問題になるところはないように思えますが、検証お願いできますでしょうか?＞読んでる方々
現在の所、私のローカルでは、
perl -e 'while(1){system("./mirror.pl");sleep(60)}'
というコマンド(というかone-liner)を走らせて自動巡回させてテストしています。
これだけで、とりあえずキャッシュサーバー完成になりますので、
協力者の方、引き続き募集中です。
仕事がまた忙しくなってきたので、Range対応はもうちょっと
遅れそうですが。。。まだRange仕様も半分しか読んでないですし。
- 109 ：（ ´Д｀） ：01/08/28 14:01 ID:naZkn1d.
- はずかしながら・・・
ミラーサーバー参加したいけど、具体的にどうしたらいいのか・・・
フレッツ地域からテレホ地域に引っ越しちゃったし。（鬱
今夜試行錯誤やってみますか。
うまくいけば会社の専用線に・・・（もち帯域制限かけますけど・・・
- 110 ：名無し~3.EXE ：01/08/28 14:28 ID:R/ddTLxM
- ミラーのテストをしようとしているのですが、
error: Socket Error
が出るのは何がマズいのでしょう。
このスレをざっと読んだだけなのですが何か重要なことを見落としてますか？
- 111 ：名無しさん＠お腹いっぱい。 ：01/08/28 14:51 ID:sP0roUeI
- rangeとgzip対応が済んでないので
現段階ではかえって負荷かけることになると思います。
gzipはmod_zip導入待ちですが・・・
- 112 ：Perler ◆GSi39OA6 ：01/08/28 14:57 ID:0ST40Qqw
- >>110
サーバーは何を使っていますか?
Windowsにはsocket関連のシステム・コールがないので、
ひょっとしたらそこでコケるかもしれません。
また、サーバーによっては外部への80番ポートへの接続
を拒否してるところもあるかもしれません。
telnetが使えるなら、そのサーバーから
telnet 2ch.net 80
とやってみて、
Trying 64.71.145.43...
Connected to 2ch.net.
Escape character is '^]'.
ここまで表示が出るかどうか試してみて下さい。
あとは、Solaris辺りだと、AF_INET辺りの値が違った
ような記憶があります。
/usr/include/sys/socket.h だったかを見て違うようなら
適切な値をソースに書き込んでください。
- 113 ：名無しさん＠お腹いっぱい。 ：01/08/28 15:00 ID:kWMpTnew
- この間、ソースのincoming用に公開した所を攻撃して落とすようなヴぁかが
集まってる所だからねぇ、２ちゃんは。
- 114 ：110 ：01/08/28 16:04 ID:R/ddTLxM
- >>112
サーバーというかOSはIRIXです。
外部の80/TCPには接続できます。 出来なければここ見れません＾＾；
AF_INETは合ってました。
socket.hを見た感じでは似たような値がセットされているのでたぶん
この辺りは問題無いのではないかと思います。
となると、やはりsocket関連のシステム・コールが無いのでしょうか
うーん残念。
- 115 ：Perler ◆GSi39OA6 ：01/08/28 16:23 ID:0ST40Qqw
- うーん、IRIXはあると思いますよ。。。＞Socket関連関数
Perlのコンパイル時の問題なのか、構造体のメンバが違うのか。。。
ちょっと私のソースの方も見てみますね。
- 116 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:38 ID:cccdonUU
- 共用レンタルサーバでも可能ならミラーサーバ参加したいが。。。
まあ、専用じゃないと迷惑だよな。
- 117 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:39 ID:bv2vU4Sg
- サーバを提供する人が現れないとなると、
このプロジェクトが２chを救うのは、次の消滅騒ぎまでなさそうですね。
次は冬休みかなー
- 118 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:43 ID:k3Czl6QU
- ＞Perler様
えと、昨日は一日ダウン＆今会社にいるんで協力遅れてごめんなさいです。
もし必要であれば、今夜家に帰ってからなら稼動実験に参加できます。
あ、210.170.170.131 の持ち主です、はい。
それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。
＃いま会社なんで、時間が取れなくて自分はまとめも出来なくて・・・・。
- 119 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:52 ID:yjTgjGXo
- >>117
ハード的な問題なら、現物寄付でどうにかなると思いますけど
2chのDNSやCGI側での振り分けをBIG Serverが許可してくれるか
難しい問題ですよね｡
勝手にキャッシュサーバじゃ実効が上がらないとおもいますから
現段階で2ch管理の方にここに来てもらって、BIG Serverと話し合う時の
検討事項にしてもらう必要があるでしょうね。
- 120 ：Perler ◆GSi39OA6 ：01/08/28 17:07 ID:0ST40Qqw
- 色々返事遅れてます。
mirror.plがchunkedに対応してなかったため、不具合が出てました。
あと、rangeに対応させました。
デバッグ用コードを外してからリリースします。
- 121 ：Perler ◆GSi39OA6 ：01/08/28 17:50 ID:0ST40Qqw
- mirror.plが新しくなりました。
ミラー用スクリプトとしては大体完成に近いんじゃないかと思います。
あとはあぼーん対策だけですね。。。簡単そうなんですが、また仕事に戻って
しまうので、変更は後回しです。すみません。
ftp://210.170.170.131/incoming/perler/mirror/index2.pl.2
ftp://210.170.170.131/incoming/perler/mirror/mirror.pl.2
- 122 ：Perler ◆GSi39OA6 ：01/08/28 17:56 ID:0ST40Qqw
- とりあえず新バージョンは、
Fancy Indexを取得。
そののち、Fancy Indexを参考に1分単位で更新されているファイルを取得。
その際、キャッシュを見て、既にキャッシュがあれば、Rangeヘッダを送信。
。。。という方法を採っています。
現在のところ、piza2のtechをターゲットに10分おきに走らせた場合で、
1回ミラーするのに1分前後に収まっています。
- 123 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:09 ID:fuFoxE4A
- では
サーバ提供者が現れないなら勝手にジオとかに自動的にユーザ登録して
.datをミラーしてしまうってのは？
ミラーしたスレは適当なキーワードと共に
2ch側にアドレスを書き込んでしまう
別班で、Windows用の専用ブラウザかプロキシを作り、そのキーワードを
発見したらミラーを読むようにし、 ファイルサイズに差があれば、その差を
埋める動作をさせる
- 124 ：Perler ◆GSi39OA6 ：01/08/28 18:18 ID:0ST40Qqw
- >>123
それってgeocitiesだとabuseですよね。。。
2chの規模でそれやったら、冗談抜きで威力業務妨害罪とか
に問われそうです。。
http://www.geocities.co.jp/members/info/contents.html
>ホームページをファイルダウンロード専用のページとしたり、
>他のページ（ジオシティーズ内外を問わず）へのリンクをす
>るためだけのページ
- 125 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:19 ID:cccdonUU
- tripod の jump2ch もどうかと思うけど。
ところで、cron が使えるところならミラー可能？
- 126 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:21 ID:k3Czl6QU
- >>125
取り合えず、「root権限がもらえる」という前提は必須かと。
cronだけじゃなくて、色々な事をやらなければいけない事を考えるとね。
- 127 ：Perler ◆GSi39OA6 ：01/08/28 18:25 ID:0ST40Qqw
- >>126
私が作った奴の今の仕様だといらないです＞root権限
特に必要になる状況も思いつかないです。
cronも不要。
while(1){
system("./mirror.pl");
sleep(60);
}
ってのをbgで走らせてほったらかしにしてあるだけですんで。
逆にcronで走らせる間隔が短いと、今のスクリプトだと
二重起動起こしてファイルを潰しあう可能性があります。
- 128 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:29 ID:cccdonUU
- >126
そっか。やっぱり自前か専用じゃないと無理だね。
一応シェルは使える。
- 129 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:31 ID:cccdonUU
- >127
それはそれで鯖管に怒られそうだ…
プロセス切られたりして。
- 130 ：Perler ◆GSi39OA6 ：01/08/28 18:41 ID:0ST40Qqw
- >>128
シェルがつかえるならmirror.plは充分動くよ
- 131 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:45 ID:6S1uJJBo
- だれかホスティング／ハウジング業者とかデータセンタでそれなりの権限もってる
人とかいないのかな？
- 132 ：375 ◆MsUYMX0E ：01/08/28 18:51 ID:efUShCBo
- 実は
「2chのような掲示板システムってP2Pで」
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284
でも鯖探してます。
こっちで必要なのは2ch.net に追加する新cgiがテストできる
鯖なのですが、相乗りさせていただくことって可能ですか？
ちなみにcgiの機能としては
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&st=537&to=537&nofirst=true
です。
- 133 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:54 ID:KihuaPf6
- 漏れ鯖一台余ってるYO！さくらのパーソナルだけど（ｗ
- 134 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:55 ID:/foo1b.s
- >>131
それなりに権限をもっているだけじゃダメなのよ…。
きちんとしたビジネスプランなり研究プランを示せないことには、
学校・会社では通用しないんで。
なので、比較的いいわけが効く実験環境ならなんとかなるけどって
いう人が多い。
- 135 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:10 ID:k3Czl6QU
- >>127
なるほど。誤解してました。
確かにそのループならroot権限は要りませんね。
- 136 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:13 ID:cccdonUU
- 研究にするにしても、大抵の学校のサーバでは無理そう。
少なくてもうちの学校は WIDE にぶらさがってるだけなので転送量的にキツイ。
教授に申請しても ﾊｧ?(ﾟДﾟ) といわれるのがオチだなあ。
やはりサーバ業者の協力が不可欠なような。
キャッシュサーバみたいなのををビジネスにしてる企業に売り込む？
費用対効果が低いのはbig-serverで証明されちゃってるから難しそうだ。
- 137 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:22 ID:HEWceQCw
- ここはThe Internetの基本に立ち返っていっそ米軍に泣きつくとか…
- 138 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:29 ID:/foo1b.s
- >>136
いや、ある程度の数の proxy が立ち上げってくれば
2ch の全てを肩代わりするわけじゃないので大丈夫だとは思う。
ただ、実運用時には個人の趣味の範囲で許される程度からは
外れそう。
ちなみに、ビジネス・研究とは関係なくても netnews の場合
は各会社や provider が NNTP server を自前で用意していた
過去があるけど、これは junet=fj & mail だった名残なのかなぁ?
- 139 ：音楽侍 ◆NtVkSITE ：01/08/28 19:37 ID:9soq5dsg
- お疲れさまです。
現在のindex2.plで吐き出されるデータって、テスト状態のデータですよね？
件名（件数）の件数が10000件以上のものもありますけど。
- 140 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:01 ID:cccdonUU
- >138
ミラー方式だと本体への負荷が高いので、
へたに proxy の数が多いと効果が低くならない？
結局データ自体は本体に集中してる。
最終的には NNTP や P2P だと思う。
- 141 ：にはん ◆/gWayilU ：01/08/28 20:03 ID:rXhYdVC.
- VLAN切ってストレージサーバを用意するとかじゃダメかねぇ。
- 142 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:07 ID:/foo1b.s
- >>140
read access が極端に多く、traffic が問題となっている
状況ならば、proxy が多くてもそうは問題にならないでしょう。
いざとなったら squid のように proxy 間で data のやり取り…。
#って、そりゃ NNTP 化するのとほぼ同義だな。
- 143 ：にはん ◆/gWayilU ：01/08/28 20:12 ID:rXhYdVC.
- >>142
要するにここでのproxyの役割は、cacheによる高速化ではなくてdelegationによる
バックボーンの負荷分散、ってことだよね？ >>140 が言っているのは、（更新頻度を考えると
P2Pじゃないキャッシュがほとんど意味をなさない2chで）キャッシュサーバから本体に取りにいく
トラフィックの総計は、今のエンドユーザのトラフィックの総計と大して変わらないのではないか、
という話なんじゃないかなあ？
# でもそれだとproxyの数はあまり関係ないね
- 144 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:12 ID:cccdonUU
- >142
なるほど。だとしても板と時間帯によるね。
ニュー速やラウンジならともかく、
WebProgとかレンタル鯖には必要ないだろうし。
それと朝方は比較的アクセス少ない。
- 145 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:14 ID:cccdonUU
- ちょっと誤解。
キャッシュサーバへのアクセスしか許さないならば、効果はあると思う。
- 146 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:24 ID:6S1uJJBo
- っていうか cache/proxyというよりdatファイルをコピーしてミラーリング
というのならどうなの？ readよりwriteの頻度の方が低いんだから
カキコがあるたびにdat転送しても 今のreadアクセスよりはトラフィックは
だいぶ少なくなると思うけど
- 147 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:15 ID:o186web.
- ＞readよりwriteの頻度の方が低いんだから
次スレに移って一ヶ月以上も経つのに。
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=969471588&st=977
こうゆヤツも救うのかと思うと悲しくなるね…
- 148 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:17 ID:kWMpTnew
- read.cgi は、5.10 になったが。
bbs.cgi は古かった模様…。
- 149 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:18 ID:/foo1b.s
- >>147
おかげで、bbs.cgi の挙動が不審なことはわかったけど:-)
#でも、read.cgi と違って手のうちようがない…
- 150 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:33 ID:cccdonUU
- >147
頭が痛いね…とりえあずスレスト依頼すべきだ。
- 151 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:15 ID:RfRAQI/.
- スマソ 外道ネタ
一ヶ月借りてその後の退会は自由との事
「実験だけなら何とか出来ない？」もっともドメイン持っている人じゃないと
ダメっぽいケド・・・どっちにしても自分で書いてて情けないな・・鬱だ逝ってくる。
『interQまるごとサーバー』は、サーバーを１ヵ月無料で体験できます。
http://www.marugoto-server.com/campform.html?mid=970026
ＣＧＩ／ＳＳＩ／アクセス解析可／NTTネットワークセンター内設置にて320Mbps接続
現在取得済のドメインにてサーバーをお申込み頂きますと、翌日にサーバーの用意ができます。
- 152 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:22 ID:6S1uJJBo
- >>151 それってIPアドレス直打ちじゃダメなのかね？
- 153 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:23 ID:cccdonUU
- 悪名高き InterQか…
interＱは詐欺商法（第３版）
http://salami.2ch.net/test/read.cgi?bbs=isp&key=995199180
- 154 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:26 ID:u7C32C9Y
- 板を丸ごとじゃなくて、混んでるスレだけでも分散できないかな。
混雑スレ専用proxy。かちゅーしゃなどに組み込んで。
一つのスレに連続投稿すると勝手に起動して、2ちゃんに連絡する。
以後、そのスレを読もうとすると、proxyを経由させられる。
かちゅーしゃに組み込まれたバックドアから2ちゃんが侵入するようなイメージで（ｗ
実況などに抑止効果があると思う。巡回ソフトには効果ないけど。
2ちゃん側の変更がどの程度になるのか全然分かりませんが。
- 155 ：にはん ◆/gWayilU ：01/08/28 22:27 ID:rXhYdVC.
- 多分俺と同じ状況で歯痒い思いをしている人はたくさんいると思うのだが、
俺んとこはフレッツADSLで固定グローバルIPを8つもらえるサービスを使っていて、
現に稼動しているApacheがあるので、テストだけだったらIPbasedなVirtualHostで
環境を提供することも出来る。DNSラウンドロビンの実験用にVIPを振ってそれ様の
namedを上げたりしてもいい。でも、問題なのはドメインネームが.netだから個人情報が
駄々漏れになってしまうんだよ……(;´Д`)
- 156 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:30 ID:Os46TJAs
- >>155
IP8個ならその時点で駄々漏れじゃん
- 157 ：にはん ◆/gWayilU ：01/08/28 22:31 ID:rXhYdVC.
- >>156
日本の一般用whoisでは電話番号とかは出ないじゃん。
- 158 ：（ ´Д｀） ：01/08/28 22:42 ID:2aE5H8v6
- >>118
>それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
>もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。
漏れのやった（やっている）手順
1:最新のindex2.plとmirror.plをGET
2:２つのファイルを/usr/local/etc/www/data/に移動し
実行できるようにchmod
3:data以下にdat/tech/datを作る
（パーミッションは777でやっちゃったよ。）
4: ./index2.pl tech
5: perl -e 'while(1){system("./mirror.pl");sleep(60)}'
今現在取り込み中・・・
問題があったらメールなりで指摘してくれ。
環境は自宅鯖、Pentium166Dual(藁 FreeBSD-4.3-stable apache-1.3.20
ahoahodqn@hotmail.com
- 159 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:42 ID:/foo1b.s
- >>157
そうなんだよね。ヲレの場合、whois db を更新していないので
実家の電話番号が出てきちゃうんで、とんでもない大問題なのだ…。
- 160 ：（ ´Д｀） ：01/08/28 22:45 ID:2aE5H8v6
- 鬱氏
/usr/local/etc/www/data
↓
/usr/local/www/data
まぁとにかくApacheのdataディレクトリ
- 161 ：天才東大医学部５回生 ：01/08/28 22:55 ID:rpp3OriI
- ----------------------------------------------------
*******************2chが閉鎖？ﾜﾗﾀﾖ******************
----------------------------------------------------
ネットキャンサーが自らのトラヒク負担でアポトーシスだと。(藁
死んで当然death。消えて当たり前田のクラッカーだよ。
何？クラッカーじゃなくてハッカー？（ﾌﾟ
UNIX板のノータリンはハッカーとは呼べないだろ。
普段はトゥール・クラッキングでオナってる偽ハッカーのくせに。（はぁと
**********************************
-----UNIX板の連中なんざ、芋虫------
**********************************
みんなで協力してます？ﾊｧ？死ねば？
お前らの発言とも思えないが？（＾＾；）
偽善と欺瞞、傲慢に独善。自分たちがしてきた行為を
振り返ってみな？胸に手を当ててよく考えろ。
そうすれば、2ch閉鎖が世界のためだと気づくはずだＹＯ！
最後に。UNIX板のプログラマはヘタレ。
お前らの吐き出すコードはムダとバグの塊。
もうママゴト・プログラミングなんてやめたら？みっともないよ。
- 162 ：anony ◆3XTuRnAc ：01/08/28 22:58 ID:cmJDCZ/M
- ＞158
感謝！
っていうか、「なんでmirror.pl動かんのじゃー！」とか苦闘してて(汗。
先にindex2.plを動かさんと行けないってのを忘れてました。
ご指摘感謝。いま動いてます＞mirror.pl
- 163 ：anony ◆3XTuRnAc ：01/08/28 23:02 ID:cmJDCZ/M
- あ、すいません、>>162はいわゆる「369」です。
- 164 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:13 ID:Aid0VNNU
- ミラーサーバ案が頓挫しそうな雰囲気ですねぇ。
2chをNNTPに載せるという案を散見しますが、具体的にどうするかという話が
全然出てこないですね。状況は逼迫してると思われるので、急いで実現可能な
方法が必要だと思うんです。NetNewsのシステム自体は枯れているので、それ
をそのまま使うというのは現実的な話だと思います。ただし、現在の2chのシ
ステムをそのままNetNewsに移行するのは難しいと思います。やるとすれば、
2chとは別の、2ch的ポリシーを持ったトップカテゴリを作るというあたりが落
としどころではないでしょうか。
仮に、2ch.* というトップカテゴリを作るとして、これに属するGroupはすべて
moderatedにします。moderatedとはどういうことかというと、投稿した記事は
一旦moderatorにメイルで届きます。通常はmoderatorが検閲し許可した記事を
代理投稿しますが、2ch.* では匿名化のために使います。moderatorに届いた
記事はスクリプトで From: nobody@invalid (名無しさん) みたいに書き換えて
投稿します。
サーバ側に関しては、とりあえず自分のマシンに 2ch.* を作って、OPEN NNTP
として運用を開始し、同時にpeerしているサイトに配送を働きかけます。他に
希望があれば、どことでも無条件にpeerします。
クライアント側に関しては、NetNews用のクライアントを使う必要がありますが、
OutlookやNetscapeが使えるので障害は少ないと思います。Webインターフェイス
が必要であれば勝手に作ってください。
こんな具合で始めたらどうでしょうか。
- 165 ：ガンガン荒らすぞゴルァ ：01/08/28 23:16 ID:Y4zr4Mqs
- 馬鹿プログラマー死ね！！
- 166 ：ガンガン荒らすぞゴルァ ：01/08/28 23:19 ID:Y4zr4Mqs
- >>161
激しく同意
- 167 ：anony ◆3XTuRnAc ：01/08/28 23:20 ID:cmJDCZ/M
- えと、ftpサーバーの
incoming/2ch-read-current/
以下に、
mirrortest.tar.gz
mirrortest.doc
というファイルを置いておきました。mirror実験を開始するための
セットと、その使用方法というかつかい方、というところで、
簡単なセットとマニュアルをおいておきました。
なにか間違いとか不備があったら突っ込みお願いします。
- 168 ：天才東大医学部５回生 ：01/08/28 23:21 ID:rpp3OriI
- >>166
僕は荒らしをしているとは考えていない。
そうではなくて、真実を述べている。
- 169 ：天才東大医学部５回生 ：01/08/28 23:23 ID:rpp3OriI
- >>167
全般的にカス。コーディング。やめれば？
- 170 ：名無しさん＠Ｅｍａｃｓ ◆oQwux7a6 ：01/08/28 23:42 ID:E.ArZ2us
- mirror.pl.2 ですが、HTTP/1.1 のデフォルトは持続型接続と
なっているのでファイルをダウンロードしてから Apache が
タイムアウトで接続を切ってくれるまで待つようになります。
Connection: close を送出するとダウンロードが完了したら
即座に Apache が接続を切ってくれるのでミラーリングが
早くなります。
ほんとは持続型接続をうまく利用すべきでしょうけど・・・。
--- mirror.pl.2.orig Tue Aug 28 22:58:33 2001
+++ mirror.pl.2 Tue Aug 28 23:05:11 2001
@@ -322,6 +322,7 @@
###### GET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf ;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf . $crlf;
1;
}
@@ -336,12 +337,14 @@
###### Range付きGET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf;
print S "Range: bytes=$range-" . $crlf . $crlf;
### debug..
&green;
print "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print "Connection: close" . $crlf;
print "Host: $servername" . $crlf;
print "Range: bytes=$range-" . $crlf . $crlf;
&nomal;
- 171 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:44 ID:u7C32C9Y
- NNTPは懐古趣味とか言ってみる
- 172 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:55 ID:lMUSoYms
- ＤＱ−−−−−−−Ｎ
- 173 ：名無しさん＠お腹いっぱい。 ：01/08/29 00:22 ID:TrXIg0dU
- NNTPウザイ
- 174 ：743 ：01/08/29 00:27 ID:F1mQSOi6
- ＞173
昔、ひろゆきさんが「バケツリレー式のNetNewsなんて、ぶっ潰そう！」
なんて言ってた頃もあったけどねー。;-P
- 175 ：（ ´Д｀） ：01/08/29 00:33 ID:iNsPkFvk
- index2.plとmirror.plをつかっていろんな板を自鯖に保存したくなってきた・・・
次100 最新50 (10:00PM - 03:00AM の間一気に全部は読めません)
read.cgi ver5.26+ (01/10/21-)