キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug

このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

40 ：名無しさん＠お腹いっぱい。 ：01/08/27 21:36 ID:0cm50H8s

ところで　ミラー側からpullするスクリプトができれば　あとは本家側のread.cgi
とかで（ってか.htaccessのRedirectディレクティブでもいいんだっけ？）
リダイレクトさせればいいんだけど　ミラーサーバをどこに置くのよ？ってのが
問題......　本格的に動かしたら　アクセス量は半端じゃないでしょう......

41 ：音楽侍 ◆NtVkSITE ：01/08/27 21:43 ID:cn52pBwI

なんか、うまく動いてくれないです・・・
error: open ./dat/tech/965815778.dat for writingで引っかかります。
いちおう、/dat/tech/は作ってあるのですが、datはあらかじめ必要なんでしょうか？

42 ：名無しさん＠お腹いっぱい。 ：01/08/27 21:50 ID:tYWhFzr.

最終的な解決はp2pあたりが有望だけど、サーバ、クライアントの開発や環境構築と
deamonが動かせる環境の確保が必要なのでしばらく時間がかかると思われ。
こちらは、基本的には現行のhttpを使用して、鯖の確保と受け渡しcgiの作成のみで
サクッと運用しちゃいましょうがテーマでしょう。

ただし、全板キャッシュするとそれなりの容量と帯域を使うので、最大で数百人〜数千人が
利用しないと旨みが少ないし、板ごとのキャッシュじゃ2ch.netに振り分けの負荷が掛かる。
個人でこんなサーバを持つのは難しいので、対象はISP側のレンタルスペースが有望。
ただし、perl以外のcgiが許される所は少ないし、cronなんて・・・。

そのため、全投稿を受け付ける2ch.netのbbs.cgiへキャッシュ鯖への転送処理を入れ、
ミラー側では受け口となるmirror.cgiと、現行のread.cgiが走らすのが一番簡単そうな
感じがします。バケツリレー方式も可能だし、投稿ごとに送っても大丈夫。
ISP側の権利問題は、ミラー側で自由にフロントエンドを拡張できるので、その辺で解決。
あとは、ミラーのリンクを自動にしたら勝手に鯖は増えるけど、悪用されちゃうかな。
cgiもperl版を作れば、有志によるミラーが自然と増える気がします。

# ブラウザ側でも、JavaScriptでdatの展開しちゃえば、差分取り出しできそうですね

43 ：Perler ◆GSi39OA6 ：01/08/27 21:49 ID:95LP96f6

>>41
dat/tech/dat/が必要です。。

44 ：名無しさん＠お腹いっぱい。 ：01/08/27 21:51 ID:vN9r/JlA

>>40
確かにそうですね。
とりあえず過去ログ参照だけでもミラー鯖にしたほうが
転送料は減るんじゃないかな。

最低限１鯖を１０〜２０のホストがミラーだな。
DNS ラウンドロビンだけじゃなくて 302 の Location で負荷分散
するなら、鯖数 50〜100 はいけるかな？
あんまりキャッシュ鯖が増えたら意味無くなるかな？
３段構成くらいにして、master→slave→cache とか。
こうすれば、master の負荷は結構減るかな。

速報板とか、アクセスの激しいのはどうするべきだろうか。

45 ：音楽侍 ◆NtVkSITE ：01/08/27 21:53 ID:92bYvmYA

>>43
あ、了解です。
ディレクトリなかったら自動で作る仕組みも欲しいですね・・・
(というか、書けって怒られてしまいそう)

46 ：Perler ◆GSi39OA6 ：01/08/27 21:55 ID:95LP96f6

>>44
>３段構成くらいにして、master→slave→cache とか。

これは視野に入れて開発してます。現行のmirror.plで対応可能。
というか、受け取ったデータをいじらずにそのまま
2ch.netと同じ階層構造で保存してやってるだけだけど。

47 ：Perler ◆GSi39OA6 ：01/08/27 22:05 ID:95LP96f6

取得の方がrangeに対応してませんが、閲覧の方は問題なくできるように
なってきています。

そろそろプロパガンダも兼ねて公開テストも行いたいんですが、
誰かCGI利用可能なHTTPサーバーで公開しても良いという方はいませんかね。。。

48 ：名無しさん＠お腹いっぱい。 ：01/08/27 22:05 ID:0cm50H8s

>>44 DNSのラウンドロビンでやったらカキコのアクセスもミラーの方に
行っちゃうけど......bbs.cgiへのアクセスを本家側にリダイレクトさせれば
いいんだろうけど　ミラー側のaccess_logにPOSTの記録が残るのを嫌がる
人が出てくるかも......ってかPOSTを他のホストにリダイレクトさせると
ブラウザが警告を出すんじゃなかったっけ？

49 ：名無しさん＠お腹いっぱい。 ：01/08/27 22:09 ID:0cm50H8s

オレの自宅で使ってるプロバイダ(CATV)はサーバ立て禁止......
仕事先のを使ったらｺﾞﾙｧになるだろうし......

50 ：名無しさん＠お腹いっぱい。 ：01/08/27 22:17 ID:vN9r/JlA

>>48
POST、というか bbs.cgi 周辺は全て master に置けば解決。
とは逝っても信用出来ない鯖だと、
html の FORM action URI を書き換えてしまう
かもしれんな。

51 ：sage ◆qXAQxUxI ：01/08/27 22:31 ID:LNUidRsc

やっぱりURL自体を分散しようよ。
１．Oracle使って同期レプリケーションを組んで、
２．WebAPサーバをDBサーバと同じ台数稼動。

52 ：音楽侍 ◆NtVkSITE ：01/08/27 22:34 ID:92bYvmYA

>>47
こっそり建てることは出来ますけど、公開となるとちょっと。

53 ：49 ：01/08/27 22:37 ID:0cm50H8s

>>52 同意(w まぁここの開発メンバぐらいしか来ないという確証が
あれば　仕事先のマシンにこっそり仕掛けることぐらいしても
バレないとは思うけど...... いや仕事先にバレるだけでなく
そのマシンがヘンなやつらに目をつけられちゃうと......

54 ：age ◆AWcg9OTs ：01/08/27 22:39 ID:LNUidRsc

>>52
確かに。うちもそう。
うちはインターリンクってゆープロバイダで
固定IPで立ててるけど、２ｃｈで公開なんか
しようもんなら、あまりのアクセスの多さに
文句くるだろうなあ。。。

関係ないっすけど、技術者集まって、一回
OFF会しません？

55 ：名無しさん＠お腹いっぱい。 ：01/08/27 22:40 ID:eMjgyMpI

なんか NetNews のようなことができないかと考えてみたり。

56 ：Perler ◆GSi39OA6 ：01/08/27 22:43 ID:95LP96f6

そうですよね。。。
ただ、現状でも、スレ立てて閲覧はミラーサーバーを使うようにお願いすれば、ある程度の負荷軽減は
達成できるんじゃないかと思うので、2ch側に説得力を持たせるには、公開実験が良いと
思ったんですが。。。

別の板で募集かけてみるってのはどうでしょうかね?

57 ：音楽侍 ◆NtVkSITE ：01/08/27 22:48 ID:92bYvmYA

>>54
場所にもよりますけど、出席しますよ
>>56
それこそ、夜勤さんにお願いするべきでは？

58 ：名無しさん＠お腹いっぱい。 ：01/08/27 22:51 ID:vN9r/JlA

IP 直書きでも whois でスグに身元が割れちゃうからなぁ…

鯖、無いことは無いんだけど、
個人的な鯖は回線細すぎだし
そうじゃないのは、ネットワーク管理者にばれるとダメだし…

59 ：aki ：01/08/27 22:54 ID:Z/nLX8Y2

うーむ。
さすがにさくさたん怒っちゃうかなぁ。

テストぐらいなら大丈夫だとは思うけど……。
http://www.gedoh.org/aki/2ch/mirror/

60 ：音楽侍 ◆NtVkSITE ：01/08/27 22:58 ID:92bYvmYA

>>59
akiさん、ありがとう。

61 ：Perler ◆GSi39OA6 ：01/08/27 22:58 ID:95LP96f6

>>59

あ、ありがとうございます。

index2.plも試してみてもらえませんか?
mirror.plと同じ階層に置いて、

index2.pl tech

とするだけです。mirror.plからも一応呼び出すようになってます。

62 ：不実SUN ：01/08/27 23:15 ID:gI46IMVY

はじめからキャッシュありき、で行くのは如何なものか？
さまよえるオランダ人キャッシュまで到達するのであれば別ですが。

63 ：音楽侍 ◆NtVkSITE ：01/08/27 23:18 ID:92bYvmYA

>>62
提案レベルを作ってるって事でしょ？

64 ：名無しさん＠お腹いっぱい。 ：01/08/27 23:22 ID:vN9r/JlA

>62
人が１カ月に２倍以上くらいのスピードで増えていて、
gzip, last-modified の改造でも 45% 前後しか転送量圧縮出来ない
とくれば、後は金を作るか、転送量を減らすかしか無いですからねぇ…

金がどうにもならない以上、転送量減らさないと。
何か名案はある？>62

とりあえず文章後半の意味がよくわからん。

65 ：名無しさん＠お腹いっぱい。 ：01/08/27 23:25 ID:odYgYVgQ

>>55
ttp://piza.2ch.net/log2/network/kako/945/945648512.html

66 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 23:29 ID:ihlstQzQ

>>56
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998908559&ls=20
で募集かけてみました。ご報告まで。

67 ：音楽侍 ◆NtVkSITE ：01/08/27 23:38 ID:92bYvmYA

Perlerさん、index2.plですが、実行時間を記録する仕組みって組み込めますか？
ものすごく作業に時間がかかっています。

68 ：Perler ◆GSi39OA6 ：01/08/27 23:42 ID:95LP96f6

>>66
募集ありがとうございます。お手数掛けます。

>>67
index2.plがですか?
index2.plは一瞬で終わるはずなので、時間がかかっているのなら
どこかにバグがある可能性があります。

mirror.plは、index.datを入れておかないと、初回に全ログを採りに行くので
莫大な時間が掛かります。

ちょっと今日は明日早いので、寝てしまいます。計測は、

BEGIN{$EXT::time = time};
END{print time - $EXT::time}

とかじゃ駄目でしょうか?

69 ：音楽侍 ◆NtVkSITE ：01/08/27 23:44 ID:92bYvmYA

>>68
index2.plです。
どうも、2chにオリジナルを取りに行っている節がありますけど。

70 ：Perler ◆GSi39OA6 ：01/08/27 23:45 ID:95LP96f6

物凄いバグ発見。

$countをクリアしてないので、レス数がすごいことになってます。
恥ずかしいが、明日直します。$count = 0;埋めるだけだし。

71 ：名無しさん ：01/08/27 23:48 ID:aVpbFkaw

ＲＯＭで応援している者ですが、プログラマ辞めて８年もたってるので
インターネット云々には疎くお手伝いできそうもありませんが、情報のみなら・・ということで

この間無料ＨＰ探して見つけた所なんですが
http://www.nurs.or.jp/index.html
で借りれませんか？容量無制限、ＣＧＩ可
「当会では「ネットワークのより自由で高度な応用」を研究テーマとして活動しております」
と書いていますが？
さすがに誰も自分のアドレス公開できんと思うので取りあえず。
　２ｃｈ入り初めて２週間くらい何で失礼ならすいません。

72 ：Perler ◆GSi39OA6 ：01/08/27 23:49 ID:95LP96f6

>>69

すみません、お手数かけますが、

ftp://210.170.170.131/incoming/perler/mirror/index2.pl.1

でやりなおしてみてもらえますか?

73 ：音楽侍 ◆NtVkSITE ：01/08/27 23:51 ID:92bYvmYA

>>72
了解です

74 ：aki ：01/08/27 23:58 ID:Z/nLX8Y2

実行してみました〜。

あと、YukiWikiから、衝突に強いTikiに移行しました。
http://www.gedoh.org/aki/2ch/tiki/

75 ：名無しさん＠お腹いっぱい。 ：01/08/27 23:59 ID:plW.7Hb6

>71
そこ、おごちゃんのところじゃ無かったっけ？
２ｃｈのテストとなると、どうでしょ。貸してくれるかなあ。

76 ：Perler ◆GSi39OA6 ：01/08/27 23:59 ID:95LP96f6

さてと、今度こそ寝ます。テスト環境の件などなどでで私と直接連絡とりたい方は、

perler_2ch@hotmail.com

までお願いします。皆さん大変でしょうが引き続き頑張ってください。

77 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:01 ID:2PfKaiYI

>75
おごちゃん、散々イジめたからなぁ。この板で…

78 ：_ ：01/08/28 00:02 ID:W9iyzXDo

＞71
nursさんか・・・
個人でML運営させてもらってるので、アカウント作ってもらったとこだ。
自分のメインのメールアドレスもnurs。
ただ、いつも load average 高いです。今現在は 4〜8程度。

知ってる人は知ってると思いますが、ここのrootはogochanです。

79 ：不実SUN ：01/08/28 00:03 ID:rAM8Mv0E

>>63 >>64
cacheに王道なし
ゆえに、血道をあげて最適化を図るしかないのがcache道。
できれば、最期の手段として取っておきたかったな、というのが本音です。
cacheしますよ、だけではproposalとして×。
ヒット率目標を明確にしないとPGが走れないと思う。

さまよえるオランダ人キャッシュっていうのは、
「誰からも90%以上のヒット率がえられるキャッシュ機構」のことです。
writeback非同期、turnback最小化が理想。

80 ：不実SUN ：01/08/28 00:07 ID:rAM8Mv0E

追記：
RISCがなぜあそこまでcachehitにこだわるか考えてみよ。

あれは、高いcachehit率に支えられないとうまく回らない
（つまりCISCにまける - ただ命令が長いだけの演算論理に成り下がる）論理だから、
ああいう風にしている。

81 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:09 ID:BxO2wZdU

>>79
今ここでやってる cache は、disk cache と違って
cache server にアクセスすれば必ず hit すると思うんですが…
今やってる cache は mirror だから。認識間違ってるかな。

そのうち本物の cache になるかどうかは今後次第ですね。

82 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:10 ID:Aid0VNNU

mirror.plで取ってきたものをread.cgiで読めるようにしてみました。
例えば、
http://202.247.106.47/test/read.cgi?bbs=tech&key=998845501&ls=100
こんな感じで。.datは
973187725.dat 990101968.dat 994912940.dat 997791189.dat 998845501.dat
980342413.dat 990334284.dat 995044723.dat 997931422.dat 998878393.dat
981044659.dat 991795568.dat 995431899.dat 998329377.dat 998908559.dat
981726544.dat 993005709.dat 996151042.dat 998403891.dat 998914613.dat
981823340.dat 993186053.dat 996848309.dat 998444037.dat 998915621.dat
984182993.dat 993358225.dat 997045112.dat 998736516.dat 998921988.dat
985566190.dat 993736410.dat 997348797.dat 998808627.dat 998922784.dat
987698965.dat 993758383.dat 997686555.dat 998841754.dat 998924030.dat
とりあえず、こんだけあります。適当に試してみてください。

僕が誰だか詮索しないように。

83 ：＞不実SUN ：01/08/28 00:14 ID:2PfKaiYI

理屈ばっかだと、1/16,000 になっちまうぞ。(w

84 ：不実SUN ：01/08/28 00:17 ID:rAM8Mv0E

>>81
cacheの母体がCPUと同じところに乗っていようが、DISKに乗っていようが、
cacheする以上、必要な論理はただ一つです。
「mishit時のアクセスレスポンス < hit時のアクセスレスポンス」
あとは、
・この比を求める
・平均レスポンスをどのあたりに持っていきたいか策定する
・比と平均レスポンスから、何%hit以上をもくろむか策定する

ただし、過半数がゆったりした人orCachehit率100%付近を要求する、
ということであれば、私の意見はないに等しいです　ただのうるさいオヤジということになります。

85 ：不実SUN ：01/08/28 00:18 ID:rAM8Mv0E

>>83
cacheの逆ザヤって結構ある話なんです。
私はそこだけ心配なので、
目標のあるcache戦略なのかな？
であれば、サルでもわかる解説があるはず！
と思ったまでです。

86 ：375 ◆MsUYMX0E ：01/08/28 00:20 ID:efUShCBo

皆様お疲れ様です。
P2P cache のほうはだいぶ下がっちゃったし実装待ちかな。

ところで

>>82

http://202.247.106.47/test/read.cgi?bbs=tech&key=998845501&ls=3

でレスの１　と最後2つが表示されるのですが...
ls=XX の数字がずれてません？
何かずれた事いってたらごめんなさい。

87 ：７１ ：01/08/28 00:22 ID:rHlhRBPU

なんかお役に立てませんでした。
駄文に返事下さり有り難うございました。
　その時の履歴漁ったケド有料鯖以外でＣＧＩフリーって、なかなか無いですね。
　しくしく

88 ：_ ：01/08/28 00:24 ID:W9iyzXDo

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&nofirst=true&ls=3
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&ls=3

全部でレス３つってことで、あってるのでは。

89 ：375 ◆MsUYMX0E ：01/08/28 00:27 ID:efUShCBo

>88
あ、すまそ..
もともとの仕様を勘違いしてた.. 鬱だ

90 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:28 ID:BxO2wZdU

>>84
いや、だから、今（少なくとも年内？）問題なのは 2ch.net ゾーンの
転送量ですので、2ch.net 以外のゾーンに cache server 置けば
cache サーバ使用時のレスポンスは今より悪くなる可能性はあるのでは。
でも背に腹は変えられないという訳です。

91 ：不実SUN ：01/08/28 00:31 ID:rAM8Mv0E

>>90
了解しました。
要はread専用にレプリカするためのもので、
それによって転送量総量の問題を分散させる、ということであれば
その範疇で組んでも大丈夫でしょう　ほっ・・・

92 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:32 ID:Aid0VNNU

>>85
とりあえず、ミラーサーバに関しては、cacheによって高速化しよう
ということではなくて、有志のサーバ達に分担させて2chのトラフィッ
クを減らそうということです。

ADSLな上り512Kbpsな人が100人集まれば、50Mbpsの回線を提供できると。

93 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:43 ID:BxO2wZdU

>91
理解して頂けたようで良かった。

>92
残念ながら ISP の内部で帯域幅狭まると思われ。
地方から東京までの回線とか、結構狭いと思う。

# flets ADSL とか、IP どう割り振ってるんだろう。

94 ：aki ：01/08/28 00:46 ID:LkIGICBw

大手ISPごとに居ると嬉しいんですけどね。
なかなかそうも行かないところ。

とりあえずBフレッツ来たらミラーしてもいいです。

95 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:48 ID:eBDPPdIg

http://203.174.72.113/p2pcache/P2Pcache/frame.htm

96 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:05 ID:2PfKaiYI

goo 重いね。やっぱ IIS だから？

97 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:14 ID:6KYLBzZ.

http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998879305&ls=20

もうダメなのか？

98 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:53 ID:2BmjueCw

To:97
http://kaba.2ch.net/test/read.cgi?bbs=news&key=997961706&st=637

隊長暴走気味。

99 ：名無しさん＠お腹いっぱい。 ：01/08/28 02:27 ID:qx8hbEL.

あきらめたらいかん。

100 ：名無しさん＠お腹いっぱい。 ：01/08/28 02:35 ID:nhadVYlY

プログラマ版は必死でやってる。
最後の1秒まであきらめたらあかん。

101 ：名無しさん＠お腹いっぱい。 ：01/08/28 06:45 ID:QuisIe3w

>>100
というか、ここにいた人がプログラム板に逝ってるんですが。

102 ：Perler ◆GSi39OA6 ：01/08/28 12:07 ID:0ST40Qqw

キャッシュサーバー案の方は、テストですらサーバーを提供してくれる
人がいないという事で頓挫しつつありますな。。。
閉鎖しかけた時に「うちのを使ってくれ!」って人が結構いたんで、
多少期待していたんですが。
どなたか、index2.pl動かしてうまく行った人いらっしゃいますか?

103 ：名無しさん＠お腹いっぱい。 ：01/08/28 12:11 ID:6S1uJJBo

>>102 うーん......本質的には　キャッシュ／ミラーサーバを用意するにしても
その管理者がどうなのか......ということで利用者の方も引いてしまうことも
考えられますね　ひろゆき自身が動いてくれないと......

104 ：Perler ◆GSi39OA6 ：01/08/28 12:28 ID:0ST40Qqw

>>103
うーん、書き込みは2ch.netを使うので、書き込んだ人のIPは今までどおり
保護されますが、やはり読む側のIP保護も必要とされてるんでしょうか？

個人的には読む側のプライバシーは不要だと思っているのですが。。。
実際、世の中の殆どのサーバーが、閲覧者のIPを保存してるわけで
すし、実際悪用しようにも方法が思いつかないです。

ひろゆき氏の登場を待つまでもなく、
現状でも、キャッシュ版index2.htmlへのリンク一覧を専用スレに
張って人力で誘導すればある程度の負荷削減になると考えて
キャッシュサーバー稼動の参加者を募っています。

しかし、個人的には、究極的ですが

・負荷過多のため、2ch.net側がread.cgiを次々と止めてしまう。
・応急処置としてmirror.plを立ち上げるボランティア・サーバーが出現
・ユーザーが次第にそちらへ流れて結果的に負荷削減

という流れが荒療治ですが自然だと思っています。

そういえば、現在read.cgi「だけ」止まっているサーバーってあるのでしょうか?
あるのでしたら、そこのミラー化が一番の実験課題だと思うのですが。

105 ：82 ：01/08/28 12:47 ID:Aid0VNNU

>>102
index2.pl動いています。
http://202.247.106.47/tech/index2.html

他にミラーサーバに参加してやるという奴はいないのか？

106 ：名無しさん＠お腹いっぱい。 ：01/08/28 12:50 ID:n0gCtgRw

「稼働テストなら参加できるけど本番運用はできない」って人がほとんどと思われ

107 ：aki ：01/08/28 13:16 ID:e.GbBjlw

http://www.gedoh.org/tech/index2.html

108 ：Perler ◆GSi39OA6 ：01/08/28 13:53 ID:0ST40Qqw

>>105
>>107
ありがとうございます。確認しました。
特に問題になるところはないように思えますが、検証お願いできますでしょうか?＞読んでる方々

現在の所、私のローカルでは、

perl -e 'while(1){system("./mirror.pl");sleep(60)}'

というコマンド(というかone-liner)を走らせて自動巡回させてテストしています。
これだけで、とりあえずキャッシュサーバー完成になりますので、
協力者の方、引き続き募集中です。

仕事がまた忙しくなってきたので、Range対応はもうちょっと
遅れそうですが。。。まだRange仕様も半分しか読んでないですし。

109 ：（　´Д｀） ：01/08/28 14:01 ID:naZkn1d.

はずかしながら・・・
ミラーサーバー参加したいけど、具体的にどうしたらいいのか・・・

フレッツ地域からテレホ地域に引っ越しちゃったし。（鬱
今夜試行錯誤やってみますか。

うまくいけば会社の専用線に・・・（もち帯域制限かけますけど・・・

110 ：名無し~3.EXE ：01/08/28 14:28 ID:R/ddTLxM

ミラーのテストをしようとしているのですが、
error: Socket Error
が出るのは何がマズいのでしょう。
このスレをざっと読んだだけなのですが何か重要なことを見落としてますか？

111 ：名無しさん＠お腹いっぱい。 ：01/08/28 14:51 ID:sP0roUeI

rangeとgzip対応が済んでないので
現段階ではかえって負荷かけることになると思います。
gzipはmod_zip導入待ちですが・・・

112 ：Perler ◆GSi39OA6 ：01/08/28 14:57 ID:0ST40Qqw

>>110
サーバーは何を使っていますか?
Windowsにはsocket関連のシステム・コールがないので、
ひょっとしたらそこでコケるかもしれません。

また、サーバーによっては外部への80番ポートへの接続
を拒否してるところもあるかもしれません。

telnetが使えるなら、そのサーバーから

telnet 2ch.net 80

とやってみて、

Trying 64.71.145.43...
Connected to 2ch.net.
Escape character is '^]'.

ここまで表示が出るかどうか試してみて下さい。

あとは、Solaris辺りだと、AF_INET辺りの値が違った
ような記憶があります。

/usr/include/sys/socket.h　だったかを見て違うようなら
適切な値をソースに書き込んでください。

113 ：名無しさん＠お腹いっぱい。 ：01/08/28 15:00 ID:kWMpTnew

この間、ソースのincoming用に公開した所を攻撃して落とすようなヴぁかが
集まってる所だからねぇ、２ちゃんは。

114 ：110 ：01/08/28 16:04 ID:R/ddTLxM

>>112

サーバーというかOSはIRIXです。
外部の80/TCPには接続できます。　出来なければここ見れません＾＾；
AF_INETは合ってました。
socket.hを見た感じでは似たような値がセットされているのでたぶん
この辺りは問題無いのではないかと思います。

となると、やはりsocket関連のシステム・コールが無いのでしょうか
うーん残念。

115 ：Perler ◆GSi39OA6 ：01/08/28 16:23 ID:0ST40Qqw

うーん、IRIXはあると思いますよ。。。＞Socket関連関数
Perlのコンパイル時の問題なのか、構造体のメンバが違うのか。。。

ちょっと私のソースの方も見てみますね。

116 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:38 ID:cccdonUU

共用レンタルサーバでも可能ならミラーサーバ参加したいが。。。
まあ、専用じゃないと迷惑だよな。

117 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:39 ID:bv2vU4Sg

サーバを提供する人が現れないとなると、
このプロジェクトが２chを救うのは、次の消滅騒ぎまでなさそうですね。
次は冬休みかなー

118 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:43 ID:k3Czl6QU

＞Perler様
えと、昨日は一日ダウン＆今会社にいるんで協力遅れてごめんなさいです。
もし必要であれば、今夜家に帰ってからなら稼動実験に参加できます。

あ、210.170.170.131 の持ち主です、はい。

それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。

＃いま会社なんで、時間が取れなくて自分はまとめも出来なくて・・・・。

119 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:52 ID:yjTgjGXo

>>117
ハード的な問題なら、現物寄付でどうにかなると思いますけど
2chのDNSやCGI側での振り分けをBIG Serverが許可してくれるか
難しい問題ですよね｡

勝手にキャッシュサーバじゃ実効が上がらないとおもいますから
現段階で2ch管理の方にここに来てもらって、BIG Serverと話し合う時の
検討事項にしてもらう必要があるでしょうね。

120 ：Perler ◆GSi39OA6 ：01/08/28 17:07 ID:0ST40Qqw

色々返事遅れてます。

mirror.plがchunkedに対応してなかったため、不具合が出てました。
あと、rangeに対応させました。
デバッグ用コードを外してからリリースします。

121 ：Perler ◆GSi39OA6 ：01/08/28 17:50 ID:0ST40Qqw

mirror.plが新しくなりました。

ミラー用スクリプトとしては大体完成に近いんじゃないかと思います。
あとはあぼーん対策だけですね。。。簡単そうなんですが、また仕事に戻って
しまうので、変更は後回しです。すみません。

ftp://210.170.170.131/incoming/perler/mirror/index2.pl.2
ftp://210.170.170.131/incoming/perler/mirror/mirror.pl.2

122 ：Perler ◆GSi39OA6 ：01/08/28 17:56 ID:0ST40Qqw

とりあえず新バージョンは、

Fancy Indexを取得。

そののち、Fancy Indexを参考に1分単位で更新されているファイルを取得。

その際、キャッシュを見て、既にキャッシュがあれば、Rangeヘッダを送信。

。。。という方法を採っています。

現在のところ、piza2のtechをターゲットに10分おきに走らせた場合で、
1回ミラーするのに1分前後に収まっています。

123 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:09 ID:fuFoxE4A

では
サーバ提供者が現れないなら勝手にジオとかに自動的にユーザ登録して
.datをミラーしてしまうってのは？


ミラーしたスレは適当なキーワードと共に
2ch側にアドレスを書き込んでしまう

別班で、Windows用の専用ブラウザかプロキシを作り、そのキーワードを
発見したらミラーを読むようにし、 ファイルサイズに差があれば、その差を
埋める動作をさせる

124 ：Perler ◆GSi39OA6 ：01/08/28 18:18 ID:0ST40Qqw

>>123
それってgeocitiesだとabuseですよね。。。

2chの規模でそれやったら、冗談抜きで威力業務妨害罪とか
に問われそうです。。

http://www.geocities.co.jp/members/info/contents.html
>ホームページをファイルダウンロード専用のページとしたり、
>他のページ（ジオシティーズ内外を問わず）へのリンクをす
>るためだけのページ

125 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:19 ID:cccdonUU

tripod の jump2ch もどうかと思うけど。
ところで、cron が使えるところならミラー可能？

126 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:21 ID:k3Czl6QU

>>125
取り合えず、「root権限がもらえる」という前提は必須かと。
cronだけじゃなくて、色々な事をやらなければいけない事を考えるとね。

127 ：Perler ◆GSi39OA6 ：01/08/28 18:25 ID:0ST40Qqw

>>126
私が作った奴の今の仕様だといらないです＞root権限
特に必要になる状況も思いつかないです。
cronも不要。

while(1){
system("./mirror.pl");
sleep(60);
}

ってのをbgで走らせてほったらかしにしてあるだけですんで。
逆にcronで走らせる間隔が短いと、今のスクリプトだと
二重起動起こしてファイルを潰しあう可能性があります。

128 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:29 ID:cccdonUU

>126
そっか。やっぱり自前か専用じゃないと無理だね。
一応シェルは使える。

129 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:31 ID:cccdonUU

>127
それはそれで鯖管に怒られそうだ…
プロセス切られたりして。

130 ：Perler ◆GSi39OA6 ：01/08/28 18:41 ID:0ST40Qqw

>>128
シェルがつかえるならmirror.plは充分動くよ

131 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:45 ID:6S1uJJBo

だれかホスティング／ハウジング業者とかデータセンタでそれなりの権限もってる
人とかいないのかな？

132 ：375 ◆MsUYMX0E ：01/08/28 18:51 ID:efUShCBo

実は

「2chのような掲示板システムってP2Pで」
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284

でも鯖探してます。
こっちで必要なのは2ch.net に追加する新cgiがテストできる
鯖なのですが、相乗りさせていただくことって可能ですか？

ちなみにcgiの機能としては
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&st=537&to=537&nofirst=true
です。

133 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:54 ID:KihuaPf6

漏れ鯖一台余ってるYO！さくらのパーソナルだけど（ｗ

134 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:55 ID:/foo1b.s

>>131
それなりに権限をもっているだけじゃダメなのよ…。
きちんとしたビジネスプランなり研究プランを示せないことには、
学校・会社では通用しないんで。

なので、比較的いいわけが効く実験環境ならなんとかなるけどって
いう人が多い。

135 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:10 ID:k3Czl6QU

>>127
なるほど。誤解してました。
確かにそのループならroot権限は要りませんね。

136 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:13 ID:cccdonUU

研究にするにしても、大抵の学校のサーバでは無理そう。
少なくてもうちの学校は WIDE にぶらさがってるだけなので転送量的にキツイ。
教授に申請しても ﾊｧ?(ﾟДﾟ) といわれるのがオチだなあ。

やはりサーバ業者の協力が不可欠なような。
キャッシュサーバみたいなのををビジネスにしてる企業に売り込む？
費用対効果が低いのはbig-serverで証明されちゃってるから難しそうだ。

137 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:22 ID:HEWceQCw

ここはThe Internetの基本に立ち返っていっそ米軍に泣きつくとか…

138 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:29 ID:/foo1b.s

>>136
いや、ある程度の数の proxy が立ち上げってくれば
2ch の全てを肩代わりするわけじゃないので大丈夫だとは思う。
ただ、実運用時には個人の趣味の範囲で許される程度からは
外れそう。

ちなみに、ビジネス・研究とは関係なくても netnews の場合
は各会社や provider が NNTP server を自前で用意していた
過去があるけど、これは junet=fj & mail だった名残なのかなぁ?

139 ：音楽侍 ◆NtVkSITE ：01/08/28 19:37 ID:9soq5dsg

お疲れさまです。
現在のindex2.plで吐き出されるデータって、テスト状態のデータですよね？
件名（件数）の件数が10000件以上のものもありますけど。

read.cgi ver5.26+ (01/10/21-)