■掲示板に戻る■ 全部 1- 101- 201- 301- 401- 最新50キャッシュ型負荷分散システム開発スレッド
- 1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug
- このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。
参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。
２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20
その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20
に、それぞれお願いいたします。
- 140 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:01 ID:cccdonUU
- >138
ミラー方式だと本体への負荷が高いので、
へたに proxy の数が多いと効果が低くならない？
結局データ自体は本体に集中してる。
最終的には NNTP や P2P だと思う。
- 141 ：にはん ◆/gWayilU ：01/08/28 20:03 ID:rXhYdVC.
- VLAN切ってストレージサーバを用意するとかじゃダメかねぇ。
- 142 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:07 ID:/foo1b.s
- >>140
read access が極端に多く、traffic が問題となっている
状況ならば、proxy が多くてもそうは問題にならないでしょう。
いざとなったら squid のように proxy 間で data のやり取り…。
#って、そりゃ NNTP 化するのとほぼ同義だな。
- 143 ：にはん ◆/gWayilU ：01/08/28 20:12 ID:rXhYdVC.
- >>142
要するにここでのproxyの役割は、cacheによる高速化ではなくてdelegationによる
バックボーンの負荷分散、ってことだよね？ >>140 が言っているのは、（更新頻度を考えると
P2Pじゃないキャッシュがほとんど意味をなさない2chで）キャッシュサーバから本体に取りにいく
トラフィックの総計は、今のエンドユーザのトラフィックの総計と大して変わらないのではないか、
という話なんじゃないかなあ？
# でもそれだとproxyの数はあまり関係ないね
- 144 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:12 ID:cccdonUU
- >142
なるほど。だとしても板と時間帯によるね。
ニュー速やラウンジならともかく、
WebProgとかレンタル鯖には必要ないだろうし。
それと朝方は比較的アクセス少ない。
- 145 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:14 ID:cccdonUU
- ちょっと誤解。
キャッシュサーバへのアクセスしか許さないならば、効果はあると思う。
- 146 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:24 ID:6S1uJJBo
- っていうか cache/proxyというよりdatファイルをコピーしてミラーリング
というのならどうなの？ readよりwriteの頻度の方が低いんだから
カキコがあるたびにdat転送しても 今のreadアクセスよりはトラフィックは
だいぶ少なくなると思うけど
- 147 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:15 ID:o186web.
- ＞readよりwriteの頻度の方が低いんだから
次スレに移って一ヶ月以上も経つのに。
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=969471588&st=977
こうゆヤツも救うのかと思うと悲しくなるね…
- 148 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:17 ID:kWMpTnew
- read.cgi は、5.10 になったが。
bbs.cgi は古かった模様…。
- 149 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:18 ID:/foo1b.s
- >>147
おかげで、bbs.cgi の挙動が不審なことはわかったけど:-)
#でも、read.cgi と違って手のうちようがない…
- 150 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:33 ID:cccdonUU
- >147
頭が痛いね…とりえあずスレスト依頼すべきだ。
- 151 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:15 ID:RfRAQI/.
- スマソ 外道ネタ
一ヶ月借りてその後の退会は自由との事
「実験だけなら何とか出来ない？」もっともドメイン持っている人じゃないと
ダメっぽいケド・・・どっちにしても自分で書いてて情けないな・・鬱だ逝ってくる。
『interQまるごとサーバー』は、サーバーを１ヵ月無料で体験できます。
http://www.marugoto-server.com/campform.html?mid=970026
ＣＧＩ／ＳＳＩ／アクセス解析可／NTTネットワークセンター内設置にて320Mbps接続
現在取得済のドメインにてサーバーをお申込み頂きますと、翌日にサーバーの用意ができます。
- 152 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:22 ID:6S1uJJBo
- >>151 それってIPアドレス直打ちじゃダメなのかね？
- 153 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:23 ID:cccdonUU
- 悪名高き InterQか…
interＱは詐欺商法（第３版）
http://salami.2ch.net/test/read.cgi?bbs=isp&key=995199180
- 154 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:26 ID:u7C32C9Y
- 板を丸ごとじゃなくて、混んでるスレだけでも分散できないかな。
混雑スレ専用proxy。かちゅーしゃなどに組み込んで。
一つのスレに連続投稿すると勝手に起動して、2ちゃんに連絡する。
以後、そのスレを読もうとすると、proxyを経由させられる。
かちゅーしゃに組み込まれたバックドアから2ちゃんが侵入するようなイメージで（ｗ
実況などに抑止効果があると思う。巡回ソフトには効果ないけど。
2ちゃん側の変更がどの程度になるのか全然分かりませんが。
- 155 ：にはん ◆/gWayilU ：01/08/28 22:27 ID:rXhYdVC.
- 多分俺と同じ状況で歯痒い思いをしている人はたくさんいると思うのだが、
俺んとこはフレッツADSLで固定グローバルIPを8つもらえるサービスを使っていて、
現に稼動しているApacheがあるので、テストだけだったらIPbasedなVirtualHostで
環境を提供することも出来る。DNSラウンドロビンの実験用にVIPを振ってそれ様の
namedを上げたりしてもいい。でも、問題なのはドメインネームが.netだから個人情報が
駄々漏れになってしまうんだよ……(;´Д`)
- 156 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:30 ID:Os46TJAs
- >>155
IP8個ならその時点で駄々漏れじゃん
- 157 ：にはん ◆/gWayilU ：01/08/28 22:31 ID:rXhYdVC.
- >>156
日本の一般用whoisでは電話番号とかは出ないじゃん。
- 158 ：（ ´Д｀） ：01/08/28 22:42 ID:2aE5H8v6
- >>118
>それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
>もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。
漏れのやった（やっている）手順
1:最新のindex2.plとmirror.plをGET
2:２つのファイルを/usr/local/etc/www/data/に移動し
実行できるようにchmod
3:data以下にdat/tech/datを作る
（パーミッションは777でやっちゃったよ。）
4: ./index2.pl tech
5: perl -e 'while(1){system("./mirror.pl");sleep(60)}'
今現在取り込み中・・・
問題があったらメールなりで指摘してくれ。
環境は自宅鯖、Pentium166Dual(藁 FreeBSD-4.3-stable apache-1.3.20
ahoahodqn@hotmail.com
- 159 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:42 ID:/foo1b.s
- >>157
そうなんだよね。ヲレの場合、whois db を更新していないので
実家の電話番号が出てきちゃうんで、とんでもない大問題なのだ…。
- 160 ：（ ´Д｀） ：01/08/28 22:45 ID:2aE5H8v6
- 鬱氏
/usr/local/etc/www/data
↓
/usr/local/www/data
まぁとにかくApacheのdataディレクトリ
- 161 ：天才東大医学部５回生 ：01/08/28 22:55 ID:rpp3OriI
- ----------------------------------------------------
*******************2chが閉鎖？ﾜﾗﾀﾖ******************
----------------------------------------------------
ネットキャンサーが自らのトラヒク負担でアポトーシスだと。(藁
死んで当然death。消えて当たり前田のクラッカーだよ。
何？クラッカーじゃなくてハッカー？（ﾌﾟ
UNIX板のノータリンはハッカーとは呼べないだろ。
普段はトゥール・クラッキングでオナってる偽ハッカーのくせに。（はぁと
**********************************
-----UNIX板の連中なんざ、芋虫------
**********************************
みんなで協力してます？ﾊｧ？死ねば？
お前らの発言とも思えないが？（＾＾；）
偽善と欺瞞、傲慢に独善。自分たちがしてきた行為を
振り返ってみな？胸に手を当ててよく考えろ。
そうすれば、2ch閉鎖が世界のためだと気づくはずだＹＯ！
最後に。UNIX板のプログラマはヘタレ。
お前らの吐き出すコードはムダとバグの塊。
もうママゴト・プログラミングなんてやめたら？みっともないよ。
- 162 ：anony ◆3XTuRnAc ：01/08/28 22:58 ID:cmJDCZ/M
- ＞158
感謝！
っていうか、「なんでmirror.pl動かんのじゃー！」とか苦闘してて(汗。
先にindex2.plを動かさんと行けないってのを忘れてました。
ご指摘感謝。いま動いてます＞mirror.pl
- 163 ：anony ◆3XTuRnAc ：01/08/28 23:02 ID:cmJDCZ/M
- あ、すいません、>>162はいわゆる「369」です。
- 164 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:13 ID:Aid0VNNU
- ミラーサーバ案が頓挫しそうな雰囲気ですねぇ。
2chをNNTPに載せるという案を散見しますが、具体的にどうするかという話が
全然出てこないですね。状況は逼迫してると思われるので、急いで実現可能な
方法が必要だと思うんです。NetNewsのシステム自体は枯れているので、それ
をそのまま使うというのは現実的な話だと思います。ただし、現在の2chのシ
ステムをそのままNetNewsに移行するのは難しいと思います。やるとすれば、
2chとは別の、2ch的ポリシーを持ったトップカテゴリを作るというあたりが落
としどころではないでしょうか。
仮に、2ch.* というトップカテゴリを作るとして、これに属するGroupはすべて
moderatedにします。moderatedとはどういうことかというと、投稿した記事は
一旦moderatorにメイルで届きます。通常はmoderatorが検閲し許可した記事を
代理投稿しますが、2ch.* では匿名化のために使います。moderatorに届いた
記事はスクリプトで From: nobody@invalid (名無しさん) みたいに書き換えて
投稿します。
サーバ側に関しては、とりあえず自分のマシンに 2ch.* を作って、OPEN NNTP
として運用を開始し、同時にpeerしているサイトに配送を働きかけます。他に
希望があれば、どことでも無条件にpeerします。
クライアント側に関しては、NetNews用のクライアントを使う必要がありますが、
OutlookやNetscapeが使えるので障害は少ないと思います。Webインターフェイス
が必要であれば勝手に作ってください。
こんな具合で始めたらどうでしょうか。
- 165 ：ガンガン荒らすぞゴルァ ：01/08/28 23:16 ID:Y4zr4Mqs
- 馬鹿プログラマー死ね！！
- 166 ：ガンガン荒らすぞゴルァ ：01/08/28 23:19 ID:Y4zr4Mqs
- >>161
激しく同意
- 167 ：anony ◆3XTuRnAc ：01/08/28 23:20 ID:cmJDCZ/M
- えと、ftpサーバーの
incoming/2ch-read-current/
以下に、
mirrortest.tar.gz
mirrortest.doc
というファイルを置いておきました。mirror実験を開始するための
セットと、その使用方法というかつかい方、というところで、
簡単なセットとマニュアルをおいておきました。
なにか間違いとか不備があったら突っ込みお願いします。
- 168 ：天才東大医学部５回生 ：01/08/28 23:21 ID:rpp3OriI
- >>166
僕は荒らしをしているとは考えていない。
そうではなくて、真実を述べている。
- 169 ：天才東大医学部５回生 ：01/08/28 23:23 ID:rpp3OriI
- >>167
全般的にカス。コーディング。やめれば？
- 170 ：名無しさん＠Ｅｍａｃｓ ◆oQwux7a6 ：01/08/28 23:42 ID:E.ArZ2us
- mirror.pl.2 ですが、HTTP/1.1 のデフォルトは持続型接続と
なっているのでファイルをダウンロードしてから Apache が
タイムアウトで接続を切ってくれるまで待つようになります。
Connection: close を送出するとダウンロードが完了したら
即座に Apache が接続を切ってくれるのでミラーリングが
早くなります。
ほんとは持続型接続をうまく利用すべきでしょうけど・・・。
--- mirror.pl.2.orig Tue Aug 28 22:58:33 2001
+++ mirror.pl.2 Tue Aug 28 23:05:11 2001
@@ -322,6 +322,7 @@
###### GET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf ;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf . $crlf;
1;
}
@@ -336,12 +337,14 @@
###### Range付きGET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf;
print S "Range: bytes=$range-" . $crlf . $crlf;
### debug..
&green;
print "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print "Connection: close" . $crlf;
print "Host: $servername" . $crlf;
print "Range: bytes=$range-" . $crlf . $crlf;
&nomal;
- 171 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:44 ID:u7C32C9Y
- NNTPは懐古趣味とか言ってみる
- 172 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:55 ID:lMUSoYms
- ＤＱ−−−−−−−Ｎ
- 173 ：名無しさん＠お腹いっぱい。 ：01/08/29 00:22 ID:TrXIg0dU
- NNTPウザイ
- 174 ：743 ：01/08/29 00:27 ID:F1mQSOi6
- ＞173
昔、ひろゆきさんが「バケツリレー式のNetNewsなんて、ぶっ潰そう！」
なんて言ってた頃もあったけどねー。;-P
- 175 ：（ ´Д｀） ：01/08/29 00:33 ID:iNsPkFvk
- index2.plとmirror.plをつかっていろんな板を自鯖に保存したくなってきた・・・
- 176 ：743 ：01/08/29 00:49 ID:F1mQSOi6
- ＞175
そう思って皆がミラーし始めて、転送量上がるんじゃないの？
- 177 ：anony ◆3XTuRnAc ：01/08/29 01:03 ID:TkQkeuao
- ＞mirror.pl
無事動いてます。index2.htmlからの読み込みなどもオッケーのようです。
IRC経由で友人に頼んで動作確認してもらいましたが、読めるみたいです。
あとは、「このパッケージがあれば動作確認ができるぜ」っていう
アーカイブとドキュメントを書けば良いのかな。
それと、なにげにディレクトリ階層をちゃんと2ch風に合わせないと
だめなんだろうな、という話も考えなきゃ・・・・。
- 178 ：（ ´Д｀） ：01/08/29 01:16 ID:iNsPkFvk
- >>176
もちろんミラーサイトから・・・（笑
うーん、次はread.cgi・・・どうやるんだ？
- 179 ：名無しさん＠お腹いっぱい。 ：01/08/29 02:03 ID:kUOQxvzM
- とりあえずmirrortest.tar.gzを自分のサーバーのhttpdルートに解凍して
mirrorフォルダは作りました。あとはmirror.plを実行すればいいんですよね？
- 180 ：anony ◆3XTuRnAc ：01/08/29 02:07 ID:TkQkeuao
- >>179
あとは、read.cgiを何とかしてmakeして、って作業が必要かと思います。
閲覧にはやっぱりread.cgiをつかいますので。
- 181 ：名無しさん＠お腹いっぱい。 ：01/08/29 02:12 ID:kUOQxvzM
- >>180
read.cgiを何とかって・・・どうするの？(^^;
makeはできるけど、どのファイルなのか。
もう一個のほうのプロジェクトで開発してるんでしたっけ？
- 182 ：Perler ◆GSi39OA6 ：01/08/29 02:14 ID:44.z9PPA
- みなさん検証ありがとうございます。
Connection: close
以外の不具合は見つかっていないでしょうか？
Connection: closeに関しては、次バージョンで取り込みます。
その前にkeep-aliveに対応したいところですが。
- 183 ：anony ◆3XTuRnAc ：01/08/29 02:18 ID:TkQkeuao
- >>179
てことで、「必要なもの一式」をまとめてみました。
つまり、「mirror.plを実行する環境」のほかに、「read.cgiを動かす」
こともできなくてはなりません。
ということで、そのアーカイブセットとドキュメントを
ftp://210.170.170.131/incoming/mirrortest/
の中に置いておきました。
- 184 ：anony ◆3XTuRnAc ：01/08/29 02:22 ID:TkQkeuao
- ＞Perlerさん
えと、バグというか、不具合というか。
自分はいま、perlerさんが軽く紹介してくれた一行スクリプトを走らせているのですが、
index2.htmlの構築の段階で予想外に時間がかかってるので、
sleep(60)が意味をなしてない感じです(^^;;。
mirror.plの実行終了から60秒じゃなくて、mirror.plの起動から
60秒待って、という感覚なんですが、perlの使用ってこんなんじゃ
ないですよね？
つまり、waitなしでひたすら実行されてしまうように見える、って
ことなのですけれども。
あと、先ほどあげましたmirrortestのアーカイブとかドキュメントとかで
不備がありましたらぜひご指摘ください。
- 185 ：anony ◆3XTuRnAc ：01/08/29 02:35 ID:TkQkeuao
- えと、明日も仕事なんで、とりあえず自分はここらで寝ます_(..)_
また明日の晩まで実質的には動けません・・・・。
- 186 ：179=181 ：01/08/29 02:37 ID:kUOQxvzM
- 実行してみた。
一応確認だけど、ドキュメントの cd mirror/dat/test
cd mirror/testですよね？（Makefileとソースがそこにあるので）
実行したところzlib.hがなくて動作せず。
探さないと・・・。
- 187 ：Perler ◆GSi39OA6 ：01/08/29 02:38 ID:44.z9PPA
- >>184
うーん、mirror.plが時間がかかるのは分かるんですが、index2.html
の生成は一瞬のはずですが。。。
ただ、index.datを入れない状態だと、2ch.netのtechのすべてのログ
をダウンロードするため、ものすごい時間がかかります。
昨日あたりのindex.datをサーバーにあげてあるので、それを入れる
とダウンロード時間はかなり少なくなります。
１分ごとの起動だと、mirror.plは１分くらいの時間は食いますが、それは
現仕様では仕方ないです。
- 188 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 03:37 ID:kUOQxvzM
- >Perler
ミラーテスト成功しました。
index.html書いてないので、datディレクトリのファイルを直接参照したんですが・・・。
http://www.tokyo-nazo.net/mirror/dat/test/read.cgi?bbs=tech&key=997788843
です。
また明日の夜に覗きに来ます。
私に協力できそうなことがあったら協力しますので。
- 189 ：￣ー￣)ノ ：01/08/29 09:12 ID:c40YJ4Sg
- ＦＴＰサーバー落ちてませんか？
- 190 ：anony ◆3XTuRnAc ：01/08/29 09:13 ID:4vxuBj56
- ＞perlerさん
すいません、ちょっと勘違いしてました。
切り分け様にprint文要れて動かしてみたら、ちゃんと動いていることを確認できました。
たびたび誤解してごめんなさいです。
えと、今日一日家に戻るまで動かしておきます。
http://210.170.170.118/mirror/dat/tech/index2.html
・・・って、ftpサーバのアドレスも変わってますのでご注意を。
今IP表示させて気づきました(汗
- 191 ：anony ◆3XTuRnAc ：01/08/29 09:15 ID:4vxuBj56
- >>189
落ちてる、というよりも、IPが変わってます。
ADSLなもので、たまにこうなります(汗。
あ、メインのftpサーバーは落ちてません。
＃今朝の6:30ごろに、IPが変わったらしいです。
- 192 ：音楽侍 ◆NtVkSITE ：01/08/29 09:27 ID:j/vYHKaU
- >>190
こうやって動いてみると、けっこう生々しく現実味がありますね。
ただ、完全ミラーは時間的に厳しいですかね？
サーバ／ジャンル単位に複数のサーバでサポートしたりするのがいいのかもしれない。
- 193 ：名無しさん＠お腹いっぱい。 ：01/08/29 09:35 ID:nl0FB/..
- >>42
>ただし、全板キャッシュするとそれなりの容量と帯域を使うので、最大で数百人〜数千人が
>利用しないと旨みが少ないし、板ごとのキャッシュじゃ2ch.netに振り分けの負荷が掛かる。
2chからはランダムでキャッシュ鯖に転送処理を入れて、
キャッシュ側で全板対応してなかったら、分担リストを元に
更に別の鯖に転送するっていうのは駄目でしょうか？
そうすれば、２ｃｈ側では、たまに鯖の生存確認して、
転送リストを更新する程度の処理で済むと思います。
もっとも、登録は信頼性確保の為手動でもかまわないかも？
キャッシュ側でも、自分のところで対応してなければ、
そのまま丸なげしてしまえばいいので、簡単だと思います。
とりあえずテストの段階では転送部も独立可能な気がしますが、
というか登録が少ない内は、自動転送なんかしたら
キャッシュ鯖の方がパンクしてしまうだろうし。
まあ、ユーザーがキャッシュ鯖のアドレス知ってれば必要ないのか？。
負荷の少ないランダム転送ってどうやって実現すればいいですかね？
- 194 ：音楽侍 ◆NtVkSITE ：01/08/29 09:39 ID:j/vYHKaU
- >>193
読み出しサーバを専門単位かサーバ単位に複数用意しておき、そこを一次サーバにする。
２次サーバがそれら一次サーバ各自から孫になって情報をもらうようにすると、２ちゃんサーバの負担は軽減しますかね。
- 195 ：にはん ◆/gWayilU ：01/08/29 09:41 ID:OYkF597Y
- >>193
膨大なコストがかかってもいいなら、ロードバランサーを導入すべき。
それではダメなのであれば、DNSラウンドロビンのルールを有人監視 or cronで自動判定
して書き換える、とかする、って感じだろうか。有人監視は有り得ないのでたとえば定期的に
ESTABLISHEDなコネクション数なりプロセス数なりにrequest->replyなチェックをかける、
とかかなあ。
- 196 ：音楽侍 ◆NtVkSITE ：01/08/29 09:49 ID:j/vYHKaU
- ただ、ユーザが個別にアクセスしなくなるのと、常時一定のトラフィックが発生することをはかりに掛けてみないと何ともいえませんね。
直感的には、各サーバから読み出した方が良さそうだと思うんだけど、
「だったら、bbs.cgiなども設置して、Big-server解放してあげたらどうなのよ？」っていう、すごく根元的な疑問を持ってしまうのです。
- 197 ：にはん ◆/gWayilU ：01/08/29 09:59 ID:OYkF597Y
- >>196
話が堂堂巡りしてしまうのだけど、まず以下のことがはっきりしないことには負荷分散
（トラフィック分散に限ってもいい）モデルも作れないと思う。
・フロントエンドサーバ群をどこにどれだけ (Big内か分散させた外部か不特定多数かなど) 置くのか
・投稿はどこで受けるのか
・ユーザに対してはどこにアクセスさせるのか
・大もとの記事データは分散して同期させるのか、集中管理するのか
・既存の技術の組み合わせなのか新たに作るのか
これには技術的な話じゃなくて、第8、第9レイヤの話が多々からんでくるから
今ここで話していても埒があかないんだよね。
- 198 ：音楽侍 ◆NtVkSITE ：01/08/29 10:06 ID:j/vYHKaU
- >>197
ごめんなさい、おっしゃるとおりちょっと混乱気味になりますね。
まず、現状を何とか改善しようと言う方向があって
read.cgi改良スレッド
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848
が動いてますね。
で、その延長上で、bbs.cgiも最適化＆改良してしまいたいという流れで
bbs.cgi 改良案スレッド
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988
があって。
いっそのこと、全く新しい仕組みでやったらどうなの？っていうながれで
P2Pでサーバに依存しない掲示板を作るの巻
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998915621
なんかがあって、で、このスレはというと、
datをミラーリングして、トラフィックの集中化をさけようよ、っていうことですよね？
- 199 ：音楽侍 ◆NtVkSITE ：01/08/29 10:10 ID:j/vYHKaU
- >>198の続き
で、ふと思ってしまったのが、
至急的緊急避難措置として、このスレの考え方は非常に「あり」なんですけど、恒常的運用となると”？”であると。
それだったら、板ごとに別サーバをもうけることによってBig-serverさんの困窮を救った方が現実的だなぁ、と。
だって、データのトランザクション大きすぎるし、レスの即時性考えたら、read.cgiとbbs.cgiは同じサーバで動いているのが最良なんですし。
そんな事が言いたかったのです。
- 200 ：にはん ◆/gWayilU ：01/08/29 10:10 ID:OYkF597Y
- もともとはプログラム板のP2P-cacheな提案のスレだったのではないかなあ、このスレは。
流れ的には単なるトラフィック分散全般の話になってるけど。
- 201 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:12 ID:iU.Fd0UU
- >>199 同意 だけどどっちにしろそのサーバの置き場所を確保しないことには
どうにもならないと......
- 202 ：にはん ◆/gWayilU ：01/08/29 10:14 ID:OYkF597Y
- >>199
本当は規模を考えたらやすやすな構成で分散しようということ自体にかなりの無理があるから、
結局のところ大まかに言って今のところ３択だよね。
・プログラム板のP2P-cache
・「2chサーバ群」ってのは、結局のところただの自動 redirect 装置に成り下がる
（つまり音楽侍さんが逝っているのはこれだと思う）
・本体はあくまで2chサーバ群にあって、それをdelegationさせる事でトラフィック分散を図る
- 203 ：音楽侍 ◆NtVkSITE ：01/08/29 10:15 ID:j/vYHKaU
- >>200
それとはちょっと違いますですよ。
そっちで進んでいるのは、
P2Pでサーバに依存しない掲示板を作るの巻
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998915621
です。
あ、今度は私の誤解かも。
最初は、perlerさんが、
「mirror.plみたいなのはすぐ出来るよ。というか、もう書いちゃったよ」
ってところからこのスレが立ったんだと思います
- 204 ：にはん ◆/gWayilU ：01/08/29 10:18 ID:OYkF597Y
- >>203
あら、こちらの誤解かも。>>1に
「このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。 」
って書いてあるからてっきり。
- 205 ：音楽侍 ◆NtVkSITE ：01/08/29 10:19 ID:j/vYHKaU
- >>202
そうですね。
もっと言っちゃうと、ただのDNS（と、正面玄関）になっちゃうのが、本家2ch.netサーバだって事ですね。
その移行的側面として、perlerさんのmirror系スクリプトは超強力なツールだと思いますけど。
いずれにしても、トランザクションコストとして、２ｃｈレベルのサイトで、ミラーリングはあり得ないんでは？
なんか、IBMと国際的機関レベルの国家予算的プロジェクトと同質の規模だと思うんです。今すでに。
- 206 ：にはん ◆/gWayilU ：01/08/29 10:26 ID:OYkF597Y
- >>205
そうなると、ひろゆきとBigは2chから降りなければならなくなってしまうんだよね。
Bigにとってのメリットは2chがさくさく動いているということを宣伝に使える、
ということだから、そのうまみがまったくなくなってしまう。
ひろゆきはひろゆきで、自分はなにも管理していないのに「２ちゃんねる」の代表として
今後も訴訟の際などには呼び出される格好になる。そんな馬鹿らしいことは誰だって嫌だろう
（いまの状態も馬鹿らしいといえばそうなんだけど）。
俺が技術レイヤだけではこの話は堂堂巡りになる、というのはその辺もあるんだ。
純粋に技術話として、大規模な「Webの」BBS群をどう取り扱うか、と言う話をしてみる、
と言う事にも十分意味はあると思うけど、少なくともそれはいまの2chには生かすことは
出来ないと思う。
- 207 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:31 ID:nl0FB/..
- >>194
やっぱり、ラウンドロビンの定期的変更が一番単純でしょうか？
とりあえず、キャッシュ鯖に、アドレスと使用可能な回線容量かなんかを申告させて
それにあわせてラウンドロビンのリストを作成するって感じかな？
リストのサイズは固定にして、余裕が有る鯖は複数回、普通のところは１回呼ぶとかで
負荷調整を図ると。
鯖の事は全然分かってないので知ったかぶりなんですけど、
これってBINDレベルで対応可能って事ですよね？。
>>206
とりあえず、今Big-server以外の鯖って残ってましたよね？
そっちに応用すればいいんじゃないでしょうか？
- 208 ：音楽侍 ◆NtVkSITE ：01/08/29 10:33 ID:j/vYHKaU
- >>207
そのBig-server以外の2chサーバってさ、昨日ラウンジ一個が引っ越しただけで破綻したんだよ。
- 209 ：音楽侍 ◆NtVkSITE ：01/08/29 10:37 ID:j/vYHKaU
- >>206
それはその通りです。
そしてそれは、私たちが話しても憶測と推定とやがてﾊﾞﾘｿﾞｰｹﾞﾝになってしまうので、みんなやらないのです。
だって、ひろゆきさんの公式コメントないし（今の段階ではない方が私もいいと思ってます）。
私たちはこうやってがんばったりしちゃってますが、ひろゆきさんからみれば、ただのいち２ちゃねらーなだけですから。
そういうことも含め、ひろゆきさんの存念を確認したい、っていうのが夜勤さん上京の本音じゃないかと私は思っているのですけれどね。
- 210 ：Perler ◆GSi39OA6 ：01/08/29 10:47 ID:qGdmeavk
- 現在のミラーの様子
http://202.247.106.47/tech/index2.html
http://www.gedoh.org/tech/index2.html
http://210.170.170.118/mirror/dat/tech/index2.html ＜− 全コンテンツ取得しているようです
特にanony氏のミラーは2ch本体の代わりとして充分機能している気がします。
>>199
私が考えている展望を書きます。
まず、2日前くらいの予告とともに、2ch.netのread.cgiを板ごとに順次止めていきます。
ここで、予告期間中にわかに有志でmirror.plを走らせる人が増えてくるんじゃないかと思います。
(逆に誰もミラーしてくれなければこの話は終わりです。)
read.cgiが止まった板のミラーが出来たら、さらに別の板のread.cgiを止めていきます。
実際、2ch.netのread.cgiを止めてしまわないと、有志は増えないんじゃないかと思っています。
2ch.net上でread.cgi動いてる時点ではmirror化のメリットは見えてこないですからね。
2ch.netの各サーバーへの振り分けは、当初は考えなくて良いと思っています。
振り分け自体も、現在の2ch.netの対応を見る限り、
ラウンドロビンを2chが早々に導入してくれるという事も考えにくいので、
有志にサーバー一覧(リンク集)をまとめてもらう方向になるのではないかと思います。
サーバーが増えれば、今度は負荷を考えてランダムにミラーサーバーへforwardする
CGIを作って、それをまた有志サーバー上で走らせて対処するのが現実的ではないかと。
これらがうまく機能しなくてもかちゅ〜しゃがあるわけですし。
2ch.netの役割は、玄関と、bbs.cgiによるログ管理のみ、という事になってしまいますが。。。
即時性については、ミラーリングの手法を変える事で対応できるんじゃないかと思います。
現在はHTTPでやってるんでオーバーヘッドが大きすぎますが、
将来的には、2ch側に配信専用サーバーを立てて、クライアント(キャッシュ側)からソケット張りっ
ぱなしにしておき、書き込みがあったら2ch側からデータをputしていくようなシステムに
なるんじゃないかと思います。
GETリクエストを送らなくても勝手にどんどんKeep-Aliveでデータを送りつけてくるHTTPサーバー
みたいなものを想像して頂ければ分かりやすいかと。
- 211 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:54 ID:nl0FB/..
- >>208
だからこそ、分散処理すれば落ちにくくなるって話なのでは？
とりあえずは、避難所レベルの資源を持っている人に協力してもらって
一次キャッシュサーバになってもらうのが現実的かな？
そのうちP2Pのほうが形になってくると思いますし、
一時しのぎができればいいのでは？。
問題は、管理サイドの考えが見えてこないことなんですが、
２ｃｈがこの規模を維持するにはどう考えても分散が必要ですから
まあ、最悪の場合、避難所のサポートシステムとしても有効ではないかと思いますし、
- 212 ：Perler ◆GSi39OA6 ：01/08/29 10:56 ID:qGdmeavk
- 前にも書いたんですが、現在サーバーは生きていて、read.cgiだけ止まってる
板ってあるんでしょうか?
あるのなら、そこをミラー化させるのが一番よい実験題材なのですが。
- 213 ：音楽侍 ◆NtVkSITE ：01/08/29 10:57 ID:j/vYHKaU
- >>210
Perlerさん、おはようございます。
んー、そうですね。即効性アクセス削減案と言うところまでは異床同夢です。
P2Pについては、クライアントの開発が絡みますので、3-6ヶ月はかかると思います。
早ければ10月にはBig-serverさんは手を引く可能性がありますので、間に合いません。
また、ミラーリングの精度を上げるのも限度がありますし、ミラーするくらいだったらbbs.cgi語とおいたって一緒じゃないか、っていう発想だってあるです。
夜勤さんは９月の帯域料金は50Ｍまでしか支払えないって明言していますし。
- 214 ：名無しさん＠お腹いっぱい。 ：01/08/29 13:20 ID:y.SJYiFg
- キャッシュサーバーですけど、
ファイルの容量ってどれぐらいになるのですか？
容量によっては走らして見たいと思ってるんですけど。
- 215 ：音楽侍 ◆NtVkSITE ：01/08/29 13:21 ID:j/vYHKaU
- >>214
走らす板によって違うと思いますよ。
techで15.5MB程度ですかね？
- 216 ：名無しさん＠お腹いっぱい。 ：01/08/29 13:27 ID:y.SJYiFg
- >>215
了解です。
cygwinで走らせて見ます。
- 217 ：名無しさん＠お腹いっぱい。 ：01/08/29 14:06 ID:nl0FB/..
- ＞213
まあ、ビジネスの話については、ひろゆきに代わりの広告主見つけてくれ
としか言えないですけどね。あとは夜勤さんガンバ！かな？
とりあえず、Bigサーバのイメージダウンにならない形でやらないと
本当に撤退って可能性もあるので、それだけは避けないと。
にしても最近一番疑問だったのは、PROXYに対する対応。
PROXYを使うのが、本来の目的であるキャッシュ効果よりも、
荒らしがしやすい事の方が強調されて、２ｃｈでPROXYつかうのは、
なにか後ろめたい事のような風潮になってたように思いますね。
ところで、普通のPROXYなんかと比較すると、どのくらい効果が違うんでしょうかね？
主にアクセス集中時のケースで、３者の比較が出来ればいいかも？
- 218 ：Perler ◆GSi39OA6 ：01/08/29 14:13 ID:qGdmeavk
- >>217
今回の場合、キャッシュすべきものがかっちり決まってるので、
mirror.plの方が効率が高いでしょうね。
あと、汎用のHTTP-Proxyだと、.datではなくHTML化したものを取ってくるので、帯域を
余分に喰うことになりそうです。
- 219 ：Perler ◆GSi39OA6 ：01/08/29 14:17 ID:qGdmeavk
- とりあえず、私の環境ではmirror.plは順調に動いています。
昼はアクセスが少ないためもあって、1分ごとの起動で、1回の取得が数秒と、
かなり快適なミラーリングになっています。
あとは、コマンドライン引数で板やサーバーの指定が出来るようにして、
その後.datをgzipで保存するように対応したいです。
- 220 ：山師さん ：01/08/29 15:40 ID:qc5beSto
- 6ヶ月限定らしいが2600円で結構使えそう＞開発用に
どうよ？
http://prime-jp.com/host/advance.html
- 221 ：素人さん ：01/08/29 16:28 ID:W.7THPBI
- Big の外の帯域制限の緩い鯖に Apache proxy かなんか置いて、www.2ch.net のA レコードはそっちを指してもらうってのじゃダメなの？
- 222 ：名無しさん＠お腹いっぱい。 ：01/08/29 16:49 ID:iU.Fd0UU
- >>221 その場合はproxy/cacheじゃなくて「ミラーサーバ」になるでしょう
でも その「Big の外の帯域制限の緩い鯖」はどうするの？
それに 2ch.netのプライマリDNSの設定権限を持ってるのはだれ？
まぁ それがクリアできるのなら「激しく同意」なんだけどね
- 223 ：素朴な突っ込み ：01/08/29 19:06 ID:NvOO2vOY
- あのー、P2Pが本命ではないかと言っておられる人が多いようですが、
2ちゃんの規模でそれをやって、日本の通信回線は大丈夫なのでしょうか。
今の２ちゃんの転送量では大丈夫かもしれないけど、一年後の転送量は・・・
と言うわけで、このスレのプロジェクトが実は本命なのではないかと
思うのですが、どうでしょう？
- 224 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 19:43 ID:DVACnJqw
- >>188自己レス。
寝ぼけてていたらしくて寝言言ってた。申し訳無い。
http://www.tokyo-nazo.net/mirror/dat/tech/index2.html
で、ミラーリングはとりあえずできてるみたいです。
あと、今はうちのweb server使ってるけど、まだグローバルIPに空きが
あるので、2chテスト専用サーバを来月中にはおったてます。128Kbps線
だけど。
>>223
できそうなものはとりあえず全部やってみるのがいいのでは？
その中からいいアイデアが出るかもしれないし。
どれかを本命と決め打ちして、それがこけたらそれこそ致命的だと思う。
- 225 ：名無しさん＠お腹いっぱい。 ：01/08/29 20:06 ID:32goOYrE
- >>158さんのを参考にmirror.plを走らせてみたんですが、
<H1>Connect Error</H1>って出ます。
Vine-2.1.5, perl 5.005_03
なんですが、どうしたらいいでしょうか？
- 226 ：225 ：01/08/29 20:37 ID:32goOYrE
- あー、今windowsマシンにcygwin入れて試したら、
ちゃんと動いてるっぽいです。
原因はperlかなあ？
- 227 ：ターボ戦隊イエロー ：01/08/29 22:07 ID:DVGyRnrk
- >>225 TurboLinuxにのりかえる
- 228 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 23:07 ID:DVACnJqw
- えーと、>>183のドキュメント、eucで書かれてたんでちょっとだけ苦労した(^^;
というわけで、ここに修正して貼るけど、いいよね？
1. アーカイブを展開します。
gzip -dc mirrortest.1.0.tar.gz | tar xvf -
2. read.cgiをbuildします。
cd mirror/test
make -f Makefile
3. read.cgiをコピーします。
cp read.cgi ../dat/test/
4. mirror.plがあるディレクトリに移動します。
cd ../../
5. mirroringを実行します。
./mirror.pl
全てが終わったら動作を確認しましょう。
ブラウザでhttp://(解凍した場所)/mirror/dat/tech/index.html
で、合ってますか？
- 229 ：名無しさん＠お腹いっぱい。 ：01/08/29 23:47 ID:VGLV51Nk
- http://mankomankomanko.virtualave.net/bbs.txt
をbbs.cgiにして、
../dat/test/
に入れても動きますよ。
make出来ない人でもこれで動かせるはず。
- 230 ：anony ◆3XTuRnAc ：01/08/30 00:08 ID:grWs5t1E
- >>228
そんな感じです。清書感謝です。
あと、自分で書いてて＆自分で外から自分ちのミラーにアクセスしてみて
気づいたんですが、bbs.cgiがないと意味がないことに(汗
というか、Perlerさんのmirrorツールが生成するmirrorから
記事にアクセスして「書き込む」をやると、2ch本体じゃなくて
ミラーサーバーの方のbbs.cgi見に行くような感じがするんですが＞Perlerさん
mirrorの仕様上、bbs.cgiは2ch本体のものを見に行かないと
意味がないと思うのですが、read.cgiで生成されるhtml見てると、
そのサーバー上のbbs.cgiを見てるような。
- 231 ：anony ◆3XTuRnAc ：01/08/30 00:17 ID:grWs5t1E
- って、ひょっとして自分がつかってるread.cgiが古いのかな？
2ch-read-currentの中からそれっぽいの最新を取ってmakeしたのだけれど。
- 232 ：anony ◆3XTuRnAc ：01/08/30 00:24 ID:grWs5t1E
- てことで即席ハックで強引に2ch本体のbbs.cgiをつかうように
してみたんですが、やっぱり無理のようでした。って当然か・・・。
- 233 ：名無しさん＠お腹いっぱい。 ：01/08/30 00:33 ID:8gDt9PTM
- >>232
書込みフォームを消して、
書込みボタンを付ける。
で、そのボタンで本家のread.cgiを呼び出す。
ただしls=1で。
これならあまり負荷は掛からないのでは。
- 234 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:09 ID:TfjSc3dw
- >>233
read.cgiがls=0を許容すればもっといいんだけどね。
暫定案としては賛成。
- 235 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:13 ID:Xut3shDo
- >>234
現状のread.cgiはls=2が最小の模様。
ls=1にすると全てを取得しようとする。
- 236 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:17 ID:TfjSc3dw
- >>235
nofirst=true&ls=1なら最終１レスのみ取得できる模様。
- 237 ：anony ◆3XTuRnAc ：01/08/30 01:20 ID:grWs5t1E
- うーん、でも書き込むときにもうワンステップ踏むのって
やっぱ面倒じゃないかと思うんですが。
上の書き込みを見ながらレスを書くとかって普通にやるじゃないですか。
- 238 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:23 ID:TfjSc3dw
- >>237
別ウィンドウで2ch.netのread.cgiを開くようにすればよい。
- 239 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:37 ID:9VE7JjWs
- 恒久対策をうつのなら、
・最大許容転送量に応じた処理能力規制
が必要なんじゃないの。
要は、金融業界でやってるキャパシティ・プラニングが必要。
単に転送データ量が軽いだけだと、
首都高や東名と同じ現象が出るだけではないかい？
（道幅広げた分利用者が増えて混み具合は変らない
→道幅広い分、車がより多く通れるようになってしまう
→車のハバを小さくしたらどうか？これも同じこと
→いまさまざまな板で考えているのはこれに収斂してしまう）
まじめに、キャパシティプラニングを捉えてみないか？
続きを読む
掲示板に戻る 全部 前100 次100 最新50read.cgi ver5.26+ (01/10/21-)