キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug

このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

2 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:37 ID:asPJm1Ug

●２ちゃんねる開発統合スレッド（連絡用）
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998908559&ls=20

●キャッシュ型負荷分散システム開発スレッド （ここ）
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&ls=20

●read.cgi開発スレッド（当面、bbs.cgiの話題も扱う）
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

●動作報告・障害報告スレッド
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

●２ちゃんねるWiki（全体にわたる参照事項です）
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage

3 ：￣ー￣)ノ ：01/08/27 19:40 ID:KeujS.U6

最新スクリプト
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html

4 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:41 ID:0cm50H8s

とりあえず　本家サーバにROMのリクエストが来たら
　　305 Use Proxy
で追い返すって感じですかね？

5 ：　 ：01/08/27 19:42 ID:xheJAhZs

本家サーバにROMのリクエストが来たら
てきとーなキャッシュ鯖に飛ばすんじゃないのかな？

6 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:44 ID:xheJAhZs

基本的には、本家2ｃｈ鯖は、書き込み処理と
キャッシュ鯖への誘導って感じ？？

7 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:46 ID:cn52pBwI

この対応策は、ひろゆきさんの参加が絶対条件ですね。

8 ：￣ー￣)ノ ：01/08/27 19:46 ID:KeujS.U6

ＲＯＭの持ってるキャッシュとの差分だけ送るなんて器用な真似できませんかね
アクセスは専用ブラウザのみにして・・

9 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:47 ID:0cm50H8s

問題は　そのキャッシュをどこに置くんじゃｺﾞﾙｧってとこか......

10 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:47 ID:vN9r/JlA

>>4
302 のほうが良いでしょう。
で、 >>5 が言ってるように
Location: でキャッシュ鯖にとばす、と。

11 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:48 ID:cn52pBwI

いまの２ちゃんねるの運用実績を見る限り、サーバの移転、仕様の変更、新規板の設立などは、よく言えばフレキシブル、悪く言うと前置きや準備なしにいきなり行われています。
こういうシステムになると、相互のコミュニケートが必要なので、ひろゆきさんが参加しないとお手上げでしょう。

12 ：Perler ◆GSi39OA6 ：01/08/27 19:51 ID:95LP96f6

ftp://210.170.170.131/incoming/perler/mirror/mirror.pl

に、ダウンロード専用スクリプトをおきました。こいつをcronで走らせる算段です。

今のところデバッグで、tech板の取得しかしないです。

実行カレントDir以下の、dat/tech/dat/*datにキャッシュファイルを作ります。

このまま実行すると巨大になるので、キャッシュ管理ファイル(index.dat)も一緒に
アップロードしてあります。

./dat/tech/index.dat

に置くと、何個かのファイルしか取得してきません。

現在、index2.htmlの自動生成をやっています。差分取得はさらにその後です。

13 ：4 ：01/08/27 19:53 ID:0cm50H8s

>>10 "302 Found"だと立てるサーバは「キャッシュ」というより「ミラー」と言った方が
しっくりくるけど......まぁ結果的に本家のトラフィックが減ればどっちでもいいんだけど

14 ：￣ー￣)ノ ：01/08/27 19:55 ID:KeujS.U6

２ｃｈへのアクセスは専用ブラウザｏｎｌｙにして
各専用ブラウザにキャッシュ持たせて
まず、Ｐ２Ｐで最も新しいキャッシュを探して
差分を本家サーバーから落とせたら・・・

15 ：名無しさん＠お腹いっぱい。 ：01/08/27 19:58 ID:95LP96f6

>>14
> ２ｃｈへのアクセスは専用ブラウザｏｎｌｙにして
> 各専用ブラウザにキャッシュ持たせて

ここまでは、2ch.net上のread.cgiを消せばかちゅ〜しゃ等が代わりになりますよね。

16 ：￣ー￣)ノ ：01/08/27 19:59 ID:KeujS.U6

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/mirror/mirror.pl
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/mirror/index.dat
アプしときました

17 ：名無しさん＠お腹いっぱい。 ：01/08/27 20:00 ID:HuAyIkhI

つーか、なんで↓でやらないの？
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284

18 ：名無しさん ◆0CYhqCZM ：01/08/27 20:01 ID:6kfMn/mA

>>16
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/mirror/mirror.plは
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/mirror/mirror.txt
にした方がいいのでは？

19 ：名無しさん＠お腹いっぱい。 ：01/08/27 20:03 ID:95LP96f6

>>17
・実質、read.cgi部のミラー化でありP2Pじゃないこと
・既に仕様がある程度固まり、実際に開発に入ったため、仕様策定のスレッドと分ける必要性が
出てきたこと

以上の2つでスレ分けを提案しました。

20 ：￣ー￣)ノ ：01/08/27 20:04 ID:KeujS.U6

>>15
そうですね
で、専用ブラウザにＰ２Ｐの機能を持たせて
各２ちゃんねらー同士で最新キャッシュの問い合わせをしあって
まぁ、とりあえず本家サーバーから落とすのは差分データーのみに出来たら・・・・

でもこれだとキャッシュ問い合わせに時間がかかりすぎるかな？

21 ：￣ー￣)ノ ：01/08/27 20:06 ID:KeujS.U6

>>18
おっしゃる通りです
変更しときました
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/mirror/mirror.txt

read.cgi ver5.26+ (01/10/21-)