■掲示板に戻る■ 全部 1- 101- 201- 301- 401- 最新50

キャッシュ型負荷分散システム開発スレッド

1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug
このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

107 ：aki ：01/08/28 13:16 ID:e.GbBjlw
http://www.gedoh.org/tech/index2.html

108 ：Perler ◆GSi39OA6 ：01/08/28 13:53 ID:0ST40Qqw
>>105
>>107
ありがとうございます。確認しました。
特に問題になるところはないように思えますが、検証お願いできますでしょうか?＞読んでる方々

現在の所、私のローカルでは、

perl -e 'while(1){system("./mirror.pl");sleep(60)}'

というコマンド(というかone-liner)を走らせて自動巡回させてテストしています。
これだけで、とりあえずキャッシュサーバー完成になりますので、
協力者の方、引き続き募集中です。

仕事がまた忙しくなってきたので、Range対応はもうちょっと
遅れそうですが。。。まだRange仕様も半分しか読んでないですし。

109 ：（　´Д｀） ：01/08/28 14:01 ID:naZkn1d.
はずかしながら・・・
ミラーサーバー参加したいけど、具体的にどうしたらいいのか・・・

フレッツ地域からテレホ地域に引っ越しちゃったし。（鬱
今夜試行錯誤やってみますか。

うまくいけば会社の専用線に・・・（もち帯域制限かけますけど・・・

110 ：名無し~3.EXE ：01/08/28 14:28 ID:R/ddTLxM
ミラーのテストをしようとしているのですが、
error: Socket Error
が出るのは何がマズいのでしょう。
このスレをざっと読んだだけなのですが何か重要なことを見落としてますか？

111 ：名無しさん＠お腹いっぱい。 ：01/08/28 14:51 ID:sP0roUeI
rangeとgzip対応が済んでないので
現段階ではかえって負荷かけることになると思います。
gzipはmod_zip導入待ちですが・・・

112 ：Perler ◆GSi39OA6 ：01/08/28 14:57 ID:0ST40Qqw
>>110
サーバーは何を使っていますか?
Windowsにはsocket関連のシステム・コールがないので、
ひょっとしたらそこでコケるかもしれません。

また、サーバーによっては外部への80番ポートへの接続
を拒否してるところもあるかもしれません。

telnetが使えるなら、そのサーバーから

telnet 2ch.net 80

とやってみて、

Trying 64.71.145.43...
Connected to 2ch.net.
Escape character is '^]'.

ここまで表示が出るかどうか試してみて下さい。

あとは、Solaris辺りだと、AF_INET辺りの値が違った
ような記憶があります。

/usr/include/sys/socket.h　だったかを見て違うようなら
適切な値をソースに書き込んでください。

113 ：名無しさん＠お腹いっぱい。 ：01/08/28 15:00 ID:kWMpTnew
この間、ソースのincoming用に公開した所を攻撃して落とすようなヴぁかが
集まってる所だからねぇ、２ちゃんは。

114 ：110 ：01/08/28 16:04 ID:R/ddTLxM
>>112

サーバーというかOSはIRIXです。
外部の80/TCPには接続できます。　出来なければここ見れません＾＾；
AF_INETは合ってました。
socket.hを見た感じでは似たような値がセットされているのでたぶん
この辺りは問題無いのではないかと思います。

となると、やはりsocket関連のシステム・コールが無いのでしょうか
うーん残念。

115 ：Perler ◆GSi39OA6 ：01/08/28 16:23 ID:0ST40Qqw
うーん、IRIXはあると思いますよ。。。＞Socket関連関数
Perlのコンパイル時の問題なのか、構造体のメンバが違うのか。。。

ちょっと私のソースの方も見てみますね。

116 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:38 ID:cccdonUU
共用レンタルサーバでも可能ならミラーサーバ参加したいが。。。
まあ、専用じゃないと迷惑だよな。

117 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:39 ID:bv2vU4Sg
サーバを提供する人が現れないとなると、
このプロジェクトが２chを救うのは、次の消滅騒ぎまでなさそうですね。
次は冬休みかなー

118 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:43 ID:k3Czl6QU
＞Perler様
えと、昨日は一日ダウン＆今会社にいるんで協力遅れてごめんなさいです。
もし必要であれば、今夜家に帰ってからなら稼動実験に参加できます。

あ、210.170.170.131 の持ち主です、はい。

それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。

＃いま会社なんで、時間が取れなくて自分はまとめも出来なくて・・・・。

119 ：名無しさん＠お腹いっぱい。 ：01/08/28 16:52 ID:yjTgjGXo
>>117
ハード的な問題なら、現物寄付でどうにかなると思いますけど
2chのDNSやCGI側での振り分けをBIG Serverが許可してくれるか
難しい問題ですよね｡

勝手にキャッシュサーバじゃ実効が上がらないとおもいますから
現段階で2ch管理の方にここに来てもらって、BIG Serverと話し合う時の
検討事項にしてもらう必要があるでしょうね。

120 ：Perler ◆GSi39OA6 ：01/08/28 17:07 ID:0ST40Qqw
色々返事遅れてます。

mirror.plがchunkedに対応してなかったため、不具合が出てました。
あと、rangeに対応させました。
デバッグ用コードを外してからリリースします。

121 ：Perler ◆GSi39OA6 ：01/08/28 17:50 ID:0ST40Qqw
mirror.plが新しくなりました。

ミラー用スクリプトとしては大体完成に近いんじゃないかと思います。
あとはあぼーん対策だけですね。。。簡単そうなんですが、また仕事に戻って
しまうので、変更は後回しです。すみません。

ftp://210.170.170.131/incoming/perler/mirror/index2.pl.2
ftp://210.170.170.131/incoming/perler/mirror/mirror.pl.2

122 ：Perler ◆GSi39OA6 ：01/08/28 17:56 ID:0ST40Qqw
とりあえず新バージョンは、

Fancy Indexを取得。

そののち、Fancy Indexを参考に1分単位で更新されているファイルを取得。

その際、キャッシュを見て、既にキャッシュがあれば、Rangeヘッダを送信。

。。。という方法を採っています。

現在のところ、piza2のtechをターゲットに10分おきに走らせた場合で、
1回ミラーするのに1分前後に収まっています。

123 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:09 ID:fuFoxE4A
では
サーバ提供者が現れないなら勝手にジオとかに自動的にユーザ登録して
.datをミラーしてしまうってのは？


ミラーしたスレは適当なキーワードと共に
2ch側にアドレスを書き込んでしまう

別班で、Windows用の専用ブラウザかプロキシを作り、そのキーワードを
発見したらミラーを読むようにし、 ファイルサイズに差があれば、その差を
埋める動作をさせる

124 ：Perler ◆GSi39OA6 ：01/08/28 18:18 ID:0ST40Qqw
>>123
それってgeocitiesだとabuseですよね。。。

2chの規模でそれやったら、冗談抜きで威力業務妨害罪とか
に問われそうです。。

http://www.geocities.co.jp/members/info/contents.html
>ホームページをファイルダウンロード専用のページとしたり、
>他のページ（ジオシティーズ内外を問わず）へのリンクをす
>るためだけのページ

125 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:19 ID:cccdonUU
tripod の jump2ch もどうかと思うけど。
ところで、cron が使えるところならミラー可能？

126 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:21 ID:k3Czl6QU
>>125
取り合えず、「root権限がもらえる」という前提は必須かと。
cronだけじゃなくて、色々な事をやらなければいけない事を考えるとね。

127 ：Perler ◆GSi39OA6 ：01/08/28 18:25 ID:0ST40Qqw
>>126
私が作った奴の今の仕様だといらないです＞root権限
特に必要になる状況も思いつかないです。
cronも不要。

while(1){
system("./mirror.pl");
sleep(60);
}

ってのをbgで走らせてほったらかしにしてあるだけですんで。
逆にcronで走らせる間隔が短いと、今のスクリプトだと
二重起動起こしてファイルを潰しあう可能性があります。

128 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:29 ID:cccdonUU
>126
そっか。やっぱり自前か専用じゃないと無理だね。
一応シェルは使える。

129 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:31 ID:cccdonUU
>127
それはそれで鯖管に怒られそうだ…
プロセス切られたりして。

130 ：Perler ◆GSi39OA6 ：01/08/28 18:41 ID:0ST40Qqw
>>128
シェルがつかえるならmirror.plは充分動くよ

131 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:45 ID:6S1uJJBo
だれかホスティング／ハウジング業者とかデータセンタでそれなりの権限もってる
人とかいないのかな？

132 ：375 ◆MsUYMX0E ：01/08/28 18:51 ID:efUShCBo
実は

「2chのような掲示板システムってP2Pで」
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284

でも鯖探してます。
こっちで必要なのは2ch.net に追加する新cgiがテストできる
鯖なのですが、相乗りさせていただくことって可能ですか？

ちなみにcgiの機能としては
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&st=537&to=537&nofirst=true
です。

133 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:54 ID:KihuaPf6
漏れ鯖一台余ってるYO！さくらのパーソナルだけど（ｗ

134 ：名無しさん＠お腹いっぱい。 ：01/08/28 18:55 ID:/foo1b.s
>>131
それなりに権限をもっているだけじゃダメなのよ…。
きちんとしたビジネスプランなり研究プランを示せないことには、
学校・会社では通用しないんで。

なので、比較的いいわけが効く実験環境ならなんとかなるけどって
いう人が多い。

135 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:10 ID:k3Czl6QU
>>127
なるほど。誤解してました。
確かにそのループならroot権限は要りませんね。

136 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:13 ID:cccdonUU
研究にするにしても、大抵の学校のサーバでは無理そう。
少なくてもうちの学校は WIDE にぶらさがってるだけなので転送量的にキツイ。
教授に申請しても ﾊｧ?(ﾟДﾟ) といわれるのがオチだなあ。

やはりサーバ業者の協力が不可欠なような。
キャッシュサーバみたいなのををビジネスにしてる企業に売り込む？
費用対効果が低いのはbig-serverで証明されちゃってるから難しそうだ。

137 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:22 ID:HEWceQCw
ここはThe Internetの基本に立ち返っていっそ米軍に泣きつくとか…

138 ：名無しさん＠お腹いっぱい。 ：01/08/28 19:29 ID:/foo1b.s
>>136
いや、ある程度の数の proxy が立ち上げってくれば
2ch の全てを肩代わりするわけじゃないので大丈夫だとは思う。
ただ、実運用時には個人の趣味の範囲で許される程度からは
外れそう。

ちなみに、ビジネス・研究とは関係なくても netnews の場合
は各会社や provider が NNTP server を自前で用意していた
過去があるけど、これは junet=fj & mail だった名残なのかなぁ?

139 ：音楽侍 ◆NtVkSITE ：01/08/28 19:37 ID:9soq5dsg
お疲れさまです。
現在のindex2.plで吐き出されるデータって、テスト状態のデータですよね？
件名（件数）の件数が10000件以上のものもありますけど。

140 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:01 ID:cccdonUU
>138
ミラー方式だと本体への負荷が高いので、
へたに proxy の数が多いと効果が低くならない？
結局データ自体は本体に集中してる。
最終的には NNTP や P2P だと思う。

141 ：にはん ◆/gWayilU ：01/08/28 20:03 ID:rXhYdVC.
VLAN切ってストレージサーバを用意するとかじゃダメかねぇ。

142 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:07 ID:/foo1b.s
>>140
read access が極端に多く、traffic が問題となっている
状況ならば、proxy が多くてもそうは問題にならないでしょう。

いざとなったら squid のように proxy 間で data のやり取り…。

#って、そりゃ NNTP 化するのとほぼ同義だな。

143 ：にはん ◆/gWayilU ：01/08/28 20:12 ID:rXhYdVC.
>>142
要するにここでのproxyの役割は、cacheによる高速化ではなくてdelegationによる
バックボーンの負荷分散、ってことだよね？ >>140 が言っているのは、（更新頻度を考えると
P2Pじゃないキャッシュがほとんど意味をなさない2chで）キャッシュサーバから本体に取りにいく
トラフィックの総計は、今のエンドユーザのトラフィックの総計と大して変わらないのではないか、
という話なんじゃないかなあ？

# でもそれだとproxyの数はあまり関係ないね

144 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:12 ID:cccdonUU
>142
なるほど。だとしても板と時間帯によるね。
ニュー速やラウンジならともかく、
WebProgとかレンタル鯖には必要ないだろうし。
それと朝方は比較的アクセス少ない。

145 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:14 ID:cccdonUU
ちょっと誤解。
キャッシュサーバへのアクセスしか許さないならば、効果はあると思う。

146 ：名無しさん＠お腹いっぱい。 ：01/08/28 20:24 ID:6S1uJJBo
っていうか　cache/proxyというよりdatファイルをコピーしてミラーリング
というのならどうなの？　readよりwriteの頻度の方が低いんだから
カキコがあるたびにdat転送しても　今のreadアクセスよりはトラフィックは
だいぶ少なくなると思うけど

147 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:15 ID:o186web.
＞readよりwriteの頻度の方が低いんだから
次スレに移って一ヶ月以上も経つのに。
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=969471588&st=977
こうゆヤツも救うのかと思うと悲しくなるね…

148 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:17 ID:kWMpTnew
read.cgi は、5.10 になったが。
bbs.cgi は古かった模様…。

149 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:18 ID:/foo1b.s
>>147
おかげで、bbs.cgi の挙動が不審なことはわかったけど:-)

#でも、read.cgi と違って手のうちようがない…

150 ：名無しさん＠お腹いっぱい。 ：01/08/28 21:33 ID:cccdonUU
>147
頭が痛いね…とりえあずスレスト依頼すべきだ。

151 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:15 ID:RfRAQI/.
スマソ　外道ネタ

　一ヶ月借りてその後の退会は自由との事
　「実験だけなら何とか出来ない？」もっともドメイン持っている人じゃないと
　ダメっぽいケド・・・どっちにしても自分で書いてて情けないな・・鬱だ逝ってくる。
『interQまるごとサーバー』は、サーバーを１ヵ月無料で体験できます。
http://www.marugoto-server.com/campform.html?mid=970026
ＣＧＩ／ＳＳＩ／アクセス解析可／NTTネットワークセンター内設置にて320Mbps接続
現在取得済のドメインにてサーバーをお申込み頂きますと、翌日にサーバーの用意ができます。

152 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:22 ID:6S1uJJBo
>>151 それってIPアドレス直打ちじゃダメなのかね？

153 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:23 ID:cccdonUU
悪名高き InterQか…

interＱは詐欺商法（第３版）
http://salami.2ch.net/test/read.cgi?bbs=isp&key=995199180

154 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:26 ID:u7C32C9Y
板を丸ごとじゃなくて、混んでるスレだけでも分散できないかな。
混雑スレ専用proxy。かちゅーしゃなどに組み込んで。
一つのスレに連続投稿すると勝手に起動して、2ちゃんに連絡する。
以後、そのスレを読もうとすると、proxyを経由させられる。
かちゅーしゃに組み込まれたバックドアから2ちゃんが侵入するようなイメージで（ｗ

実況などに抑止効果があると思う。巡回ソフトには効果ないけど。
2ちゃん側の変更がどの程度になるのか全然分かりませんが。

155 ：にはん ◆/gWayilU ：01/08/28 22:27 ID:rXhYdVC.
多分俺と同じ状況で歯痒い思いをしている人はたくさんいると思うのだが、
俺んとこはフレッツADSLで固定グローバルIPを8つもらえるサービスを使っていて、
現に稼動しているApacheがあるので、テストだけだったらIPbasedなVirtualHostで
環境を提供することも出来る。DNSラウンドロビンの実験用にVIPを振ってそれ様の
namedを上げたりしてもいい。でも、問題なのはドメインネームが.netだから個人情報が
駄々漏れになってしまうんだよ……(;´Д`)

156 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:30 ID:Os46TJAs
>>155
IP8個ならその時点で駄々漏れじゃん

157 ：にはん ◆/gWayilU ：01/08/28 22:31 ID:rXhYdVC.
>>156
日本の一般用whoisでは電話番号とかは出ないじゃん。

158 ：（　´Д｀） ：01/08/28 22:42 ID:2aE5H8v6
>>118
>それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
>もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。

漏れのやった（やっている）手順
1:最新のindex2.plとmirror.plをGET
2:２つのファイルを/usr/local/etc/www/data/に移動し
　実行できるようにchmod
3:data以下にdat/tech/datを作る
　（パーミッションは777でやっちゃったよ。）
4: ./index2.pl tech
5: perl -e 'while(1){system("./mirror.pl");sleep(60)}'

今現在取り込み中・・・


問題があったらメールなりで指摘してくれ。
環境は自宅鯖、Pentium166Dual(藁　FreeBSD-4.3-stable apache-1.3.20

ahoahodqn@hotmail.com

159 ：名無しさん＠お腹いっぱい。 ：01/08/28 22:42 ID:/foo1b.s
>>157
そうなんだよね。ヲレの場合、whois db を更新していないので
実家の電話番号が出てきちゃうんで、とんでもない大問題なのだ…。

160 ：（　´Д｀） ：01/08/28 22:45 ID:2aE5H8v6
鬱氏
/usr/local/etc/www/data
↓
/usr/local/www/data

まぁとにかくApacheのdataディレクトリ

161 ：天才東大医学部５回生 ：01/08/28 22:55 ID:rpp3OriI
----------------------------------------------------
*******************2chが閉鎖？ﾜﾗﾀﾖ******************
----------------------------------------------------
ネットキャンサーが自らのトラヒク負担でアポトーシスだと。(藁
死んで当然death。消えて当たり前田のクラッカーだよ。
何？クラッカーじゃなくてハッカー？（ﾌﾟ
UNIX板のノータリンはハッカーとは呼べないだろ。
普段はトゥール・クラッキングでオナってる偽ハッカーのくせに。（はぁと
**********************************
-----UNIX板の連中なんざ、芋虫------
**********************************
みんなで協力してます？ﾊｧ？死ねば？
お前らの発言とも思えないが？（＾＾；）
偽善と欺瞞、傲慢に独善。自分たちがしてきた行為を
振り返ってみな？胸に手を当ててよく考えろ。
そうすれば、2ch閉鎖が世界のためだと気づくはずだＹＯ！

最後に。UNIX板のプログラマはヘタレ。
お前らの吐き出すコードはムダとバグの塊。
もうママゴト・プログラミングなんてやめたら？みっともないよ。

162 ：anony ◆3XTuRnAc ：01/08/28 22:58 ID:cmJDCZ/M
＞158
感謝！
っていうか、「なんでmirror.pl動かんのじゃー！」とか苦闘してて(汗。
先にindex2.plを動かさんと行けないってのを忘れてました。

ご指摘感謝。いま動いてます＞mirror.pl

163 ：anony ◆3XTuRnAc ：01/08/28 23:02 ID:cmJDCZ/M
あ、すいません、>>162はいわゆる「369」です。

164 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:13 ID:Aid0VNNU
ミラーサーバ案が頓挫しそうな雰囲気ですねぇ。

2chをNNTPに載せるという案を散見しますが、具体的にどうするかという話が
全然出てこないですね。状況は逼迫してると思われるので、急いで実現可能な
方法が必要だと思うんです。NetNewsのシステム自体は枯れているので、それ
をそのまま使うというのは現実的な話だと思います。ただし、現在の2chのシ
ステムをそのままNetNewsに移行するのは難しいと思います。やるとすれば、
2chとは別の、2ch的ポリシーを持ったトップカテゴリを作るというあたりが落
としどころではないでしょうか。

仮に、2ch.* というトップカテゴリを作るとして、これに属するGroupはすべて
moderatedにします。moderatedとはどういうことかというと、投稿した記事は
一旦moderatorにメイルで届きます。通常はmoderatorが検閲し許可した記事を
代理投稿しますが、2ch.* では匿名化のために使います。moderatorに届いた
記事はスクリプトで From: nobody@invalid (名無しさん) みたいに書き換えて
投稿します。

サーバ側に関しては、とりあえず自分のマシンに 2ch.* を作って、OPEN NNTP
として運用を開始し、同時にpeerしているサイトに配送を働きかけます。他に
希望があれば、どことでも無条件にpeerします。

クライアント側に関しては、NetNews用のクライアントを使う必要がありますが、
OutlookやNetscapeが使えるので障害は少ないと思います。Webインターフェイス
が必要であれば勝手に作ってください。

こんな具合で始めたらどうでしょうか。

165 ：ガンガン荒らすぞゴルァ ：01/08/28 23:16 ID:Y4zr4Mqs
馬鹿プログラマー死ね！！

166 ：ガンガン荒らすぞゴルァ ：01/08/28 23:19 ID:Y4zr4Mqs
>>161
激しく同意

167 ：anony ◆3XTuRnAc ：01/08/28 23:20 ID:cmJDCZ/M
えと、ftpサーバーの
incoming/2ch-read-current/
以下に、

mirrortest.tar.gz
mirrortest.doc

というファイルを置いておきました。mirror実験を開始するための
セットと、その使用方法というかつかい方、というところで、
簡単なセットとマニュアルをおいておきました。

なにか間違いとか不備があったら突っ込みお願いします。

168 ：天才東大医学部５回生 ：01/08/28 23:21 ID:rpp3OriI
>>166
僕は荒らしをしているとは考えていない。
そうではなくて、真実を述べている。

169 ：天才東大医学部５回生 ：01/08/28 23:23 ID:rpp3OriI
>>167
全般的にカス。コーディング。やめれば？

170 ：名無しさん＠Ｅｍａｃｓ ◆oQwux7a6 ：01/08/28 23:42 ID:E.ArZ2us
mirror.pl.2 ですが、HTTP/1.1 のデフォルトは持続型接続と
なっているのでファイルをダウンロードしてから Apache が
タイムアウトで接続を切ってくれるまで待つようになります。

Connection: close を送出するとダウンロードが完了したら
即座に Apache が接続を切ってくれるのでミラーリングが
早くなります。

ほんとは持続型接続をうまく利用すべきでしょうけど・・・。

--- mirror.pl.2.orig Tue Aug 28 22:58:33 2001
+++ mirror.pl.2 Tue Aug 28 23:05:11 2001
@@ -322,6 +322,7 @@

###### GET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf ;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf . $crlf;
1;
}
@@ -336,12 +337,14 @@

###### Range付きGET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf;
print S "Range: bytes=$range-" . $crlf . $crlf;

### debug..
&green;
print "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print "Connection: close" . $crlf;
print "Host: $servername" . $crlf;
print "Range: bytes=$range-" . $crlf . $crlf;
&nomal;

171 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:44 ID:u7C32C9Y
NNTPは懐古趣味とか言ってみる

172 ：名無しさん＠お腹いっぱい。 ：01/08/28 23:55 ID:lMUSoYms
ＤＱ−−−−−−−Ｎ

173 ：名無しさん＠お腹いっぱい。 ：01/08/29 00:22 ID:TrXIg0dU
NNTPウザイ

174 ：743 ：01/08/29 00:27 ID:F1mQSOi6
＞173
昔、ひろゆきさんが「バケツリレー式のNetNewsなんて、ぶっ潰そう！」
なんて言ってた頃もあったけどねー。;-P

175 ：（　´Д｀） ：01/08/29 00:33 ID:iNsPkFvk
index2.plとmirror.plをつかっていろんな板を自鯖に保存したくなってきた・・・

176 ：743 ：01/08/29 00:49 ID:F1mQSOi6
＞175
そう思って皆がミラーし始めて、転送量上がるんじゃないの？

177 ：anony ◆3XTuRnAc ：01/08/29 01:03 ID:TkQkeuao
＞mirror.pl
無事動いてます。index2.htmlからの読み込みなどもオッケーのようです。
IRC経由で友人に頼んで動作確認してもらいましたが、読めるみたいです。

あとは、「このパッケージがあれば動作確認ができるぜ」っていう
アーカイブとドキュメントを書けば良いのかな。
それと、なにげにディレクトリ階層をちゃんと2ch風に合わせないと
だめなんだろうな、という話も考えなきゃ・・・・。

178 ：（　´Д｀） ：01/08/29 01:16 ID:iNsPkFvk
>>176
もちろんミラーサイトから・・・（笑


うーん、次はread.cgi・・・どうやるんだ？

179 ：名無しさん＠お腹いっぱい。 ：01/08/29 02:03 ID:kUOQxvzM
とりあえずmirrortest.tar.gzを自分のサーバーのhttpdルートに解凍して
mirrorフォルダは作りました。あとはmirror.plを実行すればいいんですよね？

180 ：anony ◆3XTuRnAc ：01/08/29 02:07 ID:TkQkeuao
>>179
あとは、read.cgiを何とかしてmakeして、って作業が必要かと思います。
閲覧にはやっぱりread.cgiをつかいますので。

181 ：名無しさん＠お腹いっぱい。 ：01/08/29 02:12 ID:kUOQxvzM
>>180
read.cgiを何とかって・・・どうするの？(^^;
makeはできるけど、どのファイルなのか。
もう一個のほうのプロジェクトで開発してるんでしたっけ？

182 ：Perler ◆GSi39OA6 ：01/08/29 02:14 ID:44.z9PPA
みなさん検証ありがとうございます。
Connection: close
以外の不具合は見つかっていないでしょうか？
Connection: closeに関しては、次バージョンで取り込みます。
その前にkeep-aliveに対応したいところですが。

183 ：anony ◆3XTuRnAc ：01/08/29 02:18 ID:TkQkeuao
>>179
てことで、「必要なもの一式」をまとめてみました。
つまり、「mirror.plを実行する環境」のほかに、「read.cgiを動かす」
こともできなくてはなりません。

ということで、そのアーカイブセットとドキュメントを

ftp://210.170.170.131/incoming/mirrortest/

の中に置いておきました。

184 ：anony ◆3XTuRnAc ：01/08/29 02:22 ID:TkQkeuao
＞Perlerさん
えと、バグというか、不具合というか。

自分はいま、perlerさんが軽く紹介してくれた一行スクリプトを走らせているのですが、
index2.htmlの構築の段階で予想外に時間がかかってるので、
sleep(60)が意味をなしてない感じです(^^;;。

mirror.plの実行終了から60秒じゃなくて、mirror.plの起動から
60秒待って、という感覚なんですが、perlの使用ってこんなんじゃ
ないですよね？

つまり、waitなしでひたすら実行されてしまうように見える、って
ことなのですけれども。

あと、先ほどあげましたmirrortestのアーカイブとかドキュメントとかで
不備がありましたらぜひご指摘ください。

185 ：anony ◆3XTuRnAc ：01/08/29 02:35 ID:TkQkeuao
えと、明日も仕事なんで、とりあえず自分はここらで寝ます_(..)_
また明日の晩まで実質的には動けません・・・・。

186 ：179=181 ：01/08/29 02:37 ID:kUOQxvzM
実行してみた。
一応確認だけど、ドキュメントの cd mirror/dat/test
cd mirror/testですよね？（Makefileとソースがそこにあるので）
実行したところzlib.hがなくて動作せず。
探さないと・・・。

187 ：Perler ◆GSi39OA6 ：01/08/29 02:38 ID:44.z9PPA
>>184
うーん、mirror.plが時間がかかるのは分かるんですが、index2.html
の生成は一瞬のはずですが。。。
ただ、index.datを入れない状態だと、2ch.netのtechのすべてのログ
をダウンロードするため、ものすごい時間がかかります。
昨日あたりのindex.datをサーバーにあげてあるので、それを入れる
とダウンロード時間はかなり少なくなります。
１分ごとの起動だと、mirror.plは１分くらいの時間は食いますが、それは
現仕様では仕方ないです。

188 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 03:37 ID:kUOQxvzM
>Perler
ミラーテスト成功しました。
index.html書いてないので、datディレクトリのファイルを直接参照したんですが・・・。
http://www.tokyo-nazo.net/mirror/dat/test/read.cgi?bbs=tech&key=997788843
です。
また明日の夜に覗きに来ます。
私に協力できそうなことがあったら協力しますので。

189 ：￣ー￣)ノ ：01/08/29 09:12 ID:c40YJ4Sg
ＦＴＰサーバー落ちてませんか？

190 ：anony ◆3XTuRnAc ：01/08/29 09:13 ID:4vxuBj56
＞perlerさん
すいません、ちょっと勘違いしてました。
切り分け様にprint文要れて動かしてみたら、ちゃんと動いていることを確認できました。
たびたび誤解してごめんなさいです。

えと、今日一日家に戻るまで動かしておきます。
http://210.170.170.118/mirror/dat/tech/index2.html

・・・って、ftpサーバのアドレスも変わってますのでご注意を。
今IP表示させて気づきました(汗

191 ：anony ◆3XTuRnAc ：01/08/29 09:15 ID:4vxuBj56
>>189
落ちてる、というよりも、IPが変わってます。
ADSLなもので、たまにこうなります(汗。
あ、メインのftpサーバーは落ちてません。

＃今朝の6:30ごろに、IPが変わったらしいです。

192 ：音楽侍 ◆NtVkSITE ：01/08/29 09:27 ID:j/vYHKaU
>>190
こうやって動いてみると、けっこう生々しく現実味がありますね。
ただ、完全ミラーは時間的に厳しいですかね？
サーバ／ジャンル単位に複数のサーバでサポートしたりするのがいいのかもしれない。

193 ：名無しさん＠お腹いっぱい。 ：01/08/29 09:35 ID:nl0FB/..
>>42
>ただし、全板キャッシュするとそれなりの容量と帯域を使うので、最大で数百人〜数千人が
>利用しないと旨みが少ないし、板ごとのキャッシュじゃ2ch.netに振り分けの負荷が掛かる。

2chからはランダムでキャッシュ鯖に転送処理を入れて、
キャッシュ側で全板対応してなかったら、分担リストを元に
更に別の鯖に転送するっていうのは駄目でしょうか？

そうすれば、２ｃｈ側では、たまに鯖の生存確認して、
転送リストを更新する程度の処理で済むと思います。
もっとも、登録は信頼性確保の為手動でもかまわないかも？

キャッシュ側でも、自分のところで対応してなければ、
そのまま丸なげしてしまえばいいので、簡単だと思います。

とりあえずテストの段階では転送部も独立可能な気がしますが、
というか登録が少ない内は、自動転送なんかしたら
キャッシュ鯖の方がパンクしてしまうだろうし。
まあ、ユーザーがキャッシュ鯖のアドレス知ってれば必要ないのか？。

負荷の少ないランダム転送ってどうやって実現すればいいですかね？

194 ：音楽侍 ◆NtVkSITE ：01/08/29 09:39 ID:j/vYHKaU
>>193
読み出しサーバを専門単位かサーバ単位に複数用意しておき、そこを一次サーバにする。
２次サーバがそれら一次サーバ各自から孫になって情報をもらうようにすると、２ちゃんサーバの負担は軽減しますかね。

195 ：にはん ◆/gWayilU ：01/08/29 09:41 ID:OYkF597Y
>>193
膨大なコストがかかってもいいなら、ロードバランサーを導入すべき。
それではダメなのであれば、DNSラウンドロビンのルールを有人監視 or cronで自動判定
して書き換える、とかする、って感じだろうか。有人監視は有り得ないのでたとえば定期的に
ESTABLISHEDなコネクション数なりプロセス数なりにrequest->replyなチェックをかける、
とかかなあ。

196 ：音楽侍 ◆NtVkSITE ：01/08/29 09:49 ID:j/vYHKaU
ただ、ユーザが個別にアクセスしなくなるのと、常時一定のトラフィックが発生することをはかりに掛けてみないと何ともいえませんね。
直感的には、各サーバから読み出した方が良さそうだと思うんだけど、
「だったら、bbs.cgiなども設置して、Big-server解放してあげたらどうなのよ？」っていう、すごく根元的な疑問を持ってしまうのです。

197 ：にはん ◆/gWayilU ：01/08/29 09:59 ID:OYkF597Y
>>196
話が堂堂巡りしてしまうのだけど、まず以下のことがはっきりしないことには負荷分散
（トラフィック分散に限ってもいい）モデルも作れないと思う。

・フロントエンドサーバ群をどこにどれだけ (Big内か分散させた外部か不特定多数かなど) 置くのか
・投稿はどこで受けるのか
・ユーザに対してはどこにアクセスさせるのか
・大もとの記事データは分散して同期させるのか、集中管理するのか
・既存の技術の組み合わせなのか新たに作るのか

これには技術的な話じゃなくて、第8、第9レイヤの話が多々からんでくるから
今ここで話していても埒があかないんだよね。

198 ：音楽侍 ◆NtVkSITE ：01/08/29 10:06 ID:j/vYHKaU
>>197
ごめんなさい、おっしゃるとおりちょっと混乱気味になりますね。

まず、現状を何とか改善しようと言う方向があって
read.cgi改良スレッド
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848
が動いてますね。
で、その延長上で、bbs.cgiも最適化＆改良してしまいたいという流れで
bbs.cgi 改良案スレッド
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988
があって。
いっそのこと、全く新しい仕組みでやったらどうなの？っていうながれで
P2Pでサーバに依存しない掲示板を作るの巻
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998915621
なんかがあって、で、このスレはというと、
datをミラーリングして、トラフィックの集中化をさけようよ、っていうことですよね？

199 ：音楽侍 ◆NtVkSITE ：01/08/29 10:10 ID:j/vYHKaU
>>198の続き
で、ふと思ってしまったのが、
至急的緊急避難措置として、このスレの考え方は非常に「あり」なんですけど、恒常的運用となると”？”であると。
それだったら、板ごとに別サーバをもうけることによってBig-serverさんの困窮を救った方が現実的だなぁ、と。
だって、データのトランザクション大きすぎるし、レスの即時性考えたら、read.cgiとbbs.cgiは同じサーバで動いているのが最良なんですし。
そんな事が言いたかったのです。

200 ：にはん ◆/gWayilU ：01/08/29 10:10 ID:OYkF597Y
もともとはプログラム板のP2P-cacheな提案のスレだったのではないかなあ、このスレは。
流れ的には単なるトラフィック分散全般の話になってるけど。

201 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:12 ID:iU.Fd0UU
>>199 同意　だけどどっちにしろそのサーバの置き場所を確保しないことには
どうにもならないと......

202 ：にはん ◆/gWayilU ：01/08/29 10:14 ID:OYkF597Y
>>199
本当は規模を考えたらやすやすな構成で分散しようということ自体にかなりの無理があるから、
結局のところ大まかに言って今のところ３択だよね。

・プログラム板のP2P-cache

・「2chサーバ群」ってのは、結局のところただの自動 redirect 装置に成り下がる
　（つまり音楽侍さんが逝っているのはこれだと思う）

・本体はあくまで2chサーバ群にあって、それをdelegationさせる事でトラフィック分散を図る

203 ：音楽侍 ◆NtVkSITE ：01/08/29 10:15 ID:j/vYHKaU
>>200
それとはちょっと違いますですよ。
そっちで進んでいるのは、
P2Pでサーバに依存しない掲示板を作るの巻
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998915621
です。
あ、今度は私の誤解かも。
最初は、perlerさんが、
「mirror.plみたいなのはすぐ出来るよ。というか、もう書いちゃったよ」
ってところからこのスレが立ったんだと思います

204 ：にはん ◆/gWayilU ：01/08/29 10:18 ID:OYkF597Y
>>203
あら、こちらの誤解かも。>>1に

「このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
　負荷分散システムを開発するスレッドです。 」

って書いてあるからてっきり。

205 ：音楽侍 ◆NtVkSITE ：01/08/29 10:19 ID:j/vYHKaU
>>202
そうですね。
もっと言っちゃうと、ただのDNS（と、正面玄関）になっちゃうのが、本家2ch.netサーバだって事ですね。
その移行的側面として、perlerさんのmirror系スクリプトは超強力なツールだと思いますけど。

いずれにしても、トランザクションコストとして、２ｃｈレベルのサイトで、ミラーリングはあり得ないんでは？
なんか、IBMと国際的機関レベルの国家予算的プロジェクトと同質の規模だと思うんです。今すでに。

206 ：にはん ◆/gWayilU ：01/08/29 10:26 ID:OYkF597Y
>>205
そうなると、ひろゆきとBigは2chから降りなければならなくなってしまうんだよね。
Bigにとってのメリットは2chがさくさく動いているということを宣伝に使える、
ということだから、そのうまみがまったくなくなってしまう。

ひろゆきはひろゆきで、自分はなにも管理していないのに「２ちゃんねる」の代表として
今後も訴訟の際などには呼び出される格好になる。そんな馬鹿らしいことは誰だって嫌だろう
（いまの状態も馬鹿らしいといえばそうなんだけど）。

俺が技術レイヤだけではこの話は堂堂巡りになる、というのはその辺もあるんだ。

純粋に技術話として、大規模な「Webの」BBS群をどう取り扱うか、と言う話をしてみる、
と言う事にも十分意味はあると思うけど、少なくともそれはいまの2chには生かすことは
出来ないと思う。

207 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:31 ID:nl0FB/..
>>194
やっぱり、ラウンドロビンの定期的変更が一番単純でしょうか？

とりあえず、キャッシュ鯖に、アドレスと使用可能な回線容量かなんかを申告させて
それにあわせてラウンドロビンのリストを作成するって感じかな？
リストのサイズは固定にして、余裕が有る鯖は複数回、普通のところは１回呼ぶとかで
負荷調整を図ると。
鯖の事は全然分かってないので知ったかぶりなんですけど、
これってBINDレベルで対応可能って事ですよね？。

>>206
とりあえず、今Big-server以外の鯖って残ってましたよね？
そっちに応用すればいいんじゃないでしょうか？

208 ：音楽侍 ◆NtVkSITE ：01/08/29 10:33 ID:j/vYHKaU
>>207
そのBig-server以外の2chサーバってさ、昨日ラウンジ一個が引っ越しただけで破綻したんだよ。

209 ：音楽侍 ◆NtVkSITE ：01/08/29 10:37 ID:j/vYHKaU
>>206
それはその通りです。
そしてそれは、私たちが話しても憶測と推定とやがてﾊﾞﾘｿﾞｰｹﾞﾝになってしまうので、みんなやらないのです。
だって、ひろゆきさんの公式コメントないし（今の段階ではない方が私もいいと思ってます）。
私たちはこうやってがんばったりしちゃってますが、ひろゆきさんからみれば、ただのいち２ちゃねらーなだけですから。

そういうことも含め、ひろゆきさんの存念を確認したい、っていうのが夜勤さん上京の本音じゃないかと私は思っているのですけれどね。

210 ：Perler ◆GSi39OA6 ：01/08/29 10:47 ID:qGdmeavk
現在のミラーの様子

http://202.247.106.47/tech/index2.html
http://www.gedoh.org/tech/index2.html
http://210.170.170.118/mirror/dat/tech/index2.html ＜− 全コンテンツ取得しているようです

特にanony氏のミラーは2ch本体の代わりとして充分機能している気がします。

>>199
私が考えている展望を書きます。

まず、2日前くらいの予告とともに、2ch.netのread.cgiを板ごとに順次止めていきます。

ここで、予告期間中にわかに有志でmirror.plを走らせる人が増えてくるんじゃないかと思います。
(逆に誰もミラーしてくれなければこの話は終わりです。)
read.cgiが止まった板のミラーが出来たら、さらに別の板のread.cgiを止めていきます。

実際、2ch.netのread.cgiを止めてしまわないと、有志は増えないんじゃないかと思っています。
2ch.net上でread.cgi動いてる時点ではmirror化のメリットは見えてこないですからね。

2ch.netの各サーバーへの振り分けは、当初は考えなくて良いと思っています。
振り分け自体も、現在の2ch.netの対応を見る限り、
ラウンドロビンを2chが早々に導入してくれるという事も考えにくいので、
有志にサーバー一覧(リンク集)をまとめてもらう方向になるのではないかと思います。

サーバーが増えれば、今度は負荷を考えてランダムにミラーサーバーへforwardする
CGIを作って、それをまた有志サーバー上で走らせて対処するのが現実的ではないかと。

これらがうまく機能しなくてもかちゅ〜しゃがあるわけですし。

2ch.netの役割は、玄関と、bbs.cgiによるログ管理のみ、という事になってしまいますが。。。

即時性については、ミラーリングの手法を変える事で対応できるんじゃないかと思います。
現在はHTTPでやってるんでオーバーヘッドが大きすぎますが、

将来的には、2ch側に配信専用サーバーを立てて、クライアント(キャッシュ側)からソケット張りっ
ぱなしにしておき、書き込みがあったら2ch側からデータをputしていくようなシステムに
なるんじゃないかと思います。

GETリクエストを送らなくても勝手にどんどんKeep-Aliveでデータを送りつけてくるHTTPサーバー
みたいなものを想像して頂ければ分かりやすいかと。

211 ：名無しさん＠お腹いっぱい。 ：01/08/29 10:54 ID:nl0FB/..
>>208
だからこそ、分散処理すれば落ちにくくなるって話なのでは？

とりあえずは、避難所レベルの資源を持っている人に協力してもらって
一次キャッシュサーバになってもらうのが現実的かな？

そのうちP2Pのほうが形になってくると思いますし、
一時しのぎができればいいのでは？。

問題は、管理サイドの考えが見えてこないことなんですが、
２ｃｈがこの規模を維持するにはどう考えても分散が必要ですから
まあ、最悪の場合、避難所のサポートシステムとしても有効ではないかと思いますし、

212 ：Perler ◆GSi39OA6 ：01/08/29 10:56 ID:qGdmeavk
前にも書いたんですが、現在サーバーは生きていて、read.cgiだけ止まってる
板ってあるんでしょうか?

あるのなら、そこをミラー化させるのが一番よい実験題材なのですが。

213 ：音楽侍 ◆NtVkSITE ：01/08/29 10:57 ID:j/vYHKaU
>>210
Perlerさん、おはようございます。
んー、そうですね。即効性アクセス削減案と言うところまでは異床同夢です。
P2Pについては、クライアントの開発が絡みますので、3-6ヶ月はかかると思います。
早ければ10月にはBig-serverさんは手を引く可能性がありますので、間に合いません。
また、ミラーリングの精度を上げるのも限度がありますし、ミラーするくらいだったらbbs.cgi語とおいたって一緒じゃないか、っていう発想だってあるです。
夜勤さんは９月の帯域料金は50Ｍまでしか支払えないって明言していますし。

214 ：名無しさん＠お腹いっぱい。 ：01/08/29 13:20 ID:y.SJYiFg
キャッシュサーバーですけど、
ファイルの容量ってどれぐらいになるのですか？
容量によっては走らして見たいと思ってるんですけど。

215 ：音楽侍 ◆NtVkSITE ：01/08/29 13:21 ID:j/vYHKaU
>>214
走らす板によって違うと思いますよ。
techで15.5MB程度ですかね？

216 ：名無しさん＠お腹いっぱい。 ：01/08/29 13:27 ID:y.SJYiFg
>>215
了解です。
cygwinで走らせて見ます。

217 ：名無しさん＠お腹いっぱい。 ：01/08/29 14:06 ID:nl0FB/..
＞213
まあ、ビジネスの話については、ひろゆきに代わりの広告主見つけてくれ
としか言えないですけどね。あとは夜勤さんガンバ！かな？
とりあえず、Bigサーバのイメージダウンにならない形でやらないと
本当に撤退って可能性もあるので、それだけは避けないと。

にしても最近一番疑問だったのは、PROXYに対する対応。
PROXYを使うのが、本来の目的であるキャッシュ効果よりも、
荒らしがしやすい事の方が強調されて、２ｃｈでPROXYつかうのは、
なにか後ろめたい事のような風潮になってたように思いますね。

ところで、普通のPROXYなんかと比較すると、どのくらい効果が違うんでしょうかね？
主にアクセス集中時のケースで、３者の比較が出来ればいいかも？

218 ：Perler ◆GSi39OA6 ：01/08/29 14:13 ID:qGdmeavk
>>217
今回の場合、キャッシュすべきものがかっちり決まってるので、
mirror.plの方が効率が高いでしょうね。
あと、汎用のHTTP-Proxyだと、.datではなくHTML化したものを取ってくるので、帯域を
余分に喰うことになりそうです。

219 ：Perler ◆GSi39OA6 ：01/08/29 14:17 ID:qGdmeavk
とりあえず、私の環境ではmirror.plは順調に動いています。
昼はアクセスが少ないためもあって、1分ごとの起動で、1回の取得が数秒と、
かなり快適なミラーリングになっています。

あとは、コマンドライン引数で板やサーバーの指定が出来るようにして、
その後.datをgzipで保存するように対応したいです。

220 ：山師さん ：01/08/29 15:40 ID:qc5beSto
6ヶ月限定らしいが2600円で結構使えそう＞開発用に
どうよ？

http://prime-jp.com/host/advance.html

221 ：素人さん ：01/08/29 16:28 ID:W.7THPBI
Big の外の帯域制限の緩い鯖に Apache proxy かなんか置いて、www.2ch.net のA レコードはそっちを指してもらうってのじゃダメなの？

222 ：名無しさん＠お腹いっぱい。 ：01/08/29 16:49 ID:iU.Fd0UU
>>221 その場合はproxy/cacheじゃなくて「ミラーサーバ」になるでしょう
でも　その「Big の外の帯域制限の緩い鯖」はどうするの？
それに　2ch.netのプライマリDNSの設定権限を持ってるのはだれ？

まぁ　それがクリアできるのなら「激しく同意」なんだけどね

223 ：素朴な突っ込み ：01/08/29 19:06 ID:NvOO2vOY
あのー、P2Pが本命ではないかと言っておられる人が多いようですが、
2ちゃんの規模でそれをやって、日本の通信回線は大丈夫なのでしょうか。
今の２ちゃんの転送量では大丈夫かもしれないけど、一年後の転送量は・・・

と言うわけで、このスレのプロジェクトが実は本命なのではないかと
思うのですが、どうでしょう？

224 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 19:43 ID:DVACnJqw
>>188自己レス。
寝ぼけてていたらしくて寝言言ってた。申し訳無い。
http://www.tokyo-nazo.net/mirror/dat/tech/index2.html
で、ミラーリングはとりあえずできてるみたいです。
あと、今はうちのweb server使ってるけど、まだグローバルIPに空きが
あるので、2chテスト専用サーバを来月中にはおったてます。128Kbps線
だけど。
>>223
できそうなものはとりあえず全部やってみるのがいいのでは？
その中からいいアイデアが出るかもしれないし。
どれかを本命と決め打ちして、それがこけたらそれこそ致命的だと思う。

225 ：名無しさん＠お腹いっぱい。 ：01/08/29 20:06 ID:32goOYrE
>>158さんのを参考にmirror.plを走らせてみたんですが、
<H1>Connect Error</H1>って出ます。
Vine-2.1.5, perl 5.005_03
なんですが、どうしたらいいでしょうか？

226 ：225 ：01/08/29 20:37 ID:32goOYrE
あー、今windowsマシンにcygwin入れて試したら、
ちゃんと動いてるっぽいです。
原因はperlかなあ？

227 ：ターボ戦隊イエロー ：01/08/29 22:07 ID:DVGyRnrk
>>225 TurboLinuxにのりかえる

228 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/29 23:07 ID:DVACnJqw
えーと、>>183のドキュメント、eucで書かれてたんでちょっとだけ苦労した(^^;
というわけで、ここに修正して貼るけど、いいよね？
1. アーカイブを展開します。
gzip -dc mirrortest.1.0.tar.gz | tar xvf -
2. read.cgiをbuildします。
cd mirror/test
make -f Makefile
3. read.cgiをコピーします。
cp read.cgi ../dat/test/
4. mirror.plがあるディレクトリに移動します。
cd ../../
5. mirroringを実行します。
./mirror.pl

全てが終わったら動作を確認しましょう。
ブラウザでhttp://(解凍した場所)/mirror/dat/tech/index.html

で、合ってますか？

229 ：名無しさん＠お腹いっぱい。 ：01/08/29 23:47 ID:VGLV51Nk
http://mankomankomanko.virtualave.net/bbs.txt
をbbs.cgiにして、
../dat/test/
に入れても動きますよ。

make出来ない人でもこれで動かせるはず。

230 ：anony ◆3XTuRnAc ：01/08/30 00:08 ID:grWs5t1E
>>228
そんな感じです。清書感謝です。
あと、自分で書いてて＆自分で外から自分ちのミラーにアクセスしてみて
気づいたんですが、bbs.cgiがないと意味がないことに(汗

というか、Perlerさんのmirrorツールが生成するmirrorから
記事にアクセスして「書き込む」をやると、2ch本体じゃなくて
ミラーサーバーの方のbbs.cgi見に行くような感じがするんですが＞Perlerさん

mirrorの仕様上、bbs.cgiは2ch本体のものを見に行かないと
意味がないと思うのですが、read.cgiで生成されるhtml見てると、
そのサーバー上のbbs.cgiを見てるような。

231 ：anony ◆3XTuRnAc ：01/08/30 00:17 ID:grWs5t1E
って、ひょっとして自分がつかってるread.cgiが古いのかな？
2ch-read-currentの中からそれっぽいの最新を取ってmakeしたのだけれど。

232 ：anony ◆3XTuRnAc ：01/08/30 00:24 ID:grWs5t1E
てことで即席ハックで強引に2ch本体のbbs.cgiをつかうように
してみたんですが、やっぱり無理のようでした。って当然か・・・。

233 ：名無しさん＠お腹いっぱい。 ：01/08/30 00:33 ID:8gDt9PTM
>>232
書込みフォームを消して、
書込みボタンを付ける。
で、そのボタンで本家のread.cgiを呼び出す。
ただしls=1で。
これならあまり負荷は掛からないのでは。

234 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:09 ID:TfjSc3dw
>>233
read.cgiがls=0を許容すればもっといいんだけどね。
暫定案としては賛成。

235 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:13 ID:Xut3shDo
>>234
現状のread.cgiはls=2が最小の模様。
ls=1にすると全てを取得しようとする。

236 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:17 ID:TfjSc3dw
>>235
nofirst=true&ls=1なら最終１レスのみ取得できる模様。

237 ：anony ◆3XTuRnAc ：01/08/30 01:20 ID:grWs5t1E
うーん、でも書き込むときにもうワンステップ踏むのって
やっぱ面倒じゃないかと思うんですが。
上の書き込みを見ながらレスを書くとかって普通にやるじゃないですか。

238 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:23 ID:TfjSc3dw
>>237
別ウィンドウで2ch.netのread.cgiを開くようにすればよい。

239 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:37 ID:9VE7JjWs
恒久対策をうつのなら、
・最大許容転送量に応じた処理能力規制
が必要なんじゃないの。

要は、金融業界でやってるキャパシティ・プラニングが必要。
単に転送データ量が軽いだけだと、
首都高や東名と同じ現象が出るだけではないかい？
（道幅広げた分利用者が増えて混み具合は変らない
　→道幅広い分、車がより多く通れるようになってしまう
　→車のハバを小さくしたらどうか？これも同じこと
　→いまさまざまな板で考えているのはこれに収斂してしまう）

まじめに、キャパシティプラニングを捉えてみないか？

240 ：名無しさん＠お腹いっぱい。 ：01/08/30 01:44 ID:TfjSc3dw
>>239
真面目にやるとしたらプロ技板の手に余りそう。
通信技術板とかに振れないかな。
あっちにはそう言う技術者いるかな。

241 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 01:55 ID:HrH04.b6
>>239-240
少なくとも 2ch.net では、それはやらない方向で。
初期にｶﾞｲｼｭﾂ。
キャッシュサーバー間でそれは、必要かもしれない。

242 ：anony ◆3XTuRnAc ：01/08/30 02:10 ID:grWs5t1E
とりあえず、良いアイディアがでないので、寝ます・・・。
もうちょっといろいろ考えてみたく。

＞娘。さん
実験参加できなくてごめんなさい。

あ、とりあえずミラーサーバーとftpサーバーは
生かしたまま放置プレイしておくので。

243 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 02:12 ID:HrH04.b6
>>242
いえいえ（＾＾；
お疲れさまです。

244 ：あぼーん ：あぼーん
あぼーん

245 ：名無しさん＠お腹いっぱい。 ：01/08/30 02:51 ID:RRvj6jF.
ユニマガ8月号に書いてあったyahoo.co.jpの構成は参考にならんか?

246 ：名無しさん＠お腹いっぱい。 ：01/08/30 03:58 ID:9VE7JjWs
>>241
やらずに可能なんだろうか・・・
今度は有志の維持環境が同様の目に会うだけだと
思うのだが。

247 ：名無しさん ：01/08/30 07:02 ID:9q6FHzvw
>>245

何がどう参考になるのだ？

248 ：245 ：01/08/30 08:52 ID:9Kp01ciI
>>247
負荷分散の仕方とか。
# ならんのならすまそ。そのときは逝く。

249 ：安西 ：01/08/30 08:56 ID:sxla9v.Q
あきらめたらそこで試合終了です。

250 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 17:07 ID:y2CYzMG6
>>246
帯域制限かけるくらいなら、むしろ２ちゃんねる人口を減らす方がまし、という
感じでしょうか。

251 ：anony ◆3XTuRnAc ：01/08/30 19:27 ID:E5ciTOEw
てことで、どうやらPerlerさんのmirror.plも動いているようですから、次のフェイズに移行しませんか？
私が感じてる課題としては、大きいものから小さいものも含めて

・mirrorサーバーからシームレス投稿できたほうがいいと思う。

　「mirror側では投稿フォームを出さず、代りに「投稿する」リンクをread.cgiが作成し、
　そのリンク先は2ch本体のスレッドを別ウィンドウで開いて表示、そのWindowsから投稿させる」
　というアイディアはだされたけれど、やはりシームレスにいけるに越したことはないとは思うんですね。

　となると、「mirrorサーバーに投稿して、mirrorサーバーが即座に本体にpostする」しくみ、ってのが
　必要になると思います。そうなると、やはり投稿のレスポンスなども考えると

　　ミラーが投稿を受け付け→ミラーが本体に投稿→
　　すぐに本体からデータをmirroring(ほかのミラーからも投稿されているかもしれないのでそれをマージ)
　　ミラーの内部のcacheから生成したindex2.htmlを表示

　みたいな方法になると思うのですが、mirrorのときのレスポンスが悪いですし、問題のトラフィックも
　結構ありそうで、解決方法がうまく見つかりません。この線はもうなしで、既出の解決策の方法になるのでしょうか。

・mirror.plなどのディレクトリ構成
　細かいことかもしれませんが、やはり、この手のツールを有志で運用する、しかも「キャッシュとして使ってもらう」
　ということも考えると、ディレクトリ構成を2ch本体に準ずる必要があると思います。

　つまり、
　　　・必要なtarballを、Apacheの$documentrootで展開して動かせば2chと同様のディレクトリ構成となる
　という構成になってることが実は運用というか稼動では結構重要ではないでしょうか。

このあたり、ご意見聞かせていただければ幸いです。

252 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 20:00 ID:KS31DBTQ
>>251
ｶﾞｲｼｭﾂで申し訳ないですが。。。
前半について、ミラーが投稿を受け付けるのは、2ch.netの匿名性、
ミラーサーバーの管理者への信頼等がありますので、難ありかと。
action先を xxx.2ch.net/test/bbs.cgi にして、2ch.net 側で登録した
鯖からのPOSTを受け付ける、というのでどうでしょう。
いちおう、投稿者の行動がミラー管理者に見えにくくなると思うのですが。

253 ：音楽侍 ◆NtVkSITE ：01/08/30 20:06 ID:7UF/vWVo
みなさんおつかれさまです〜
>>252
それを言い出すと、read.cgiでもそうなんですけどね。

254 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 20:15 ID:KS31DBTQ
>>253
そうですね。ただ、利用者の心理的な部分では、読んでるのと書いてるのでは
差が大きいと思います。
書いている場合は、コテハンがわかったり、発言内容とIPが対応したりと、
嫌な感じなことが多いですから。

でも、bbspinkを読んでいる、ってのを知られるのは(ﾟдﾟ)ﾏｽﾞｰかもしれません(笑

255 ：音楽侍 ◆NtVkSITE ：01/08/30 20:19 ID:7UF/vWVo
>>254
pinkですか(笑)なるほど。
気をつけないと、いっぺんip-recordableなcgiかませてから
Locationでとばす不心得者が出る可能性もありますしね(笑)
６〜10行程度のperlで記述可能だし。

256 ：anony ◆3XTuRnAc ：01/08/30 20:27 ID:E5ciTOEw
＞娘。さん
ありゃ、やはりがいしゅつでしたか。失礼しました。

とりあえず、ミラーサーバーでの中間キャッシュにIPさえ残さなければ2chに残るのはミラーの
IPだけってことになるから、何とかなるかなーなどと思ってたんですが、よく考えたらミラー側の
apacheのLogにも残ってしまうんですよね。そのpost用のツールも管理者が改変しないとも限らないと。

やはり「投稿のときにだけは本体にアクセスしてもらう」か、「登録したサーバーからは直接bbs.cgiを呼べるようにする」
しかないのかな。前者だと「面倒だから最初から本体にいこう」とかなっちゃいそうな気もしますが・・・。

257 ：名無しさん＠お腹いっぱい。 ：01/08/30 20:53 ID:stSp5H8A
>>256
2ch.net本体も同じUIにすればいい。
すなわち、read.cgiでは通常投稿フォームは置かないで、
[投稿フォーム]ボタンで別Windowでの投稿というように
シーケンスを統一する。
連続投稿荒らしをある程度抑止できるかもしれないという
期待もある。

258 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/30 21:12 ID:xz66aZYk
ちょっとやり方として可能かどうかはわからないけれど、貼りつけ合成って
できるんでしょうか。
つまり、2chからは&st=1&to=1指定でベースと書きこみフィールドだけ取ってきて、
その中間にキャッシュのデータを挟み込んでやるんです。
これができるなら、1だけは取らなければなりませんが、他は取らなくてもいいです
よね。

259 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:17 ID:stSp5H8A
>>258
IFRAMEを使用すれば可能。ただしUA依存が激しいのでおすすめしかねる。
ついでに、read.cgiに対して&ls=0で0レス取得は提案済み。

260 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:21 ID:kBS5NSxo
いきなりすいませんがプロ技板は閉鎖しちゃったんでしょうか。
read.cgiハックスレを毎日帰宅してから追いかけてたんですが。。ROMですが　(^^
残念〜

261 ：音楽侍 ◆NtVkSITE ：01/08/30 21:23 ID:7UF/vWVo
>>260
かちゅう〜しゃ使ってない？
ブラウザから行くと新しいリンク先わかるよ〜

262 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:34 ID:kBS5NSxo
>>260
ありがとッス、piza2に引っ越してたんですね
板一覧はローカルだったのをすっかり忘れていました　　＾＾
今mirror.plを導入すべくcygwinを設定してます　(ｳｨﾝﾅなんで。)
linuxは何故かNETに晒すのが怖い。。。。んー厨房だ
感謝です

263 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/30 22:09 ID:xz66aZYk
>>259
すまん、私はにちゃんねらーじゃないので、2chをよく知らないんだ。礼儀違
反だったかな？またなんかあったら教えてくださいな。

結論としては>>252のようにbbs.cgiを変えてmirrorサーバからのリクエスト
を受けてもらうのが一番データ転送量が少ないし、その他の問題も少なくて済
みそう、ということでいいのかな。

あとmirror.plだけど、プロセスとして定期的に起動するようなスクリプトも
組みこみが必要ですね。>>158の5のやり方だとログインしっぱなしになるんで。

264 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:14 ID:7fOtYCeU
>263
単に起動するだけだと前のプロセスとファイルを取り合う可能性があるので、
queue に突っ込んで、
前のプロセスの処理が終わってなかったら待つなり諦めるなりの
それなりのスケジューリングをしないと。

265 ：　 ：01/08/30 22:15 ID:7ajzWl22
そろそろ出来た？

266 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:27 ID:tJ.u7wQ2
しかし大丈夫なのかなぁ？
ミラーのやりあいで、フレーム起こって
かえって転送量増える事ないのかなぁ？

267 ：Perler ◆GSi39OA6 ：01/08/30 22:46 ID:8hpmXoeM
ではとりあえず、mirror.plに関して、

・コマンドライン引数による、サーバー/板の指定
・多重起動抑制
・デーモン化のコマンドラインスイッチ設置
・ログのgzip化

の変更を開始します。

268 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:17 ID:KS31DBTQ
後ろ向きな考えでアレですが、ミラーサーバーでの改変や同一性検証を
どのように行うか、展望はありますか？
データを暗号化して公開鍵でread.cgiが複合するとか、
ミラーサーバー間&2ch.netが何かのついでにちょくちょくとCRCなりMD5なりを
チェックするとか。。。でしょうか。

269 ：Perler ◆GSi39OA6 ：01/08/30 23:29 ID:8hpmXoeM
>>268
そこまでコストかけても、ミラーサーバー側のスクリプトいじられたらアウトなんですよね。。。
公開鍵で復号はいい案だと思うんですが、Rangeでのログの取得が出来なくなりますし。
どうしましょうか。。。?

270 ：Perler ◆GSi39OA6 ：01/08/30 23:55 ID:8hpmXoeM
>>46
と私も思ったんですが。。。

現状のApache(1.3.x以降)だと、nph-する、しないに関わらずhttpd側でのバッファリングは一切やらない
(クライアントにリダイレクトしちゃう)みたいなので、昔のApacheで言われていたバッファリングによる
オーバーヘッドの回避はないらしいです。

ヘッダのパースで生じるオーバーヘッドもほとんどないような気がします。

271 ：Perler ◆GSi39OA6 ：01/08/30 23:56 ID:8hpmXoeM
>>270 すみません、誤爆です。。。

272 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:57 ID:KS31DBTQ
>>269
どの程度負荷がかかってしまうかとかわからないので、様々な方々の意見を
お待ちしたいです＞公開鍵

CRC とかチェックサムっぽいのならば、サーバーＡが dat 更新のリクエストを
出して、サーバーＢが応答して dat(差分) を送信した後に、Ａに更新後の CRC を
算出させ、Ｂのそれと一致しない場合にはアラートをだす、とか。
これを、複数のサーバー間で dat 更新のたびにやらせれば、１つのミラーサーバー
管理者が悪意をもってもだいじょうぶだと思います。
# ミラーサーバー内でさらにDISK内容をミラーさせて、read.cgiに見せるdatと
# mirror.plに見せるdatを変えられたら、ダメですが(笑

改変されないことはひとまずおき、改変されたら周りの鯖が気付くことで必要十分ですね。

273 ：名無しさん ：01/08/31 00:01 ID:K0661yX.
既出でしょうが
read.cgiを国内キャッシュ鯖において、ＲＯＭはそこで処理
big鯖にはbbs.cgiをおいて書き込み処理＆キャッシュ情報
更新をやらせるという形は？
少なくともhe.netに入る前にF5攻撃とROMは阻止できる。
キャッシュ鯖はbbs.cgiから送られるdatを表示するだけだから
ミラー鯖のような同一性検証も必要ない。

274 ：名無しさん ：01/08/31 00:03 ID:x2Bz1IF.
このスレで開発してるのは、P2Pではくて、書込バケツリレー頂点サーバーからねずみ算式に
mirrorが読んでいくシステムではないかと．．．

275 ：名無しさん ：01/08/31 00:08 ID:K0661yX.
>>274
273だが折れがいいたかったのはまさにそーゆーシステムなのだが・・・

276 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:11 ID:.hIWo2j.
>>273
キャッシュ鯖での改変は。。。
>>274
スレ立てるときの間違えです。申し訳ありません。

277 ：２７４ ：01/08/31 00:20 ID:uajIN0xc
>275
スマソ、もっと上に向かって書いたつもりだったよ、失敬。

>276
datディレクトリの更新チェック毎コピーだから問題ないのでは？
上位鯖から更新毎に通知してくれればロスは無いと思われ

278 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:37 ID:.hIWo2j.
>>277
全コピーですか？
それだと、datの差分転送ができなくなりますが。
差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。

279 ：名無しさん ：01/08/31 00:40 ID:K0661yX.
それでも無用ＲＯＭとＦ５攻撃の遮断だけでも
効果はあると思う

どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と
差分転送と両方やれば？

280 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:43 ID:.hIWo2j.
>キャッシュ鯖分業化と差分転送
その、本質的な違いがわからないのですが。。。

281 ：腐卵 ◆r4/JZF2o ：01/08/31 00:43 ID:XN8TPsgk
>>278
悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。
mirror.pl でも悪意による改変は可能では？
転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。

282 ：273 ：01/08/31 00:44 ID:K0661yX.
あっと・・・

どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に
キャッシュ鯖に更新されたdatを配信するという考えだったのだが。

cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。
たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。

283 ：anony ◆3XTuRnAc ：01/08/31 00:45 ID:Lkdpz9pY
>>268-272
そんなに深刻になる必要は実はないんじゃないでしょうか。
というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い
タイミング)で検出する」必要はないのじゃないかと。

つまり、必要なのは、
「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか
　いないかを確認する方法」
だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。

というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、
「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。
たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」
というときでも、Masterである2chサーバーには生き残っているわけです。

たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に
誰でも確かめられるんじゃないでしょうか。

１．GUI画面プログラムとする。
２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する
３．「チェック」を実行すると、以下のように動く
　　３．１　2chサーバーから「マスターdat」をダウンロード
　　３．２　ミラーサーバから「疑惑のdat」をダウンロード
　　３．３　行毎に比較を行い、改変や追加削除があるかどうかをチェックする
　　３．４　左右分割画面にて、改変追加削除があった場所の表示やその個所の
　　　　　　dat行のレンダリングを行う。

まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、
2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの
負荷がかかりかねませんが・・・。

284 ：腐卵 ◆r4/JZF2o ：01/08/31 00:49 ID:XN8TPsgk
>>283
両方を wget なりで落としてきて、diff（藁

285 ：音楽侍 ◆NtVkSITE ：01/08/31 00:54 ID:NnB1zrp2
ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑)
サーバは、クラッキングでもされない限り、責任者の所在が露出するから。

でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。

286 ：初期不良 ：01/08/31 00:57 ID:St7MFrmY
くさちゅー変換キャッシュサーバとか出てきそう

改変できることをプラスにとってみたら？

287 ：anony ◆3XTuRnAc ：01/08/31 00:58 ID:Lkdpz9pY
>>284
まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、
しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。

288 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:24 ID:K0661yX.
>>280
キャッシュ鯖分業化
279がいいたいのはread.cgiを国内のサーバーにおいて
読むだけのリクエストはそこで対処する。
書き込みがあった時だけbig鯖に処理を任せると言うこと。
これでＲＯＭの分だけbig鯖への転送量が下がる。

差分転送
普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で
（詳しくは知らないので勘弁してくれ）
更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。
上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時
キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば
big鯖からキャッシュ鯖へ転送する情報量が
書き込みによって追加されたレスの分だけ転送すればよくなるので
特に多くのレスがついているdatのときはそれだけ転送量を削減できる。

289 ：98er ◆8OGY65D6 ：01/08/31 01:31 ID:kGkxktsU
>>298
で、mirror で今一番問題なのは レスあぼーん だと思った。
差分転送なら楽だけど、削除したら減るか同一byte。
まぁ、１スレ全部転送すれば済むのかな。

290 ：98er ◆8OGY65D6 ：01/08/31 01:32 ID:kGkxktsU
>>289
のはレス先誤爆。正しくは >>288

291 ：腐卵 ◆r4/JZF2o ：01/08/31 01:34 ID:XN8TPsgk
>>289
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&st=450&to=450&nofirst=true
このあたりとか。

292 ：音楽侍 ◆NtVkSITE ：01/08/31 01:37 ID:NnB1zrp2
いまのミラー化って、dat落ちが発生したらどう管理するんですか？
個人的にはかちゅ〜しゃ使っているので、datで残るのはうれしいんですけどね。

293 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:52 ID:K0661yX.
>>290
まさしくその通り。単純増加なら簡単だがあぼーんという問題がある。

どこかのスレにあったが、datのフォーマットに
あぼーんを意味するコードを作って置いて、
そのコードを受信したら対象のレスをキャッシュ側で消す、という
こともできるんじゃないかな？

294 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:53 ID:XsEuxm5g
すいません。
キャッシュ用read.cgiのパール版を１７さんのread.cgiをいじって作ったのですが、
ファイルの置き場所ってあります？

１）SERVER.TXTを置くことで、いろんな板のミラー化に対応可能
２）書込みフォームを削除して、書込みする場合は、本家のread.cgiを呼び出す。
　　（その場合nofirst=trueでレス1つだけ）
３）ミラーに対応する.datファイルがなければ、本家にread.cgiもしくは過去倉庫どちらかに
　　移動できるようにリンクがでる。

ってようなやつですが。

295 ：腐卵 ◆r4/JZF2o ：01/08/31 01:54 ID:XN8TPsgk
>>292
mirror.pl をざっと読んでみた限りでは、ファイル削除 or 移動って部分はなさげ。
４０４とか換えされたら、そのままエラーにしてるっぽい。

296 ：aki ：01/08/31 02:03 ID:YI9wG.Qg
>>294
ftp://210.170.170.118/incoming/ とか。
cvsとsshが使えるならCVSレポジトリも上がってます。
ftp鯖内のファイルに使い方は書いてあります。

297 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 02:11 ID:.hIWo2j.
>>281 >>283
改変可能でも、どこまで検出しようとするかの問題かと。
信頼性は大事だと思うんです。もちろん、それでもっと大事なものを
犠牲にしちゃあいけませんが。
>>284 >>287
それやるならCRCなりを算出させれば。4桁でも十分。
ミラーリングする場合でも、networkへの負荷はできるだけ下げなければ。
>>288
激しく同意ですが、それはすでにこのスレで激しくｶﾞｲｼｭﾂ。。。
>>289 >>293
read.cgi で実装された raw_out と同じ方式で、結論として全部転送になるかと。
>>295
そうすると、スレあぼーんは・・・。kako送りも。

298 ：Perler ◆GSi39OA6 ：01/08/31 02:11 ID:KVFMabyg
ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.3

アップロードしました。

そうですね、あぼーん対策をすっかり忘れていました。。。

今回更新したのは以下。

・オプションに対応、細かい指定が可能に
・シグナル受信時にファイルハンドルを閉じるようにした
・デーモン化するオプションを追加
・沈黙モード追加
・無限ループモード追加。ループ間隔指定可能に

コマンドラインオプションが大量に追加されました。

-dを付けるとデーモン化します。

mirror.pl piza2.2ch.net/tech

とすると、piza2.2ch.netの、tech板を読みに行きます。

mirror.pl piza2.2ch.net:8080/tech

とすれば、80番ポート以外も大丈夫。
その他のオプションは以下。

usage: mirror.pl [-dvhfq] [-s server] [-p port] [-b BBS] [-l dir] [i interval] [
server[:port][/bbs]]

mirror.pl connects [server] on port [port], and retrieve message-data
named [bbs].

Options...

-d Run as a daemon.
-v,-h Show this massage.
-s Set server name.
-p Set port number.
-b Set BBS name.
-l Set log directory.
-f Forever loop.
-i Set interval(defailt: 60)
-q Quiet mode

299 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:14 ID:XsEuxm5g
>>296
WINな人なんで、cvs使えません。
mirror_read_cgi_per.tar.gz
で置きました。
中にdocファイルも一緒に入れてあります。

300 ：踊る大捜査線 ：01/08/31 02:15 ID:cWiTsGz2
>>299
wincvs 入れとけ

301 ：音楽侍 ◆NtVkSITE ：01/08/31 02:17 ID:NnB1zrp2
先の話になるでしょうが、mirrorの機能のために、datに変更を加えるすべてのcgiに、idxファイルなんかをつくって、ステータス管理してもらえると助かるですね。

302 ：299 ：01/08/31 02:32 ID:XsEuxm5g
>>300
wincvs探しに逝ってきます。

303 ：aki ：01/08/31 02:34 ID:YI9wG.Qg
>>299
Cygwinでも可。
むしろgcc使えるし。

304 ：98er ◆8OGY65D6 ：01/08/31 02:37 ID:kGkxktsU
とりあえず read.cgi を mirror 対応のために、
(counter++ % server_num)==0 だったらそのまま 200 Ok,
0 以外だったら 302 Moved temporarily, Location: mirror URI

というように改造したら如何でしょうか。
まだ早いかな？

305 ：武道版棲息 ：01/08/31 02:40 ID:CM.kHQF2
みんな、俺は専門知識はなんも分からんがかっこいーぞ！！
がんばってくれ！！

306 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:44 ID:Lkdpz9pY
＞Perlerさん
お疲れ様です、早速実験投入してみます。

＞娘。さん
うーん、やはり逐一のチェックは必要でしょうか。
それやるとキリがないんで、「チェッカ」だけ作って
あとは「確かめたければ自分で確かめろ」としたほうが
潔いと思います。

ミラーサーバー上のread.cgiに、「読みこみ命令された範囲での、
ミラー上のdatとマスター上のdatの改変有無をチェックする機能
(差分検出でもMD5でも)」を作ったとしても「read.cgiを書き換え」、
つまりチェッカ潰しされれば意味はないし、
基本的にmirror.plもindex.plもread.cgiもソースが公開されちゃう
以上は「改変を自動的に検出する」方法はお手上げではないでしょうか。
bbs.cgiぐらいですよね、「非公開」を貫けるのって。

307 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:53 ID:cWiTsGz2
＞bbs.cgiぐらいですよね、「非公開」を貫けるのって。
なぜ貫く必要があるの？

308 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:58 ID:Lkdpz9pY
とりあえず、3つほど巡回させてみようと思ったんですが、さすがに
一時閉鎖中の板やhttp://2ch.coco.co.jp/ からのミラーは無理のようですね。
ちょっと残念(^^;;。

とりあえず、生きている板から3つほど巡回させて見ます。

309 ：98er ◆8OGY65D6 ：01/08/31 03:03 ID:kGkxktsU
>>307
ポリシーを保てないからでしょう。
bbs.cgi を書き換えられれば、IP 表示だって可能です。

310 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:04 ID:.hIWo2j.
>>306
うーん。必要かといわれても困ります。。。（＾＾；
読む人が確かめたい場合もあるでしょうが、悪意があれば改変なり、
場合によっては破壊行為ができるとなってしまうと、ミラー鯖が
クラッカーに狙われる可能性も高くなると思います。
もちろん、2ch.netのオリジナルは常に安心のはずですが。
でも、全チェックはつらそうですから、どれくらいのチェックなら耐えられるか、
ご意見が欲しいところです。
できることはやっとこう、って感じでよいかと。

311 ：anony ◆3XTuRnAc ：01/08/31 03:05 ID:Lkdpz9pY
あと、たしかキャップとかの設定が全部あそこに入る
んじゃなかったでしたっけか。＞bbs.cgi

# あ、新しいbbs.cgiではその辺は全部外部ファイルに出して
# bbs.cgiそのものは公開ってことでしょうか。

312 ：音楽侍 ◆NtVkSITE ：01/08/31 03:08 ID:NnB1zrp2
>>311
当然ですよね(笑)
いつもそれが問題になるのですから＞キャップ漏れ

313 ：名無しさん＠お腹いっぱい。 ：01/08/31 03:14 ID:PWPehy9g
手伝いたいのに俺はマカだちきしょう！！

314 ：踊る大捜査線 ：01/08/31 03:14 ID:cWiTsGz2
>>309
イヤ。
嘘は嘘で見抜けないと２ちゃんねるで遊ぶ資格は無いとの
ポリシーもあったハズ。

315 ：anony ◆3XTuRnAc ：01/08/31 03:26 ID:Lkdpz9pY
ということで、巡回開始させて見ました。

ターゲットは
piza2.2ch.net/tech
cocoa.2ch.net/unix
yasai.2ch.net/suisou
www2.bbspink.com/ascoo
www2.bbspink.com/801

といったところです。suisouは自分がよく行ってた板、
bbspinkの二枚はまあネタ半分ということで(笑。

＞娘。さん
いや、自分の主張というのは、「思い立てばいつでも簡単に
チェックができ、結果も見やすく表示できる仕組み」さえできれば、
mirrorサーバでの悪意ある書き換えやクラッキングの対策処理ってのは
あまり重要ではないのではないか、と。

もし改竄を防ごうということであれば、RSAなどの非対称鍵で

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat→gziped
２．read.cgiでは、暗号化datをgunzip→本体の公開鍵を使って復号→平文dat
　　→HTMLへ

という流れになるでしょうか。ミラーのdatファイルには「暗号化」された
まま置いておけばこれをいったん復号した上で改変したとしても、
暗号化datには戻せないということになります。

ただ、この場合はread.cgiの改変(暗号化datではなく平文datから
HTMLを生成させるようにする)には弱いですが・・・。

316 ：anony ◆3XTuRnAc ：01/08/31 03:29 ID:Lkdpz9pY
あ、上の書き込み、

１．本体dat→秘密鍵で暗号→gzip　→　mirrorでgungzip→暗号化dat

です。最後のgzipedは不要です。失礼しました。

317 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:36 ID:.hIWo2j.
>>315
Perlerさんからも指摘されましたが、その方式だと、差分転送使えないんですよね。
で、ファイル共有とかの設計思想って、やっぱり穴がないことを目指した方が
いいと思うんですよ。クラックされるかどうかよりも、クラッカーに狙われるか
どうかが重要だったり。それでなくても、２ちゃんねるをミラーするなんて
目立つことやっていただくわけですから＞鯖提供者の方
そういう意味では、4桁CRC程度で十分だと思います。
もっと単純化された方式でもいいかもしれないです。10行に１回とか100行に１回とか、
ファイルサイズが減少するときだけとかでも、いいかもです。

318 ：anony ◆3XTuRnAc ：01/08/31 04:11 ID:Lkdpz9pY
うーむ。難しいですね。

それではおいらはそろそろ寝ます。
例によってミラーはまわしっぱなしにしておきます。

319 ：名無しさん＠お腹いっぱい。 ：01/08/31 06:54 ID:l.Akto1I
えーっと、ミラーを動かしてみました。
とりあえず2つほど巡回中です。
一応、ちゃんと動いているようです。

http://sc.dip.jp/mirror/dat/accuse/index2.html
http://sc.dip.jp/mirror/dat/tech/index2.html

320 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/31 10:49 ID:Efcez.O6
cgiの扱いがごちゃごちゃになってきたので、場所変えました。
＃専用id作った（笑）。
http://www.tokyo-nazo.net/~tester/mirror/dat/tech/index2.html
に移動です。

321 ：Perler ◆GSi39OA6 ：01/08/31 14:36 ID:KVFMabyg
あぼーん対策とりました。

2,3バイト余分に読んで、ファイルとの整合性を見てます。

これから出かけますが、急作りのソースなんで、帰ってきたら
綺麗に作り直します。

ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.4

322 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:31 ID:4pKNOack
> あぼーん対策とりました。
頼んだら、固定長あぼーんにはならないもんなんだろうか？
なんなに転送量減らしたがってたのに。

323 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:33 ID:4pKNOack
なんなに → あんなに
つーか、Perler氏はこんな時間に書き込んでいるがプーなのか？

324 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:44 ID:mJ/QDeRE
>>323 んなぁこたぁないっしょ
これまでのPerler氏のカキコ見ればわかると思うけど
仕事の合間をぬってやってるのだと思われ

# どうせ勤務時間中にここ見てるヤツ多いっしょ？

325 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:51 ID:z32xs4vg
>>323-324
それは言っちゃダメ☆

326 ：名無しさん＠お腹いっぱい。 ：01/08/31 16:44 ID:t6PLs/UQ
2chがビッターズオークション！1000万円！

327 ：Perler ◆GSi39OA6 ：01/08/31 17:08 ID:KVFMabyg
>>322
>頼んだら、固定長あぼーんにはならないもんなんだろうか？

それは、bbs.cgiの方の話になるのではないかと。

>>323
違いますよ。

328 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:17 ID:WfXe/smI
>269 >306
read.cgi 等を丸ごと定期的に転送してチェックって意味無いのでしょうか。
binaryファイルのチェックはmirrorと同じ開発環境が必要で面倒ですが。
チェックするタイミングを読まれないように平均頻度だけ決めてランダムで。

329 ：326 ：01/08/31 17:19 ID:VTdq1UU2
http://www.2ch.net/

＞ 今までがんばってくださった削除人さんや復帰屋さんなどボランティアの方々、、、
＞手立てをしてくださったUNIX板、WEB制作板の方々、、、
＞そして、ずっと2chを使っている参加者の方々、、、
＞今まで、ありがとうございました。
＞
＞おいらの力が足りず、このような結果になってしまいました。
＞申し訳ありません。
＞
＞
＞
＞
＞
＞
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。

330 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:22 ID:fFABwrgw
４００億の値段がついてるようだが・・・？

331 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:24 ID:fFABwrgw
１０兆円でエラーになった・・・

332 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:56 ID:YhC0IV3I
これぞキャッシュ型だな…

333 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:04 ID:pc6LiiK.
>>332
それだ!

334 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:18 ID:4pKNOack
> これぞキャッシュ型だな…
キャッシュで４００億は無理だろー。

335 ：Perler ◆GSi39OA6 ：01/08/31 18:52 ID:KVFMabyg
ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.5
ftp://210.170.170.118/incoming/perler/mirror/index.pl.3

修正版アップロードしました。

mirror.plは主に、スクリプトの整形を行ったので、特に大きな変更はありません。
画面が流れていくのが無駄だと感じたので、エスケープシーケンスで画面が
流れるのを止めました。それから、エスケープシーケンスを使わないオプション
-r(raw)を追加しました。

index2.plはエスケープシーケンス対応(こちらも-rで抑制できます)の他に、
スレッドのレス数が1つ少ないバグを修正しました。

336 ：名無しさん ：01/08/31 19:00 ID:qCr.kTaI
>>335
Perlerさん、もういいんだよ（泣）

337 ：批判要望板から転載 ：01/08/31 19:04 ID:OC7kf1.s
なんかこれ読んでて北杜夫のエッセイ思い出したよ。
自分が死んだ事にして葬式をやって参列者の様子を
見ようと思ったが人としてあまりにもどうかと思う
から止めたとかいう内容だったが今回の騒動は
これとまったく同じだったわけか。最初から
転送量騒動なんかなくってここに至るまでの
伏線だったと言うわけか。ＵＮＩＸ板の人も
プログラム板の人も管理側の掌で踊っていただけ。
だけど素直に笑えないな。人の善意を利用して
それを笑うと言う趣向は好かん。

338 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:06 ID:.kXjF96A
転送料危機はネタではないと思われ。
2chがどうなろうと、ここやプロ技板でやってることは無駄にはならない。

339 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:PWPehy9g
read.cgiを設置するときの夜勤さんの感謝はネタではないと思う。
ただしオークションはNETA！！

340 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:lieJqDvo
スレと関係ないことを書き込んでいる厨房は放置ってことで
逝きましょう。にしても、多いな…。

341 ：腐卵 ◆r4/JZF2o ：01/08/31 19:25 ID:XN8TPsgk
２ｃｈ売りはネタ。http://members.tripod.co.jp/tera_link/2chheisa.html
９月末までは確実に残ると言う意見もどこかであったはず。
たぶん、そこまでは確実に残すでしょ。

転送料危機はマジでしょ。そして、転送量を減らす努力は
いろいろな意味で無駄ではないと思われ。

342 ：う〜む ：01/08/31 21:36 ID:Jke38zmA
2ch売りはネタでしょう
第一何を売るんだ？
これか？
http://www.2ch.net/

ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
んじゃないかな

343 ：にはん ◆/gWayilU ：01/08/31 21:49 ID:WNhJn6Gw
>ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
>んじゃないかな

これを言い出すなら、ほとんどが国内トラフィックで閉じることの出来る2chのサーバ郡を
he.netの配下に置いたままの前提で話しているこのスレの意味が変わるかと。

# 非効率極まりない

344 ：音楽侍 ◆NtVkSITE ：01/08/31 22:10 ID:6ZIWZduk
>>343
もっといえば、完全にオーバーコストのhe.netにいつまでも通信回線料を払うのだったら、むしろアメリカにオフィスを用意して、回線の一次卸元になった方がよろしいのじゃないかと。
っていうの、２回目ですけど。

345 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:19 ID:zeO5jSvo
管理側が正式発表しない以上ネタかどうかはわからん
みんな貴重な時間を裂いて取り組んでるってのに
おふざけにも程度ってもんがあると思われ

346 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:24 ID:xF/ewMI2
というよりおふざけでも　1千万で売るなんて言葉みたら正直げんなり

ひろゆきさん、これ商売なら自分で頑張って下さいな

347 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:27 ID:pc6LiiK.
>>338
開発スレちゃんと追っかけてないんだけど、
今つくってんのは 2ch がなくても動くシステムなのか?

348 ：にはん ◆/gWayilU ：01/08/31 22:33 ID:WNhJn6Gw
で、スレ元の話題に戻すけど、記事データのありかをhe.net配下の2ch,net前提で話をするのか、
そうではないのかによってこのスレで目指すべきシステムって変わってくると思うのだけど、
どうかな。

巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、
（板ごとに記事保管している鯖が違うとか）比較的小規模な、っていうか「普通の」掲示板
サイトと同程度な規模の（ラウンジとか速報系はそうもいかないだろうけど）掲示板への
リンク集+サブドメイン供給元になる、という激しく既出ではあるがまっとうな体裁の
効率化（そして、そこにこのスレとかで議論しているような仕掛けを突っ込んでより多く
負荷を軽減する）のと、どっちがいいだろう、という話が再燃してしまうかもしれないけど。

# で、今のこのスレはどっち前提なの？

349 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:33 ID:q.ZfcRSM
>>345
まあ同感。トップページに「2ch売ります」だけならともかく、
オークションはやりすぎだと思うなぁ、明らかに＞ひろゆき

350 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:36 ID:xF/ewMI2
いっそ　2CHが無くても動くように方針転換しないか？
　キャッシュ鯖じゃなく互いにデータ交換しあう事で
責任の所在を不明確にするあめぞう型掲示板群システム

このスレの自動更新CGIに read.cgi 後 bbs.cgi相当が
あればとりあえず何とかなるだろう

351 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:39 ID:q.ZfcRSM
>>350
いや、恐らく可能ですよ＞2ch抜き
bbs.cgiもちょっと古いけど流出してるから、作ろうと思えば作れる。
ただし、トラフィックの問題もあるし、クラッキング対策もしなきゃ
いけないしセキュリティ対策もしなきゃいけない、って事になるとね。

352 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:41 ID:DcVKK.2I
>>350
ＮＮＴＰサーバ形式（バケツリレー形式）ってこと？
それともＰ２Ｐ？

＃馬鹿な質問だったらごめん。

353 ：にはん ◆/gWayilU ：01/08/31 22:50 ID:WNhJn6Gw
>>352
分散させた「元httpd」の上がっているWebサーバを複数立て、そこに bbs.cgi や read.cgi なんか
を置く。それぞれの鯖は一つの板を受け持つ。
それらの「板鯖」間で相互に mirror.pl を動かして他の板のログも集めミラーになるか、
proxy鯖を上げるか、あるいはそのApache自身でVirtualhostを上げて「本家の」板鯖に
redirectするとかが一番手軽な「上流」トラフィック分散法だと思われ。

354 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:56 ID:xF/ewMI2
>>352
ピアというより相互ミラーかな

たとえば
今は２CHを　A,B,Cの鯖でキャシュ（ミラー）しようとしている
これを、A,B,Cが互いにミラーしあうように変更する。
　書込みについても、A,B,Cの鯖がそれぞれ自分のキャッシュに書き込むようにする

レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
今の >>n のポインタの変わりに　３桁程度のアルファベット をレスにつけて
　352 名前：名無しさん 投稿日：01/08/31 22:41 AZC

>>AZC
のようにポインタ出来るようにする。　もちろん　今迄通り数字でも可能とする

A,B,Cは自分のヒットが多くなってくれば、 read.cgi や index.cgi 内のポインタを
他の鯖に変更する機能を持たせる

355 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:58 ID:pc6LiiK.
>>354
> レス番については　A,B,Cが互いにマージする都度ズレる可能性があるから
と
> もちろん　今迄通り数字でも可能とする
が矛盾しているように思えるのだが。

356 ：名無しさん＠お腹いっぱい。 ：01/08/31 23:02 ID:xF/ewMI2
＞３５５
今の.datにはレス番はついていないのです。
　\n の数を数えてレス番をつけてるだけ

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988
こっちでレス番をファイル内に入れる案も出ていますが、やはり最新のレス番はズレれる
可能性を考慮した構造で検討されています。

つまり古いレスについてはレス番は確定してるけど、最新のレスについては確定していない
と考える訳です

実際、分の単位が前後するレスがあるでしょう？

357 ：Perler ◆GSi39OA6 ：01/08/31 23:07 ID:KVFMabyg
>>348
>巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、

私が考え、作業してるのはこちら。全システムの移行・分散は、上記が終わった後
でも遅くないと思う。今問題になっているのはトラフィック「のみ」ですから。

個人的には、将来がどうの効率がどうのではなくて、8月末閉鎖、9月末閉鎖回避のための
緊急避難的措置を主眼に置いています。

現在の2chは、理想的でエレガントだが余計な工数を取ったり、不確定要素の残る方法を
選ぶ余裕はないと考えています。
不恰好・非効率的かつ不本意だが確実に今すぐ障害を潰せる方策を優先させるのが、
現状では現実的ではないかと。

read.cgiやindex2.cgiに関しても同じ考えで開発しました。

358 ：352 ：01/08/31 23:11 ID:DcVKK.2I
ふむふむ。>>353 >>354　さん詳細な解説ありがと。

どうやら
１．データのマージ
２．各サーバのセキュリティ
を如何するかってとこが問題ですかね。

353さんの案だと、1板1サーバを立てるからマージの問題がない。
354さん案は、全ミラーを想定してるみたいだから、マージで問題が出てくる。

マージ専門のサーバを1つ立てる必要があるかな？
そこのセキュリティレベルだけ上げとけば、他のミラーサーバのセキュリティは
ある程度あきらめることができるし。

359 ：名無しさん＠お腹いっぱい。 ：01/08/31 23:30 ID:l.Akto1I
>>353
板を受け持つということは、ログを保持するということですよね。
サーバ管理者が同時に書き込みを管理(削除含めて)する必要が出てくると思うので、
なかなか厳しいと思うのですが。

というか、ミラーリング案でもそうなのかもしれませんが、
個人情報の漏洩や誹謗中傷なんかの犯罪性のある書き込みに対する
法的責任なんかは問題ないんでしょうか？

360 ：音楽侍 ◆NtVkSITE ：01/08/31 23:38 ID:6ZIWZduk
書き込むサーバは一つ。
読み出すサーバが複数。
それがここでのmirror案です。
同時複数書き込みは、P2Pスレの方で検討かと。

361 ：名無しさん＠お腹いっぱい。 ：01/09/01 00:04 ID:NEmy6iak
完成した際のライセンスなんかも話し合われているのかな?

362 ：にはん ◆/gWayilU ：01/09/01 00:09 ID:6ZAL1f42
>>361
GPLか、それが嫌ならBSDライセンスあたりでいいんでは。

363 ：音楽侍 ◆NtVkSITE ：01/09/01 00:09 ID:nAqJ7GB2
>>362
GPLって切り口でしたよね、当初。

364 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:41 ID:pjf5FAnk
>>359
問題あるでしょうね。
事実上削除できる人が、削除するべき(と裁判所が判断する)書き込みがあることを
知って、削除しない場合は。
コンピュータセキュリティの面でも、法的な面でも、それなりの覚悟は必要かと。

365 ：Perler ◆GSi39OA6 ：01/09/01 00:45 ID:KDhC7Jyc
>>359
>というか、ミラーリング案でもそうなのかもしれませんが、
>個人情報の漏洩や誹謗中傷なんかの犯罪性のある書き込みに対する
>法的責任なんかは問題ないんでしょうか？

mirror.plの場合、あぼーんがあると、その.datファイルを1から
取得しなおすので、現仕様では問題はでにくいと思います。

ミラー側が先に違法投稿に気づいてしまった場合は、ミラー上のデータを手動で削除
して、メインサーバー(2ch.net)にも削除要求を出す、という方法しかないでしょうね。

366 ：anony ◆3XTuRnAc ：01/09/01 00:49 ID:9ylud7MU
うーん、個人的には「投稿は2ch.net本体に一本化」、かつ、
「ミラーサーバー側は無差別にキャッシュ」
という前提で動かすのだから法的問題なんか発生しないと思うのですが。

367 ：音楽侍 ◆NtVkSITE ：01/09/01 00:51 ID:nAqJ7GB2
Big-Serverもしくはひろゆきさんの支配下にあるサーバが、bbs.cgiやdelete.cgi含めたすべての「dat」生成〜変更権限を持っていないといけない理由はいくつもあります。
まずは、即時性の問題。既出ですね。データの一意性とでもいいましょうか。
次に、データ内容の管理性の問題。削除人の作業やら復帰人やら諸々の作業の問題。
そして、責任問題。

基本的に、datだけを配るのであれば、そのサーバは法的に問題は発生しない、と思います。
拡大解釈かもしれませんが、nntpに違法な内容が流通したとして、feedに関わったすべてのサーバの罪を認めるのか？ということになりますし、それはメールでも一緒ですよね？
読み出し側が広くシステムの一部となるなら、どうおか？という問題はありますが、その場合でも、
「datの内容を管理するものが最終責任者だ」という結論になるのは当然の帰路です。

＃社会的道義的責任は別にして。というのなのは忘れてはいけませんが。

368 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:51 ID:pjf5FAnk
>>365
一番問題なのは、今回の日生みたいなのが意図的に削除されない場合でしょうか。
削除制度は、ある意味2chの真髄ですから、ねぇ。。。

369 ：名無しさん＠お腹いっぱい。 ：01/09/01 00:54 ID:0uvhcdI.
いますぐ対処できる方法？
そんなもん・・・sleep( 2 ) ;にきまってんじゃん。
　　（処理量[TPS]×レスポンス[秒]）÷（多重度×1秒×並列実行度(0.7〜0.9)）＝1秒
　　処理量[TPS] ＝ （多重度×並列実行度）÷レスポンス
今は処理量をある一定量にしたいだけ。
多重度をあげようと思うと、apacheの設定変更が要る→×どうもそれはやっちゃダメなレギュレーションらしい
並列実行度は、まぁ最大95%くらいはいけるだろう。
あとは、レスポンスをのばすしかねぇ。

みんないいかげんにきれい事ばかり奉るのはよせ。

370 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 00:56 ID:pjf5FAnk
>>366-367
いや、そういうわけにはいかないかと。
もちろん、一時的なことなら問題にはならないでしょうが、2chでは意図的に
危ないものを残してますから、長期間、違法なものだと気付きつつ公開する
覚悟が必要になります。

371 ：Perler ◆GSi39OA6 ：01/09/01 01:04 ID:KDhC7Jyc
>>369

既出だったと思います。

当時言われていたのは、Bigの「快適」であるという宣伝文句に触れるという点。

プロセス空間を埋め尽くしてfork出来なくなったり、ApacheのMaxClientsをオーバーして
ほとんど接続できないという状況が発生する可能性も考慮する必要があると思います。

>>370
同意します。NNTPでも違法と知りつつサーバーにデータを残しておくのは問題が
あるでしょう。ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
働いて、そういった状況になりにくいだけだと思います。

372 ：音楽侍 ◆NtVkSITE ：01/09/01 01:10 ID:nAqJ7GB2
>>370
その点を争点にすると、非常にやっかいになります。
idxファイルを作ってもらえないとミラーリングしにくいのも、実はここに帰着しますし。

idxファイルの更新を確認することでデータのミラーリングを進めるのは、
「削除されたデータを消す」作業と、「削除されたdatを消す」作業の両方のメリットがあるわけでして。

ただ、訴訟大国アメリカでも、feedに関わったnntpサーバが敗訴した、という話は、寡聞で恐縮ですけど、知りませんです。
このプランはnntpではありませんが、システム的にdatにコミットできない状況が証明できれば、賠償責任は発生しないと考えます。

＃社会的道義的責任と非行政的司法的な公的制裁については別ですよ。

373 ：あぼーん ：あぼーん
あぼーん

374 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 01:45 ID:pjf5FAnk
>>372
nntpその相違点は、今回のシステムはあくまで「２ちゃんねる」というコンテンツの
配信にあるということかな。
２ちゃんねるがこういうコンテンツ群であることは、ミラー鯖を立てる時点で
わかっているはずですから。
# 心配なら、安全そうな専門板だけをミラーするのもありかと。
# datにコミットできなくても、「ミラーに参加しない」という選択肢がある以上、
# 認められにくいと思います。まあ、現実的には、2ch.net を訴えずにミラー鯖だけ
# 訴えるってことはないと思いますが。

375 ：anony ◆3XTuRnAc ：01/09/01 01:49 ID:9ylud7MU
＞Perler様
てことで、新作の稼動を開始しました。
さらにミラーする板の数増えてます(笑。

376 ：♯6411 ：01/09/01 01:56 ID:d7EdbXsw
>>369 下手にsleep()なんかすると、
さらなる過酷な事態が待ってます。

377 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:06 ID:0uvhcdI.
>>371
プロキシ化したりミラー化したりするのって、
それこそ「BigServerはつかえません」て公言しているのと同じように
みられるんじゃないかなー・・・

378 ：音楽侍 ◆NtVkSITE ：01/09/01 02:18 ID:nAqJ7GB2
>>377
そんなことないですよん。
お金の問題なんですから。
予算に問題なかったらＴ１専用回線だっていいんだし。

379 ：音楽侍 ◆NtVkSITE ：01/09/01 02:19 ID:nAqJ7GB2
>>374
ちょっと詭弁ですか私？(笑)
まー、ミラーする人のモチベーション次第ですよね。

380 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:22 ID:0uvhcdI.
>>376
apacheでとまるでしょ。
socket的なところにおいても同様。
つまり、7月までに大事になってなければ、
それやっても大事にはならないはず。

テレホのときなんか待ちだらけじゃない　すでに起こっていることだよ。

381 ：にはん ◆/gWayilU ：01/09/01 02:24 ID:6ZAL1f42
>>378
T1じゃ足りないでしょう。瞬間最大風速だけならT1の100倍出てるんだから。

#　いまどきは専用線引いてうんぬんというソリューションはあまり聞かないですな。

382 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:25 ID:0uvhcdI.
>>378
であれば別にsleepしても構わないんでは？
BigServer側を思いやった安全装置、という姿勢で通せばよいだけだと思う。

ひょっとして別の意図があってProxyにしたりP2Pにしたりしてない？

383 ：にはん ◆/gWayilU ：01/09/01 02:27 ID:6ZAL1f42
>>382
sleep() かますんなら帯域制御したほうが確実だと思われ。(LinuxでBSD/OSとかFreeBSDの
4系みたいな帯域制御って出来ます？＞all)

だけど、それは既に選択肢にはないんでしょう。ていうかそれをやるなら根本から
この議論が無意味になってしまう。

384 ：音楽侍 ◆NtVkSITE ：01/09/01 02:32 ID:nAqJ7GB2
>>381
たしかに(笑)
じゃなくて、いいたいのは、
「帯域課金が問題で、サーバ性能の問題じゃない」ってことで。
（ちゅ〜か、ちゃんとつたっわってますです・・・）

しかし、ここの瞬間最大風速すごいですよね。
でも、いまのアメリカのITバブル崩壊状態でも、そんな多額な使用量要求されるんだなぁって。
納得いかないっす。

385 ：98er ◆8OGY65D6 ：01/09/01 02:33 ID:zffvJ/c.
本気で cache server を動かすのだったら、

1. master の変更を細かく cache server へ知らせる
2. cache server にアクセスがあった時点で master へ変更分を聞きに逝く

のどちらかでないと、cache server が増えたら今の mirror だと対処できなくなると思いますがどうでしょうか。

386 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:35 ID:ltjuNT5c
なんか　Apacheも自由にいじれないわ　使用料もバカ高だわで　もっといいとこ
ありそうな気はするけどねぇ......

387 ：名無しさん＠お腹いっぱい。 ：01/09/01 02:36 ID:0uvhcdI.
話題を発散させるつもりはないです。
NNTPの話とか法的問題とかの話がでたので、ちょっとみんなの意図を確認したかった。
といいつつ、発散させてしまってすまんです。

>>383
sleepでも同じ効果はあるよ　過負荷下でも処理能力上限がそれで決まるから。
# gzipも逆の方向の同じ線上の対処だよ。
それと根本は変えられないはず　だって契約の世界の話だもん。

388 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 03:01 ID:pjf5FAnk
>>379
いえいえ（＾＾；
ま、鯖管理者の人に重荷を背負わせなければいいんで。
怖くなったらやめられるとか、そういうのりで(笑
>>386
同感です。。。

389 ：名無しさん＠お腹いっぱい。 ：01/09/01 07:33 ID:JFd9Ufio
夜勤さんは悪くない。
夜勤さんは悪くない。
夜勤さんは悪くない。

390 ：ｶﾞｲｼｭﾂﾀﾞｯﾀﾗｺﾞﾒ ：01/09/01 07:56 ID:pYZtiI2U
ttp://www.geocities.co.jp/SiliconValley-PaloAlto/6896/

391 ：名無しさん＠お腹いっぱい。 ：01/09/01 12:00 ID:5n2mByDs
27日から忙しくてこれませんでした。
キャッシュされたコンテンツに違法なものが含まれていることが
争点になった裁判の判例というのは今のところ国内外でないと
思います (知り合いの弁護士と話した限りです。漏れがあるかもしれません)。

ただし、もし訴えられた場合には (例え必ず勝つとわかっていても)
手間や費用は発生します。別に2chキャッシュだけの問題ではなく、
個人で小規模なサイトを運営していたとしても同じリスクはありますけどね。
(自分の日記サイトで「○○で飯食ったら不味かった」と書いたら訴える
という内容証明が届いたという例もあるようです)。

2chキャッシュの場合、キャッシュ運営者が訴えられた場合、それはキャッシュ
運営者側で対応しなくてはなりません。それをひろゆき氏側にそのまま
リダイレクトということは制度上できません。

まぁ、キャッシュ運営者グループで互助会を作って、定期的に法律や
判例の勉強会などをやっておく程度の自衛は必要かと思います。

392 ：名無しさん＠お腹いっぱい。 ：01/09/01 13:14 ID:ZVC7//8A
大丈夫だよ。
金持ってない奴を訴えるような暇人はﾆｾｰｲとかﾚｸみたいなトコだよ。

393 ：名無しさん＠お腹いっぱい。 ：01/09/01 22:24 ID:g7nGJVFU
>>391
勝訴すれば、かかった費用は敗訴側におっつけることができます。

394 ：音楽侍 ◆NtVkSITE ：01/09/01 22:49 ID:nAqJ7GB2
>>393
よく知らないけど、それは別訴訟を起こさないといけなかったのでは？

395 ：名無し娘。 ◆vP.bOZFQ ：01/09/01 23:24 ID:T7eD9J7M
>>393-394
訴訟費用の裁判は決定でできるのですが、いろいろあってあまり使われていません。
結論としては、「押しつけるのはちょっと面倒」です。

396 ：住人 ：01/09/02 02:59 ID:0T0SCVvQ
法的議論は後回しにしませんか？
我々は法律の事がよくわかってないし、法律板の人たちは
我々の実装がよくわからないうちでは、いいようもないだろうし

とりあえず、でっち上げて、問題がおこったらなんとかすりゃいいっつーのは
ダメっすかね？　ダメっすかね？

397 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 06:09 ID:KHm/2G/Q
>>396
いいとおもいますよ。

398 ：名無しさん＠お腹いっぱい。 ：01/09/02 17:18 ID:c/03xBX6
キャッシュの同一性については、2chの鯖側で対応できるのでは？
どうせ書き込みの時には本家に飛ばされるんだから、
そのときに本家側でキャッシュを検出して、あとで同一性
チェックをやれば済みそうな。
実装するのはいつでも構わないし。

399 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 18:52 ID:ahw9C5HM
>>398
bbs.cgi がキャッシュ検出(?)を呼び出すってことでしょうか。

400 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/02 20:05 ID:kFLIU9UQ
>>398
つまり、キャッシュサーバは書きこみデータを飛ばすときに一緒にそのボードのdatを
まとめて渡し、2chの本家サーバはそれを自分のデータとマージしてチェックってこと？
アップロード側の転送量なら問題ないし。

401 ：名無し娘。 ◆vP.bOZFQ ：01/09/02 22:32 ID:m12q0h3w
>>400
キャッシュ鯖は書き込みデータを飛ばさないと思うのですが。。。
2ch.netのbbs.cgiにPOSTするんですよね？

402 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/02 22:56 ID:kFLIU9UQ
>>401
あ、そうか。
そうするとどういうことだろ。

403 ：名無しさん＠お腹いっぱい。 ：01/09/02 23:26 ID:aaNCJszY
>>402
POSTするときに、キャッシュのIPをパラメータとして渡しておいて
配信してもらう、てのはどう？

404 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/03 00:16 ID:4ddUyIws
>>403
データ転送量の削減になるかなぁ。

405 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 00:28 ID:Av.MF.Jo
>>403
キャッシュ鯖のIPはもともと2ch.netに登録しないといけませんし、
いざbbs.cgiが書き込みをすれば、全キャッシュ鯖にそれを反映させないと
いけません。。。ので、パラメータの必要はないかと。

406 ：名無しさん ：01/09/03 00:55 ID:MtmTOYVc
P2P → 分散（レプリケーション）
キャッシュ → ミラー

あーやだやだ

407 ：　　 ：01/09/03 01:51 ID:7L2.Ubc6
　★「２ちゃんねる閉鎖騒動」の発端について★
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
そもそも、このサイトで「２ちゃんねらーに殺されかけた」と告発があってから、
これを機に反２ちゃんねる勢力が「２ちゃんねるつぶし隊」なる組織を結成し、
２ちゃんねるサーバにクラッキングを開始したことが、事件の発端らしい。
http://www2.odn.ne.jp/~win530/voice//voice05.html （「個人情報が流出した日」）
なお、この騒動の後に「２ちゃんねる売 ります」の事態が起きたという。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

408 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 02:29 ID:Av.MF.Jo
>>406
ｶﾞｲｼｭﾂですけど、>>1についてはいろいろありましてな。すいません。
>>398-405 は、私もよく意味わかってないので、意思疎通のために
方便使いました。やっぱりそういうことなんでしょうかね。
それならｶﾞｲｼｭﾂだから、気にしなくてよさそうだ。

409 ：398 ：01/09/03 05:15 ID:W4HUGYWI
漏れも詳しいことは知らないが、「bbs.cgiなり何なりが自動的に
ミラーを訪れて、抜き打ち検査をやる」というシステムなら
作れるかもと言うこと。
書き込みの時には、単に巡回リストにミラーを登録するだけ。

410 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/03 21:21 ID:4ddUyIws
一番簡単なのは江戸時代の五人組制でしょう。
サーバが相互に監視するの。
例えば回線太いA(L1)B(L1)という２台のサーバと細いC(L2)D(L2)E(L2)という
サーバがあったとして。
time1
2ch→A→B→D
　　　　 →C→E
time2
2ch→B→A→E
　　　　 →D→C
time3
2ch→A→B→C
　　　　 →E→D
という具合にデータを参照すればいいんじゃないかな。相互支援（謎）ね。

411 ：名無しさん ：01/09/03 21:38 ID:kQsP7ha.
>ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
>残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
>働いて、そういった状況になりにくいだけだと思います。

過去何人もキチガイキャンセラーが出現したけどね
2chでいう電波削除人だね
しかも、結構有名な人も

一日中炉裏画像キャンセルしまくってるキチガイセンセイもいるしね

412 ：名無し娘。 ◆vP.bOZFQ ：01/09/03 23:32 ID:VfGNwAvM
>>410
賛成です。私の意見の概要は>>272 からそれほど変わっていません。
これを効率化し、必要最低限(がどれくらいかわかりにくいけど)にしていければ、
うまくいきそうな気がします。

413 ：名無しさん ：01/09/04 20:10 ID:gAGVJ.CY

Perlerさんのクソ・リアリズム、マジでカッコ良かった。
それだけは書いときたかったんで。脈絡なくて、失礼

414 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/09/06 20:31
ところで、こっちは収束したと考えていいんでしょうか。
まだ何かありましたっけ？

415 ：名無しさん＠お腹いっぱい。 ：01/09/08 13:59
datファイルがうまく参照できない。
apacheのoptionのIndexesを外したのかな．．．

416 ：音楽侍 ◆NtVkSITE ：01/09/08 18:12
>>415
error: Status code is not 200ですか？

417 ：名無しさん＠お腹いっぱい。 ：01/09/08 19:36
>>416
その通りです。その行をコメントアウトしたら、kakiko.comのページに飛ばされてることが判明しました。
subbackを見て取ってくるようにしないと駄目かな。

418 ：音楽侍 ◆NtVkSITE ：01/09/08 20:59
>>417
今朝未明からdat直覗きが出来なくなってますね。

新着レスの表示
掲示板に戻る 全部 前100 次100 最新50
名前： E-mail (省略可) :

read.cgi ver5.26+ (01/10/21-)