■掲示板に戻る■ 全部 1- 101- 201- 301- 401- 最新50キャッシュ型負荷分散システム開発スレッド
- 1 ：名無し娘。 ◆vP.bOZFQ ：01/08/27 19:29 ID:asPJm1Ug
- このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。
参照：http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。
２ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20
その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20
に、それぞれお願いいたします。
- 250 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 17:07 ID:y2CYzMG6
- >>246
帯域制限かけるくらいなら、むしろ２ちゃんねる人口を減らす方がまし、という
感じでしょうか。
- 251 ：anony ◆3XTuRnAc ：01/08/30 19:27 ID:E5ciTOEw
- てことで、どうやらPerlerさんのmirror.plも動いているようですから、次のフェイズに移行しませんか？
私が感じてる課題としては、大きいものから小さいものも含めて
・mirrorサーバーからシームレス投稿できたほうがいいと思う。
「mirror側では投稿フォームを出さず、代りに「投稿する」リンクをread.cgiが作成し、
そのリンク先は2ch本体のスレッドを別ウィンドウで開いて表示、そのWindowsから投稿させる」
というアイディアはだされたけれど、やはりシームレスにいけるに越したことはないとは思うんですね。
となると、「mirrorサーバーに投稿して、mirrorサーバーが即座に本体にpostする」しくみ、ってのが
必要になると思います。そうなると、やはり投稿のレスポンスなども考えると
ミラーが投稿を受け付け→ミラーが本体に投稿→
すぐに本体からデータをmirroring(ほかのミラーからも投稿されているかもしれないのでそれをマージ)
ミラーの内部のcacheから生成したindex2.htmlを表示
みたいな方法になると思うのですが、mirrorのときのレスポンスが悪いですし、問題のトラフィックも
結構ありそうで、解決方法がうまく見つかりません。この線はもうなしで、既出の解決策の方法になるのでしょうか。
・mirror.plなどのディレクトリ構成
細かいことかもしれませんが、やはり、この手のツールを有志で運用する、しかも「キャッシュとして使ってもらう」
ということも考えると、ディレクトリ構成を2ch本体に準ずる必要があると思います。
つまり、
・必要なtarballを、Apacheの$documentrootで展開して動かせば2chと同様のディレクトリ構成となる
という構成になってることが実は運用というか稼動では結構重要ではないでしょうか。
このあたり、ご意見聞かせていただければ幸いです。
- 252 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 20:00 ID:KS31DBTQ
- >>251
ｶﾞｲｼｭﾂで申し訳ないですが。。。
前半について、ミラーが投稿を受け付けるのは、2ch.netの匿名性、
ミラーサーバーの管理者への信頼等がありますので、難ありかと。
action先を xxx.2ch.net/test/bbs.cgi にして、2ch.net 側で登録した
鯖からのPOSTを受け付ける、というのでどうでしょう。
いちおう、投稿者の行動がミラー管理者に見えにくくなると思うのですが。
- 253 ：音楽侍 ◆NtVkSITE ：01/08/30 20:06 ID:7UF/vWVo
- みなさんおつかれさまです〜
>>252
それを言い出すと、read.cgiでもそうなんですけどね。
- 254 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 20:15 ID:KS31DBTQ
- >>253
そうですね。ただ、利用者の心理的な部分では、読んでるのと書いてるのでは
差が大きいと思います。
書いている場合は、コテハンがわかったり、発言内容とIPが対応したりと、
嫌な感じなことが多いですから。
でも、bbspinkを読んでいる、ってのを知られるのは(ﾟдﾟ)ﾏｽﾞｰかもしれません(笑
- 255 ：音楽侍 ◆NtVkSITE ：01/08/30 20:19 ID:7UF/vWVo
- >>254
pinkですか(笑)なるほど。
気をつけないと、いっぺんip-recordableなcgiかませてから
Locationでとばす不心得者が出る可能性もありますしね(笑)
６〜10行程度のperlで記述可能だし。
- 256 ：anony ◆3XTuRnAc ：01/08/30 20:27 ID:E5ciTOEw
- ＞娘。さん
ありゃ、やはりがいしゅつでしたか。失礼しました。
とりあえず、ミラーサーバーでの中間キャッシュにIPさえ残さなければ2chに残るのはミラーの
IPだけってことになるから、何とかなるかなーなどと思ってたんですが、よく考えたらミラー側の
apacheのLogにも残ってしまうんですよね。そのpost用のツールも管理者が改変しないとも限らないと。
やはり「投稿のときにだけは本体にアクセスしてもらう」か、「登録したサーバーからは直接bbs.cgiを呼べるようにする」
しかないのかな。前者だと「面倒だから最初から本体にいこう」とかなっちゃいそうな気もしますが・・・。
- 257 ：名無しさん＠お腹いっぱい。 ：01/08/30 20:53 ID:stSp5H8A
- >>256
2ch.net本体も同じUIにすればいい。
すなわち、read.cgiでは通常投稿フォームは置かないで、
[投稿フォーム]ボタンで別Windowでの投稿というように
シーケンスを統一する。
連続投稿荒らしをある程度抑止できるかもしれないという
期待もある。
- 258 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/30 21:12 ID:xz66aZYk
- ちょっとやり方として可能かどうかはわからないけれど、貼りつけ合成って
できるんでしょうか。
つまり、2chからは&st=1&to=1指定でベースと書きこみフィールドだけ取ってきて、
その中間にキャッシュのデータを挟み込んでやるんです。
これができるなら、1だけは取らなければなりませんが、他は取らなくてもいいです
よね。
- 259 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:17 ID:stSp5H8A
- >>258
IFRAMEを使用すれば可能。ただしUA依存が激しいのでおすすめしかねる。
ついでに、read.cgiに対して&ls=0で0レス取得は提案済み。
- 260 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:21 ID:kBS5NSxo
- いきなりすいませんがプロ技板は閉鎖しちゃったんでしょうか。
read.cgiハックスレを毎日帰宅してから追いかけてたんですが。。ROMですが (^^
残念〜
- 261 ：音楽侍 ◆NtVkSITE ：01/08/30 21:23 ID:7UF/vWVo
- >>260
かちゅう〜しゃ使ってない？
ブラウザから行くと新しいリンク先わかるよ〜
- 262 ：名無しさん＠お腹いっぱい。 ：01/08/30 21:34 ID:kBS5NSxo
- >>260
ありがとッス、piza2に引っ越してたんですね
板一覧はローカルだったのをすっかり忘れていました ＾＾
今mirror.plを導入すべくcygwinを設定してます (ｳｨﾝﾅなんで。)
linuxは何故かNETに晒すのが怖い。。。。んー厨房だ
感謝です
- 263 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/30 22:09 ID:xz66aZYk
- >>259
すまん、私はにちゃんねらーじゃないので、2chをよく知らないんだ。礼儀違
反だったかな？またなんかあったら教えてくださいな。
結論としては>>252のようにbbs.cgiを変えてmirrorサーバからのリクエスト
を受けてもらうのが一番データ転送量が少ないし、その他の問題も少なくて済
みそう、ということでいいのかな。
あとmirror.plだけど、プロセスとして定期的に起動するようなスクリプトも
組みこみが必要ですね。>>158の5のやり方だとログインしっぱなしになるんで。
- 264 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:14 ID:7fOtYCeU
- >263
単に起動するだけだと前のプロセスとファイルを取り合う可能性があるので、
queue に突っ込んで、
前のプロセスの処理が終わってなかったら待つなり諦めるなりの
それなりのスケジューリングをしないと。
- 265 ： ：01/08/30 22:15 ID:7ajzWl22
- そろそろ出来た？
- 266 ：名無しさん＠お腹いっぱい。 ：01/08/30 22:27 ID:tJ.u7wQ2
- しかし大丈夫なのかなぁ？
ミラーのやりあいで、フレーム起こって
かえって転送量増える事ないのかなぁ？
- 267 ：Perler ◆GSi39OA6 ：01/08/30 22:46 ID:8hpmXoeM
- ではとりあえず、mirror.plに関して、
・コマンドライン引数による、サーバー/板の指定
・多重起動抑制
・デーモン化のコマンドラインスイッチ設置
・ログのgzip化
の変更を開始します。
- 268 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:17 ID:KS31DBTQ
- 後ろ向きな考えでアレですが、ミラーサーバーでの改変や同一性検証を
どのように行うか、展望はありますか？
データを暗号化して公開鍵でread.cgiが複合するとか、
ミラーサーバー間&2ch.netが何かのついでにちょくちょくとCRCなりMD5なりを
チェックするとか。。。でしょうか。
- 269 ：Perler ◆GSi39OA6 ：01/08/30 23:29 ID:8hpmXoeM
- >>268
そこまでコストかけても、ミラーサーバー側のスクリプトいじられたらアウトなんですよね。。。
公開鍵で復号はいい案だと思うんですが、Rangeでのログの取得が出来なくなりますし。
どうしましょうか。。。?
- 270 ：Perler ◆GSi39OA6 ：01/08/30 23:55 ID:8hpmXoeM
- >>46
と私も思ったんですが。。。
現状のApache(1.3.x以降)だと、nph-する、しないに関わらずhttpd側でのバッファリングは一切やらない
(クライアントにリダイレクトしちゃう)みたいなので、昔のApacheで言われていたバッファリングによる
オーバーヘッドの回避はないらしいです。
ヘッダのパースで生じるオーバーヘッドもほとんどないような気がします。
- 271 ：Perler ◆GSi39OA6 ：01/08/30 23:56 ID:8hpmXoeM
- >>270 すみません、誤爆です。。。
- 272 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 23:57 ID:KS31DBTQ
- >>269
どの程度負荷がかかってしまうかとかわからないので、様々な方々の意見を
お待ちしたいです＞公開鍵
CRC とかチェックサムっぽいのならば、サーバーＡが dat 更新のリクエストを
出して、サーバーＢが応答して dat(差分) を送信した後に、Ａに更新後の CRC を
算出させ、Ｂのそれと一致しない場合にはアラートをだす、とか。
これを、複数のサーバー間で dat 更新のたびにやらせれば、１つのミラーサーバー
管理者が悪意をもってもだいじょうぶだと思います。
# ミラーサーバー内でさらにDISK内容をミラーさせて、read.cgiに見せるdatと
# mirror.plに見せるdatを変えられたら、ダメですが(笑
改変されないことはひとまずおき、改変されたら周りの鯖が気付くことで必要十分ですね。
- 273 ：名無しさん ：01/08/31 00:01 ID:K0661yX.
- 既出でしょうが
read.cgiを国内キャッシュ鯖において、ＲＯＭはそこで処理
big鯖にはbbs.cgiをおいて書き込み処理＆キャッシュ情報
更新をやらせるという形は？
少なくともhe.netに入る前にF5攻撃とROMは阻止できる。
キャッシュ鯖はbbs.cgiから送られるdatを表示するだけだから
ミラー鯖のような同一性検証も必要ない。
- 274 ：名無しさん ：01/08/31 00:03 ID:x2Bz1IF.
- このスレで開発してるのは、P2Pではくて、書込バケツリレー頂点サーバーからねずみ算式に
mirrorが読んでいくシステムではないかと．．．
- 275 ：名無しさん ：01/08/31 00:08 ID:K0661yX.
- >>274
273だが折れがいいたかったのはまさにそーゆーシステムなのだが・・・
- 276 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:11 ID:.hIWo2j.
- >>273
キャッシュ鯖での改変は。。。
>>274
スレ立てるときの間違えです。申し訳ありません。
- 277 ：２７４ ：01/08/31 00:20 ID:uajIN0xc
- >275
スマソ、もっと上に向かって書いたつもりだったよ、失敬。
>276
datディレクトリの更新チェック毎コピーだから問題ないのでは？
上位鯖から更新毎に通知してくれればロスは無いと思われ
- 278 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:37 ID:.hIWo2j.
- >>277
全コピーですか？
それだと、datの差分転送ができなくなりますが。
差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。
- 279 ：名無しさん ：01/08/31 00:40 ID:K0661yX.
- それでも無用ＲＯＭとＦ５攻撃の遮断だけでも
効果はあると思う
どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と
差分転送と両方やれば？
- 280 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 00:43 ID:.hIWo2j.
- >キャッシュ鯖分業化と差分転送
その、本質的な違いがわからないのですが。。。
- 281 ：腐卵 ◆r4/JZF2o ：01/08/31 00:43 ID:XN8TPsgk
- >>278
悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。
mirror.pl でも悪意による改変は可能では？
転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。
- 282 ：273 ：01/08/31 00:44 ID:K0661yX.
- あっと・・・
どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に
キャッシュ鯖に更新されたdatを配信するという考えだったのだが。
cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。
たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。
- 283 ：anony ◆3XTuRnAc ：01/08/31 00:45 ID:Lkdpz9pY
- >>268-272
そんなに深刻になる必要は実はないんじゃないでしょうか。
というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い
タイミング)で検出する」必要はないのじゃないかと。
つまり、必要なのは、
「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか
いないかを確認する方法」
だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。
というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、
「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。
たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」
というときでも、Masterである2chサーバーには生き残っているわけです。
たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に
誰でも確かめられるんじゃないでしょうか。
１．GUI画面プログラムとする。
２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する
３．「チェック」を実行すると、以下のように動く
３．１ 2chサーバーから「マスターdat」をダウンロード
３．２ ミラーサーバから「疑惑のdat」をダウンロード
３．３ 行毎に比較を行い、改変や追加削除があるかどうかをチェックする
３．４ 左右分割画面にて、改変追加削除があった場所の表示やその個所の
dat行のレンダリングを行う。
まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、
2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの
負荷がかかりかねませんが・・・。
- 284 ：腐卵 ◆r4/JZF2o ：01/08/31 00:49 ID:XN8TPsgk
- >>283
両方を wget なりで落としてきて、diff（藁
- 285 ：音楽侍 ◆NtVkSITE ：01/08/31 00:54 ID:NnB1zrp2
- ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑)
サーバは、クラッキングでもされない限り、責任者の所在が露出するから。
でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。
- 286 ：初期不良 ：01/08/31 00:57 ID:St7MFrmY
- くさちゅー変換キャッシュサーバとか出てきそう
改変できることをプラスにとってみたら？
- 287 ：anony ◆3XTuRnAc ：01/08/31 00:58 ID:Lkdpz9pY
- >>284
まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、
しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。
- 288 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:24 ID:K0661yX.
- >>280
キャッシュ鯖分業化
279がいいたいのはread.cgiを国内のサーバーにおいて
読むだけのリクエストはそこで対処する。
書き込みがあった時だけbig鯖に処理を任せると言うこと。
これでＲＯＭの分だけbig鯖への転送量が下がる。
差分転送
普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で
（詳しくは知らないので勘弁してくれ）
更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。
上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時
キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば
big鯖からキャッシュ鯖へ転送する情報量が
書き込みによって追加されたレスの分だけ転送すればよくなるので
特に多くのレスがついているdatのときはそれだけ転送量を削減できる。
- 289 ：98er ◆8OGY65D6 ：01/08/31 01:31 ID:kGkxktsU
- >>298
で、mirror で今一番問題なのは レスあぼーん だと思った。
差分転送なら楽だけど、削除したら減るか同一byte。
まぁ、１スレ全部転送すれば済むのかな。
- 290 ：98er ◆8OGY65D6 ：01/08/31 01:32 ID:kGkxktsU
- >>289
のはレス先誤爆。正しくは >>288
- 291 ：腐卵 ◆r4/JZF2o ：01/08/31 01:34 ID:XN8TPsgk
- >>289
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&st=450&to=450&nofirst=true
このあたりとか。
- 292 ：音楽侍 ◆NtVkSITE ：01/08/31 01:37 ID:NnB1zrp2
- いまのミラー化って、dat落ちが発生したらどう管理するんですか？
個人的にはかちゅ〜しゃ使っているので、datで残るのはうれしいんですけどね。
- 293 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:52 ID:K0661yX.
- >>290
まさしくその通り。単純増加なら簡単だがあぼーんという問題がある。
どこかのスレにあったが、datのフォーマットに
あぼーんを意味するコードを作って置いて、
そのコードを受信したら対象のレスをキャッシュ側で消す、という
こともできるんじゃないかな？
- 294 ：名無しさん＠お腹いっぱい。 ：01/08/31 01:53 ID:XsEuxm5g
- すいません。
キャッシュ用read.cgiのパール版を１７さんのread.cgiをいじって作ったのですが、
ファイルの置き場所ってあります？
１）SERVER.TXTを置くことで、いろんな板のミラー化に対応可能
２）書込みフォームを削除して、書込みする場合は、本家のread.cgiを呼び出す。
（その場合nofirst=trueでレス1つだけ）
３）ミラーに対応する.datファイルがなければ、本家にread.cgiもしくは過去倉庫どちらかに
移動できるようにリンクがでる。
ってようなやつですが。
- 295 ：腐卵 ◆r4/JZF2o ：01/08/31 01:54 ID:XN8TPsgk
- >>292
mirror.pl をざっと読んでみた限りでは、ファイル削除 or 移動って部分はなさげ。
４０４とか換えされたら、そのままエラーにしてるっぽい。
- 296 ：aki ：01/08/31 02:03 ID:YI9wG.Qg
- >>294
ftp://210.170.170.118/incoming/ とか。
cvsとsshが使えるならCVSレポジトリも上がってます。
ftp鯖内のファイルに使い方は書いてあります。
- 297 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 02:11 ID:.hIWo2j.
- >>281 >>283
改変可能でも、どこまで検出しようとするかの問題かと。
信頼性は大事だと思うんです。もちろん、それでもっと大事なものを
犠牲にしちゃあいけませんが。
>>284 >>287
それやるならCRCなりを算出させれば。4桁でも十分。
ミラーリングする場合でも、networkへの負荷はできるだけ下げなければ。
>>288
激しく同意ですが、それはすでにこのスレで激しくｶﾞｲｼｭﾂ。。。
>>289 >>293
read.cgi で実装された raw_out と同じ方式で、結論として全部転送になるかと。
>>295
そうすると、スレあぼーんは・・・。kako送りも。
- 298 ：Perler ◆GSi39OA6 ：01/08/31 02:11 ID:KVFMabyg
- ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.3
アップロードしました。
そうですね、あぼーん対策をすっかり忘れていました。。。
今回更新したのは以下。
・オプションに対応、細かい指定が可能に
・シグナル受信時にファイルハンドルを閉じるようにした
・デーモン化するオプションを追加
・沈黙モード追加
・無限ループモード追加。ループ間隔指定可能に
コマンドラインオプションが大量に追加されました。
-dを付けるとデーモン化します。
mirror.pl piza2.2ch.net/tech
とすると、piza2.2ch.netの、tech板を読みに行きます。
mirror.pl piza2.2ch.net:8080/tech
とすれば、80番ポート以外も大丈夫。
その他のオプションは以下。
usage: mirror.pl [-dvhfq] [-s server] [-p port] [-b BBS] [-l dir] [i interval] [
server[:port][/bbs]]
mirror.pl connects [server] on port [port], and retrieve message-data
named [bbs].
Options...
-d Run as a daemon.
-v,-h Show this massage.
-s Set server name.
-p Set port number.
-b Set BBS name.
-l Set log directory.
-f Forever loop.
-i Set interval(defailt: 60)
-q Quiet mode
- 299 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:14 ID:XsEuxm5g
- >>296
WINな人なんで、cvs使えません。
mirror_read_cgi_per.tar.gz
で置きました。
中にdocファイルも一緒に入れてあります。
- 300 ：踊る大捜査線 ：01/08/31 02:15 ID:cWiTsGz2
- >>299
wincvs 入れとけ
- 301 ：音楽侍 ◆NtVkSITE ：01/08/31 02:17 ID:NnB1zrp2
- 先の話になるでしょうが、mirrorの機能のために、datに変更を加えるすべてのcgiに、idxファイルなんかをつくって、ステータス管理してもらえると助かるですね。
- 302 ：299 ：01/08/31 02:32 ID:XsEuxm5g
- >>300
wincvs探しに逝ってきます。
- 303 ：aki ：01/08/31 02:34 ID:YI9wG.Qg
- >>299
Cygwinでも可。
むしろgcc使えるし。
- 304 ：98er ◆8OGY65D6 ：01/08/31 02:37 ID:kGkxktsU
- とりあえず read.cgi を mirror 対応のために、
(counter++ % server_num)==0 だったらそのまま 200 Ok,
0 以外だったら 302 Moved temporarily, Location: mirror URI
というように改造したら如何でしょうか。
まだ早いかな？
- 305 ：武道版棲息 ：01/08/31 02:40 ID:CM.kHQF2
- みんな、俺は専門知識はなんも分からんがかっこいーぞ！！
がんばってくれ！！
- 306 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:44 ID:Lkdpz9pY
- ＞Perlerさん
お疲れ様です、早速実験投入してみます。
＞娘。さん
うーん、やはり逐一のチェックは必要でしょうか。
それやるとキリがないんで、「チェッカ」だけ作って
あとは「確かめたければ自分で確かめろ」としたほうが
潔いと思います。
ミラーサーバー上のread.cgiに、「読みこみ命令された範囲での、
ミラー上のdatとマスター上のdatの改変有無をチェックする機能
(差分検出でもMD5でも)」を作ったとしても「read.cgiを書き換え」、
つまりチェッカ潰しされれば意味はないし、
基本的にmirror.plもindex.plもread.cgiもソースが公開されちゃう
以上は「改変を自動的に検出する」方法はお手上げではないでしょうか。
bbs.cgiぐらいですよね、「非公開」を貫けるのって。
- 307 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:53 ID:cWiTsGz2
- ＞bbs.cgiぐらいですよね、「非公開」を貫けるのって。
なぜ貫く必要があるの？
- 308 ：名無しさん＠お腹いっぱい。 ：01/08/31 02:58 ID:Lkdpz9pY
- とりあえず、3つほど巡回させてみようと思ったんですが、さすがに
一時閉鎖中の板やhttp://2ch.coco.co.jp/ からのミラーは無理のようですね。
ちょっと残念(^^;;。
とりあえず、生きている板から3つほど巡回させて見ます。
- 309 ：98er ◆8OGY65D6 ：01/08/31 03:03 ID:kGkxktsU
- >>307
ポリシーを保てないからでしょう。
bbs.cgi を書き換えられれば、IP 表示だって可能です。
- 310 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:04 ID:.hIWo2j.
- >>306
うーん。必要かといわれても困ります。。。（＾＾；
読む人が確かめたい場合もあるでしょうが、悪意があれば改変なり、
場合によっては破壊行為ができるとなってしまうと、ミラー鯖が
クラッカーに狙われる可能性も高くなると思います。
もちろん、2ch.netのオリジナルは常に安心のはずですが。
でも、全チェックはつらそうですから、どれくらいのチェックなら耐えられるか、
ご意見が欲しいところです。
できることはやっとこう、って感じでよいかと。
- 311 ：anony ◆3XTuRnAc ：01/08/31 03:05 ID:Lkdpz9pY
- あと、たしかキャップとかの設定が全部あそこに入る
んじゃなかったでしたっけか。＞bbs.cgi
# あ、新しいbbs.cgiではその辺は全部外部ファイルに出して
# bbs.cgiそのものは公開ってことでしょうか。
- 312 ：音楽侍 ◆NtVkSITE ：01/08/31 03:08 ID:NnB1zrp2
- >>311
当然ですよね(笑)
いつもそれが問題になるのですから＞キャップ漏れ
- 313 ：名無しさん＠お腹いっぱい。 ：01/08/31 03:14 ID:PWPehy9g
- 手伝いたいのに俺はマカだちきしょう！！
- 314 ：踊る大捜査線 ：01/08/31 03:14 ID:cWiTsGz2
- >>309
イヤ。
嘘は嘘で見抜けないと２ちゃんねるで遊ぶ資格は無いとの
ポリシーもあったハズ。
- 315 ：anony ◆3XTuRnAc ：01/08/31 03:26 ID:Lkdpz9pY
- ということで、巡回開始させて見ました。
ターゲットは
piza2.2ch.net/tech
cocoa.2ch.net/unix
yasai.2ch.net/suisou
www2.bbspink.com/ascoo
www2.bbspink.com/801
といったところです。suisouは自分がよく行ってた板、
bbspinkの二枚はまあネタ半分ということで(笑。
＞娘。さん
いや、自分の主張というのは、「思い立てばいつでも簡単に
チェックができ、結果も見やすく表示できる仕組み」さえできれば、
mirrorサーバでの悪意ある書き換えやクラッキングの対策処理ってのは
あまり重要ではないのではないか、と。
もし改竄を防ごうということであれば、RSAなどの非対称鍵で
１．本体dat→秘密鍵で暗号→gzip → mirrorでgungzip→暗号化dat→gziped
２．read.cgiでは、暗号化datをgunzip→本体の公開鍵を使って復号→平文dat
→HTMLへ
という流れになるでしょうか。ミラーのdatファイルには「暗号化」された
まま置いておけばこれをいったん復号した上で改変したとしても、
暗号化datには戻せないということになります。
ただ、この場合はread.cgiの改変(暗号化datではなく平文datから
HTMLを生成させるようにする)には弱いですが・・・。
- 316 ：anony ◆3XTuRnAc ：01/08/31 03:29 ID:Lkdpz9pY
- あ、上の書き込み、
１．本体dat→秘密鍵で暗号→gzip → mirrorでgungzip→暗号化dat
です。最後のgzipedは不要です。失礼しました。
- 317 ：名無し娘。 ◆vP.bOZFQ ：01/08/31 03:36 ID:.hIWo2j.
- >>315
Perlerさんからも指摘されましたが、その方式だと、差分転送使えないんですよね。
で、ファイル共有とかの設計思想って、やっぱり穴がないことを目指した方が
いいと思うんですよ。クラックされるかどうかよりも、クラッカーに狙われるか
どうかが重要だったり。それでなくても、２ちゃんねるをミラーするなんて
目立つことやっていただくわけですから＞鯖提供者の方
そういう意味では、4桁CRC程度で十分だと思います。
もっと単純化された方式でもいいかもしれないです。10行に１回とか100行に１回とか、
ファイルサイズが減少するときだけとかでも、いいかもです。
- 318 ：anony ◆3XTuRnAc ：01/08/31 04:11 ID:Lkdpz9pY
- うーむ。難しいですね。
それではおいらはそろそろ寝ます。
例によってミラーはまわしっぱなしにしておきます。
- 319 ：名無しさん＠お腹いっぱい。 ：01/08/31 06:54 ID:l.Akto1I
- えーっと、ミラーを動かしてみました。
とりあえず2つほど巡回中です。
一応、ちゃんと動いているようです。
http://sc.dip.jp/mirror/dat/accuse/index2.html
http://sc.dip.jp/mirror/dat/tech/index2.html
- 320 ：てんてんdwp@ yankee.tokyo-nazo.net ：01/08/31 10:49 ID:Efcez.O6
- cgiの扱いがごちゃごちゃになってきたので、場所変えました。
＃専用id作った（笑）。
http://www.tokyo-nazo.net/~tester/mirror/dat/tech/index2.html
に移動です。
- 321 ：Perler ◆GSi39OA6 ：01/08/31 14:36 ID:KVFMabyg
- あぼーん対策とりました。
2,3バイト余分に読んで、ファイルとの整合性を見てます。
これから出かけますが、急作りのソースなんで、帰ってきたら
綺麗に作り直します。
ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.4
- 322 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:31 ID:4pKNOack
- > あぼーん対策とりました。
頼んだら、固定長あぼーんにはならないもんなんだろうか？
なんなに転送量減らしたがってたのに。
- 323 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:33 ID:4pKNOack
- なんなに → あんなに
つーか、Perler氏はこんな時間に書き込んでいるがプーなのか？
- 324 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:44 ID:mJ/QDeRE
- >>323 んなぁこたぁないっしょ
これまでのPerler氏のカキコ見ればわかると思うけど
仕事の合間をぬってやってるのだと思われ
# どうせ勤務時間中にここ見てるヤツ多いっしょ？
- 325 ：名無しさん＠お腹いっぱい。 ：01/08/31 15:51 ID:z32xs4vg
- >>323-324
それは言っちゃダメ☆
- 326 ：名無しさん＠お腹いっぱい。 ：01/08/31 16:44 ID:t6PLs/UQ
- 2chがビッターズオークション！1000万円！
- 327 ：Perler ◆GSi39OA6 ：01/08/31 17:08 ID:KVFMabyg
- >>322
>頼んだら、固定長あぼーんにはならないもんなんだろうか？
それは、bbs.cgiの方の話になるのではないかと。
>>323
違いますよ。
- 328 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:17 ID:WfXe/smI
- >269 >306
read.cgi 等を丸ごと定期的に転送してチェックって意味無いのでしょうか。
binaryファイルのチェックはmirrorと同じ開発環境が必要で面倒ですが。
チェックするタイミングを読まれないように平均頻度だけ決めてランダムで。
- 329 ：326 ：01/08/31 17:19 ID:VTdq1UU2
- http://www.2ch.net/
＞ 今までがんばってくださった削除人さんや復帰屋さんなどボランティアの方々、、、
＞手立てをしてくださったUNIX板、WEB制作板の方々、、、
＞そして、ずっと2chを使っている参加者の方々、、、
＞今まで、ありがとうございました。
＞
＞おいらの力が足りず、このような結果になってしまいました。
＞申し訳ありません。
＞
＞
＞
＞
＞
＞
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。
＞夜勤さんは悪くない。
- 330 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:22 ID:fFABwrgw
- ４００億の値段がついてるようだが・・・？
- 331 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:24 ID:fFABwrgw
- １０兆円でエラーになった・・・
- 332 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:56 ID:YhC0IV3I
- これぞキャッシュ型だな…
- 333 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:04 ID:pc6LiiK.
- >>332
それだ!
- 334 ：名無しさん＠お腹いっぱい。 ：01/08/31 18:18 ID:4pKNOack
- > これぞキャッシュ型だな…
キャッシュで４００億は無理だろー。
- 335 ：Perler ◆GSi39OA6 ：01/08/31 18:52 ID:KVFMabyg
- ftp://210.170.170.118/incoming/perler/mirror/mirror.pl.5
ftp://210.170.170.118/incoming/perler/mirror/index.pl.3
修正版アップロードしました。
mirror.plは主に、スクリプトの整形を行ったので、特に大きな変更はありません。
画面が流れていくのが無駄だと感じたので、エスケープシーケンスで画面が
流れるのを止めました。それから、エスケープシーケンスを使わないオプション
-r(raw)を追加しました。
index2.plはエスケープシーケンス対応(こちらも-rで抑制できます)の他に、
スレッドのレス数が1つ少ないバグを修正しました。
- 336 ：名無しさん ：01/08/31 19:00 ID:qCr.kTaI
- >>335
Perlerさん、もういいんだよ（泣）
- 337 ：批判要望板から転載 ：01/08/31 19:04 ID:OC7kf1.s
- なんかこれ読んでて北杜夫のエッセイ思い出したよ。
自分が死んだ事にして葬式をやって参列者の様子を
見ようと思ったが人としてあまりにもどうかと思う
から止めたとかいう内容だったが今回の騒動は
これとまったく同じだったわけか。最初から
転送量騒動なんかなくってここに至るまでの
伏線だったと言うわけか。ＵＮＩＸ板の人も
プログラム板の人も管理側の掌で踊っていただけ。
だけど素直に笑えないな。人の善意を利用して
それを笑うと言う趣向は好かん。
- 338 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:06 ID:.kXjF96A
- 転送料危機はネタではないと思われ。
2chがどうなろうと、ここやプロ技板でやってることは無駄にはならない。
- 339 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:PWPehy9g
- read.cgiを設置するときの夜勤さんの感謝はネタではないと思う。
ただしオークションはNETA！！
- 340 ：名無しさん＠お腹いっぱい。 ：01/08/31 19:12 ID:lieJqDvo
- スレと関係ないことを書き込んでいる厨房は放置ってことで
逝きましょう。にしても、多いな…。
- 341 ：腐卵 ◆r4/JZF2o ：01/08/31 19:25 ID:XN8TPsgk
- ２ｃｈ売りはネタ。http://members.tripod.co.jp/tera_link/2chheisa.html
９月末までは確実に残ると言う意見もどこかであったはず。
たぶん、そこまでは確実に残すでしょ。
転送料危機はマジでしょ。そして、転送量を減らす努力は
いろいろな意味で無駄ではないと思われ。
- 342 ：う〜む ：01/08/31 21:36 ID:Jke38zmA
- 2ch売りはネタでしょう
第一何を売るんだ？
これか？
http://www.2ch.net/
ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
んじゃないかな
- 343 ：にはん ◆/gWayilU ：01/08/31 21:49 ID:WNhJn6Gw
- >ひろゆきなしでも2chは成り立つし、その事にひろゆきは気づいている
>んじゃないかな
これを言い出すなら、ほとんどが国内トラフィックで閉じることの出来る2chのサーバ郡を
he.netの配下に置いたままの前提で話しているこのスレの意味が変わるかと。
# 非効率極まりない
- 344 ：音楽侍 ◆NtVkSITE ：01/08/31 22:10 ID:6ZIWZduk
- >>343
もっといえば、完全にオーバーコストのhe.netにいつまでも通信回線料を払うのだったら、むしろアメリカにオフィスを用意して、回線の一次卸元になった方がよろしいのじゃないかと。
っていうの、２回目ですけど。
- 345 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:19 ID:zeO5jSvo
- 管理側が正式発表しない以上ネタかどうかはわからん
みんな貴重な時間を裂いて取り組んでるってのに
おふざけにも程度ってもんがあると思われ
- 346 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:24 ID:xF/ewMI2
- というよりおふざけでも 1千万で売るなんて言葉みたら正直げんなり
ひろゆきさん、これ商売なら自分で頑張って下さいな
- 347 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:27 ID:pc6LiiK.
- >>338
開発スレちゃんと追っかけてないんだけど、
今つくってんのは 2ch がなくても動くシステムなのか?
- 348 ：にはん ◆/gWayilU ：01/08/31 22:33 ID:WNhJn6Gw
- で、スレ元の話題に戻すけど、記事データのありかをhe.net配下の2ch,net前提で話をするのか、
そうではないのかによってこのスレで目指すべきシステムって変わってくると思うのだけど、
どうかな。
巨大サイトのまま全ての「大幅な」トラフィック減を目指すのと、
（板ごとに記事保管している鯖が違うとか）比較的小規模な、っていうか「普通の」掲示板
サイトと同程度な規模の（ラウンジとか速報系はそうもいかないだろうけど）掲示板への
リンク集+サブドメイン供給元になる、という激しく既出ではあるがまっとうな体裁の
効率化（そして、そこにこのスレとかで議論しているような仕掛けを突っ込んでより多く
負荷を軽減する）のと、どっちがいいだろう、という話が再燃してしまうかもしれないけど。
# で、今のこのスレはどっち前提なの？
- 349 ：名無しさん＠お腹いっぱい。 ：01/08/31 22:33 ID:q.ZfcRSM
- >>345
まあ同感。トップページに「2ch売ります」だけならともかく、
オークションはやりすぎだと思うなぁ、明らかに＞ひろゆき
続きを読む
掲示板に戻る 全部 前100 次100 最新50read.cgi ver5.26+ (01/10/21-)