●転送量削減について●

1 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:04 ID:LJTrwqmY

トラフィック削減になるCGIの仕様（ソースではない）のアイデアを出して
良いところはフィードバックしてもらいましょう。

11 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:46 ID:LJTrwqmY

>>7 apache の「MaxClients」ってあるけど、その制限に行くと
〜に接続してます・・・と長く待たされるからブーイングが出そう。
確かにトラフィック上限はコントロール出来るけど・・・。

12 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:50 ID:LJTrwqmY

apache の設定で回避するのは最後の手段にしてほしいなぁ。

13 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:51 ID:BTalp81I

>>11
転送量自体に足かせがある以上、
どこかにしわ寄せがいくのはしょうがないことだと思います。
CGI自体に流量制限させてもいいかなとは思うんですが、
めんどくさいと思うので最大枠しばりを入れた上で、
しばらくnetstatで流量みて、値の調整を取るのが一番よいのかなと。

# 能動的にパラメータ値を算出して、能動的にパラメータ変更を行うような
# バッチ処理つくってみるのもいいのかも・・・

14 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:59 ID:BTalp81I

>>11
ところでここってcronつかっちゃいけないのかな？
使ってもいいのであれば、
netstatとpsとuptimeを10分に1回ながしてモニターしてみたいなーと。

で、データながめてイケそうな式を書いて、
今度は1時間に一回、こんなのを動かす

・netstat | awk から、平均転送量をみる
・前の日の要求数データと、今とった転送量から、最適同時要求数を算出する
　（次の時間帯の転送量予想値 = 前の日の次の時間帯の転送量×(今とったデータ/前の日の同時間帯の転送量)）
　（0divideになるときは、予想値＝前の日全体の平均転送量とする）
・apacheの設定ファイルをかきかえる
・httpdを首釣らせて設定変更

っていうのを考えたんだが・・・

15 ：名無しさん＠お腹いっぱい。 ：01/08/26 20:59 ID:LJTrwqmY

トラフィックは MRTGで監視するとしても簡単な制限はやっぱり
httpd.conf で絞るのが楽かぁ。
でも夜に見れない連中も出てくるから、この方法だと２ｃｈが衰退してくのは確実。

16 ：名無しさん＠お腹いっぱい。 ：01/08/26 21:01 ID:fYW0XJFY

うーんと、ここはレベルの高い人（煽りではない）が多いので
そんなバカなことやる訳はないということなのかもしれませんが、
例えば
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998823854
というＵＲＬを表示している画面で、スクロールを一番下に下げた状態で
ブラウザの更新ボタンをパシパシやる輩が実はいっぱいいるような気が
するんです。
実際は、最新の２つ・３つのレスが見たいだけなのに、&ls=
なんて知りませんので、「あー遅いな〜」なんてことをいって数百のレスを
受信している人が多いように思ったもので、、、。
read,cgi で表示している画面の「書きこむ」ボタンの横（メールの右でもいい
けど）あたりに、「最新レス１０を見る」とかつければいいような気がしたん
ですが。

17 ：14 ：01/08/26 21:02 ID:BTalp81I

でもさ、14で書いたような、
前の日のトラフィックから、同じ転送量を1時間ごとに変更するのだめかなぁ・・・？

# 前提として、今日の転送量の変化の様相は昨日と似ている、というのがあるので
# ニュース速報板的な変化には追いつけない。
# で、それをなんとかするために、
# ( 今とったデータ/前の日の同時間帯の転送量 ) で、今日の成分を上乗せしてみた

18 ：名無しさん＠お腹いっぱい。 ：01/08/26 21:04 ID:Z6eH4ntM

粘着荒し上げ防止の為
強制sage機能欲しいです
板の主旨にあわないｸｿｽﾚをいつまでも上に
あげ雑談するｳﾞｧｶァ防止してほしい

19 ：14 ：01/08/26 21:04 ID:BTalp81I

>>16
UIの問題もあるね、確かに・・・
最新レス10を見る攻撃もいいのかも。

20 ：14 ：01/08/26 21:11 ID:BTalp81I

補足：
考えの背景は次の通り

・固定値にすると、昼夜のアクセス数の変動に応じて対処できないので
　過剰な防衛処置になってしまう
　→1日のトータル転送量のコントロールができればよい
　　瞬間の転送量は大きくても構わない
　∴1日のトータル転送量を超えないように、
　　1時間ごとの最大転送量をコントロールすればよい。

要はプラントとかでやってる需給予測・供給管理をイメージしてます。
電気・水道・ガスなんかと同じノリです。
前の日だけじゃなくて、前の週の同曜日なんかも参考にするといいのかな。

予測計算に、割りこみ要素を組みこめるともっといいのかも・・・
（なんか事件があったら「突発的に上がる恐れあり」フラグたてるとか、
　amedasから受信した気象情報を盛りこむとか）

21 ：名無しさん＠お腹いっぱい。 ：01/08/26 21:13 ID:LJTrwqmY

>>17 cronでデータを定期収集、confをスクリプトで書換えて httpd -restatの自動化も
可能だけど、おおよそのトラフィック制限ならそこまでシビアでなくても良さそう。

22 ：14 ：01/08/26 21:29 ID:BTalp81I

ふと思うと、14の式には全体の転送量で正規化する式が入ってない。

次の時間帯の転送量 = 前の日の次の時間帯の正規化された転送量×(今とったデータ/前の日の同時間帯の転送量)）
前の日の次の時間帯の正規化された転送量 = ( 前の日1日の転送量累計 / 1日の転送量最大 ) × 前の日の同時間帯の転送量

でも、確かにここまでやると大げさだね（＾＾；
せいぜい、1時間ごとの基礎パターンをスケジュールできればいい程度か。

問題は、固定上限にするとしても、全サーバの転送量を問題としているので、
個々のサーバの転送量の上限というのはどう考えたら良いのだろうか？
MRTGでサンプリングして、比を決めてあげればよい？

23 ：16 ：01/08/26 22:05 ID:fYW0XJFY

>>14 同意サンクスです。
あとＵＩの話でいうと、index2.html の中の「レス１−１００」でレスを
読んだあとに、read.cgi　で「次の１００を見る」とかがでてこないのは
いかにも不自然（時間帯ではでてるのかな？）。
これが「レスを全部読む」クリックへの引き金になっていると言えます。

聞いたところだと。ｙａｈｏｏは１ページの転送バイト数にかなり厳しい
上限数を設けているらしいので、多少は参考にしてもいいと思います。
ただし、あの掲示板の仕様はz絶対にマネしないように（藁

24 ：名無しさん＠お腹いっぱい。 ：01/08/26 22:22 ID:5AbfJUDw

「レスを全部読む」を廃止して、
1-99, 100-199, 200-299, ...
とかいうリンク付けるとかは考えられませんかね。

25 ：名無しさん＠お腹いっぱい。 ：01/08/27 00:15 ID:hWV.ehFQ

>>24 でも良いと思うが、今の仕様で一番痛いのは「前の100を見る」
というのが無いことではないか

26 ：名無しさん＠お腹いっぱい。 ：01/08/27 00:23 ID:TdVtHXw6

>>25
激同

27 ：nobody@通信技術板 ：01/08/27 00:31 ID:DNMdMR.E

転送量をきちんと制御しようとするなら、それ専用のハードを入れないと
根本的な解決は不可能でしょう。
専用ハードだと、TCPの各セッション単位で流量制御するためにウインドウ
サイズいじったりとか、きめ細かい制御ができますが....
値段も高いし、ホスティングだし、ということでソフトウエアで解決できる
対策を考えないといけないですね。

28 ：名無しさん＠お腹いっぱい。 ：01/08/27 00:47 ID:05xroUjM

WEB製作板から覗きに来たんだけど、
この話アチラで何度もも出てたような…
＞24リンク増やすとデータ量が無駄に増える。
あちらではフォーム使って、読みたいスレ数を手動で入れるのはどう？
とか話してた。参照して検討してもらえるとありがたい、
なにせアチラはタグでの減量にかかりきりなので。

29 ：名無しさん＠お腹いっぱい。 ：01/08/27 00:59 ID:zh7GhyIc

クッキーで前回のロード時刻と単位時間辺りの書きこみ数を
記録しておいて、リロード時のレス数(ls=xx)の動的変化を
制御するっているのはどうですか？

30 ：名無しさん＠お腹いっぱい。 ：01/08/27 01:10 ID:CSUZ8fsE

>>29
なるほど。cookie を受け付けない場合は現状どおり
ls で指定されただけ download させ、cookie で
情報がもらえる場合は新しいレスの数+αを ls に指定
するわけですか。実装は楽だし、いい考えですね。

31 ：名無しさん＠お腹いっぱい。 ：01/08/27 01:10 ID:S2ZPZ0xM

htmlを諦める。

32 ：不実SUN ：01/08/27 02:43 ID:gI46IMVY

>>27
それ導入できるといいですねー。
TCPで締めちまうとラクでいいです　動的window-size変更とかキュー数変更。

nddで変更してinetdに首釣らせるか（笑

33 ：名無しさん＠お腹いっぱい。 ：01/08/27 06:01 ID:0cm50H8s

>>9 MaxRequestsPerChildの意味が違うような...

34 ：名無しさん＠お腹いっぱい。 ：01/08/27 06:25 ID:plW.7Hb6

>>31
突き詰めるとそれになるだろうなあ。もしくはhtmlでは
めちゃくちゃ使いにくいシステムにして、かちゅ〜しゃなど、
専用ソフトへの以降を促す、とかになるでしょうね。

35 ：名無しさん＠お腹いっぱい。 ：01/08/27 06:57 ID:H.QW4gEs

TOPページをi-modeページなみにする！
http://cocoa.2ch.net/unix/i/ こんな感じ。
これで当面の削減はOKであろう。

36 ：名無しさん＠お腹いっぱい。 ：01/08/27 07:26 ID:BrafyimQ

read.cgiのソースも後悔した事だし、
bbs.cgiも公開して、windows番を作成。
常時接続してるお子様からお年寄りまでみんなにインストールしてもらって、
2ch.netはインデックスだけってのはどうよ？

37 ：名無しさん＠お腹いっぱい。 ：01/08/27 07:28 ID:xxtDczmQ

197 名前：元＠削除管理委員長 ★ 投稿日：01/08/27 07:23 ID:???
>>182
bbs.cgiは多分公開されることはないです。
これは以前からのひろゆきさんの方針ですから（この状況ですからどうなるか判りませんが）
ただ、UNIX板等、専門板でのアドバイスは大変参考になっているみたいです。

ついでに、私はすでに管理側と言えない立場にあります。
状況を鑑みて、老体に鞭打ってしゃしゃり出てきてるだけです(^_^;)


だそうで。

38 ：　　 ：01/08/27 07:34 ID:qeolEtH2

とにかくindex2.htmlからread.cgi外そう。

39 ：36 ：01/08/27 07:40 ID:BrafyimQ

いや、別にbbs.cgi公開するとかしないとかじゃなくて、
おもろいとおもわん？
ある日、お子様の家に「ケーサツですが、ログの押収に来ました〜」
とか：P
世はブンサンの時代だ死ね〜

40 ：名無しさん＠お腹いっぱい。 ：01/08/27 07:46 ID:2TmLJpg2

>>38
同じ事かな？
index2.htmlでスレを幾つも表示させる必要が無いと思う。
スレが熱くなっているときは、一つのスレに集中してるから。

41 ：力不足ですが ：01/08/27 08:17 ID:7xJ5GgWM

がいしゅつかもしれないけど『全部読む』を廃止し、強制的に20件毎の
ページ制にして。『前 3 4 5 6 7 次』とかってやって見たらどうでしょう。
『>>45付近』を読みたければ、『3』をクリックすればいいわけだ。
全部読みたいひとは専用ツールを使ってもらうようにして。

42 ：力不足ですが ：01/08/27 08:41 ID:7xJ5GgWM

以下、俺の場合の話ね(IE5.5)。参考になれば。

index2.htmlはスレッドリストだけで十分です。
普段見てないスレへのリンクがTOP10表示されているためvlink色で
表示されるし、普段見ているスレもvlinkで表示される。だから使い
勝手も悪い。ツール使えば済む話だけど。
スレッドのTOP10は人気順ではなく、最近更新されたスレッドTOP10
なので、これらの10スレ表示は若干無意味だと思う。せめてTOP3に
削減希望。

『sage進行』って言葉があるので分かるとおもうけど、TOP10って
荒れやすいと思う。TOP10を荒らすコピペ厨房も多いだろうし。

TOP10って誰もが開く部分だから、TOP10をTOP3にするだけでも
効果が数字に出ると思うんだけど、どうですか？

長文でスマソ。

43 ：名無しさん＠お腹いっぱい。 ：01/08/27 08:41 ID:BQJoLuCI

>>41
でも、その分細かくアクセスされたらあまり変わらないような気がする。

44 ：力不足ですが ：01/08/27 08:45 ID:7xJ5GgWM

>>43
あまり変わらないか少なくなるくらいにならないかな？
400くらいまで読んだけど、いつの間にか700まで増えてる
ってことが良くあるんだよね。んで、いつも『レスを全部
読む』を押すんですよ。そこをピンポイントで400付近に飛
べればと…。

45 ：じょるし ：01/08/27 08:55 ID:BQJoLuCI

話し変わるけど
こういうのは？
同じスレへのリロードはある間隔をおかなきゃ出来ない、ていうやつ。
これって既出かな。
どっかに、今までのアイデアまとめたスレかＨＰないっすかね。

46 ：名無しさん＠お腹いっぱい。 ：01/08/27 10:11 ID:F6gYSrDM

>>34
専用クライアント強制はかなり良い手だと思います。
ただ、IEで手軽に使えないとユーザーの広がりがなくなっちゃう
と思うので、個人的にはブラウザだけでもなんとか使えるように
して欲しいですね。かちゅーしゃライクな ActiveX オブジェクト
作るとか。

47 ：名無しさん＠お腹いっぱい。 ：01/08/27 10:21 ID:F6gYSrDM

>>45
read.cgi の手当てについては
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage
を用意して下さってるので、
中期的な手段についてのまとめHP欲しいですね。

48 ：じょるし ：01/08/27 10:23 ID:BQJoLuCI

>>45
さんくす
目　通してみます

49 ：名無しさん＠お腹いっぱい。 ：01/08/28 00:01 ID:rHlhRBPU

問題です。「かちゅ〜しゃ」には広告出ません。
コレを強制して鯖屋さんが納得しますでしょうか？
素人意見ですいません。

ついでにもう一つ、過去ログって圧縮掛けてｌｈａとかｚｉｐでダウンロードさせるわけには行きませんか？
回答して各自のクライアントで見る分には転送料とか掛からないでしょう？
まぁＤＡＴ落ちしていないスレには関係ないですけど、途中参入すると「過去ログ見ろ」と言われるケースも多いので・・

50 ：名無しさん＠お腹いっぱい。 ：01/08/28 01:34 ID:dRUyp/go

>49
前者は板違い。
後者は勝手に圧縮して勝手に展開するしくみが
もうじき入るっぽい。
mod_gzip ってのを使って。

51 ：名無しさん＠お腹いっぱい。 ：01/08/31 07:35 ID:S0BdPnCc

>>50 圧縮しててもユーザーが見るときに展開して渡していたら
転送量削減にはならない...
ディスク消費の削減にはなるけど。

52 ：名無しさん＠お腹いっぱい。 ：01/08/31 10:50 ID:Y7xGKmSk

>>51
だから，違うって．

53 ：名無しさん＠お腹いっぱい。 ：01/08/31 11:30 ID:GxXPjKh6

圧縮ファイルを渡してブラウザが裏で伸張する。

54 ：名無しさん＠お腹いっぱい。 ：01/08/31 17:11 ID:VTdq1UU2

★【２ちゃんねる、売りに出される！】★
http://www.2ch.net/

55 ：５１ ：01/09/02 16:21 ID:uL4R7Gvw

>>53 納得！

56 ：名無しさん＠お腹いっぱい。 ：01/09/04 19:28 ID:wqT5dxIo

この先どうなるんだろ？

57 ：名無しさん＠お腹いっぱい。 ：01/09/04 20:08 ID:LrJUZ21k

過去ログでパスワード入力しなきゃいけないのはなんでだら〜
IDとパスワードおしえてぷりーず

58 ：名無しさん＠お腹いっぱい。 ：01/09/04 22:15 ID:Hmh99ddo

過去ログのパスワードって設定ミスかと思ってたけど、
転送量削減のためなんだなぁ。

59 ：名無しさん＠お腹いっぱい。 ：01/09/05 07:31 ID:.m7HHjDw

100*n番とった人は
＞＞100*n-100*(n+1)を見る
というのを書き込んだらどうでしょう？

read.cgi ver5.26+ (01/10/21-)