元RX-7乗りの適当な日々

トップ>IT>自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ

2009-11-25

自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ

本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！

1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。

田中さん(id:stanaka)のオープニングセッション

自作サーバは安い早いうまい
- 必要十分な仕様
- 部品単位で調達・組立
- 独自のカスタマイズ(SSD使いたい、など)
  - はてなでは1年くらいSSD使っている！

安い
- Core2Quad + 8GB + SSD X25-M 80GB
- \100,000 + 5,000/month (1A)
  - \160,000/year
- Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる

自作サーバの将来
- ベースとなる処理 ⇒ 自作サーバ
- 突発的な処理・負荷 ⇒ クラウド

はてなの自作サーバの実際

株式会社はてな
吉田晃典氏 (id:marqs)
インフラチームのエンジニア
2008/05入社
ハードウェア全般、データベース、バックエンドアプリなど担当

はてなの自作サーバ

ハーフ1Uシャーシ(marqs-60)
- フロントアクセス
- さくらiDCに最適化設計
- シャーシ奥行き310mm
- リア吸気、フロント排気
量産化
- 半年運用
- 90台以上運用

スペック
- Intel DQ45CB
- Core2Quad Q9400
- 8GB (Transend => ACTICA)
- シャーシ・電源スイッチは自社開発

シャーシ

設計はid:marqs氏
製作は板金工場の職人さん
440mm x 43mm x 310mm
本体
- 処理鋼板1.2mm厚
- ケーブルガイドをスポット溶接
耳
- メッキ加工

電源

Enhance社のFlex300
初期
- 延長ケーブルで対処
- 毎回延長ケーブルを発注/取り回しが難しい
現在
- 業者に依頼してケーブル長をカスタマイズ/取り回しGood
- カスタマイズ電源価格＜ (電源＋4pin延長＋24pin延長)の価格

電源スイッチ

最初期
- ドライバ？で突いてた
初期
- ユニバーサル基盤に自作ハンダ(最初の10台)
現在
- プリント基板業者に依頼して一括作成(実装を安くやってもらえる)
- (ユニバーサル基盤を使っている)

消費電力

低負荷(アイドル)時0.5A
高負荷時1.1A
平均0.7〜0.8A
1電源あたり15台
1ラックに45台

ラッキング

ラックに60台収納可能
実際は電源の制限あり〜45台
M6ケージナット x 4 で取り付け
レールは無し(レール自体は完成している)
L字アングルで使える
タップ位置重要
- (8口の電源タップをサイドに取り付けている)

用途(1) アプリケーションサーバ

Intel DQ45CB + 2.5inch HDD x 1 + 8GB Memory
基本かつ最安構成
HDDが壊れたら即交換
Pros: 価格・機動性・AMTでリモートON/OFF
Cons: DDR2メモリが高騰している(が、あらかじめ予想して、はてなでは買いだめしているｗ)

用途(2) DBサーバ

Intel DQ45CB + Intel SSD X25-M + 8GB Memory
DBスレーブ
Intel SSDは、まだ1台も壊れていない
- (安物SSDは壊れまくった)
Pros:SSDいけてる(Readのパフォーマンスがかなり良い)
Cons: SSDの入手性(はてなでは買いだめしているｗ)/搭載メモリの限界

用途(3) ネットワーク特化サーバ

サーバ用M/B(LANx2 + IPMI)
トラフィックの多いところ(ルータ、LVS)で利用
- はてなでは10台くらい
最安構成＋25000円程度
ネットワーク担当エンジニアid:maoe氏が愛用
Pros: NICの性能・IPMI・メモリレイアウト
Cons: 入手性・価格

用途(4) ストレージサーバ

2Uハーフサーバ
- 既存のシャーシを2枚重ねて、2階建て構成
  - (既存のシャーシを使いまわせるので、シャーシの納期を気にしなくて良い)
- MogileFS用クラスタに使用
Pros: 高密度、特別なパーツが不要、常にギガバイト単位の安いディスクを投入できる(最近は1.5TB使っている、年明けには2.0TBにする予定)
Cons: HDDを選ぶ(ピンアップ電流が足りなくて2発しか使えない場合があった)、SATA電源分岐ケーブルが必要、ホットスワップができない

まとめ

自作サーバを量産して
- ベンダ製サーバを1年くらい買っていない
  - (自作サーバで事足りている)
- アーキテクチャを自分で決められる
- ハードウェアトラブルを自分たちで解決する覚悟
今後
- P55などLGA1156(今はLGA775など)
- ホットスワップ可能なモジュール
- RAIDカードの搭載

質疑応答など

どんなハードウェアトラブルが多いか？
- 電源が足りなくてディスクが全部が動かないとか、BIOSを新しくしないとAMTのリモート管理が使えなくなったりとか。
リコール対策はどうしているか？
- 特別なことはしていない。壊れたら捨てる。まったく使えなかったパーツはあまりない。
ハードウェアが壊れたときの対応は自社でやっているか？
- すべて自社で行っている。インフラエンジニアは社員が4人、バイトが3人。実際にDCで手を動かしてるのはバイト。
熱対策は？
- さくらのデータセンターに任せている。下から冷気があがってくるだけ。
深夜の対応は？
- 駆け付けは必要だろうけど、リモート対応で大体カバーできる。ここ1〜2年はリモート対応だけ。

追記：自作サーバカンファレンス各セッションの動画

よく考えたらUstなので、各セッションの動画が公開されていますね。
どのセッションも大変参考になる話ばかりです！気になった部分だけ掻い摘んでメモを貼っておきます。
どこも自作サーバのM/BはIntel DQ45CBでしたね。大人気。
あと個人的に、チームラボさんのサーバオフィスの話は、運用ストーリー(苦労話)が普通に面白すぎるので是非みてくださいｗｗｗ

自作サーバ170台、全て自社サーバルームで運用
pixiv、140万ユーザ、9億5000万PV/月、3300万PV/日
ベニヤ板にすべてのパーツが載っている自作サーバ！約5万円/1台
- サーバの固定はガムテープで、ちなみにGoogleはマジックテープらしい
自社サーバルームの電気代は、電気使用量125A(2009/11現在)で、1台あたり平均0.7〜0.8Aの消費
電気代 (オフィス分込み)
- 2007/10: \91,666 (pixivリリース、社員8人)
- 2008/10: \175,696 (サーバ70台、社員10人)
- 2009/8: \312,226 (サーバ120台、社員20人)
回線の太さは2Gbps以上だが、ルータは家庭用ブロードバンドルータを使っている！

自作サーバ運用アメーバピグ編 (サイバーエージェント、桑野氏)

http://www.ustream.tv/recorded/2638413

アメーバピグ(Amebaのアバターサービス)、2009/2オープン、2009/11現在150万ユーザ
ストレージサーバ(低コストで安定したサーバ)と高密度サーバ(スケールアウト前提で、AtomとCore2Quadを用途で使い分け)で自作サーバを使う
- Core2Quadモデルは、Web・APサーバ等、ロードバランサで負荷分散される用途
  - アイドル0.4A〜0.5A、最大負荷時0.9〜1.0A
- Atomモデルは、分散KVS
  - アイドル0.3〜0.4A、最大負荷時0.4〜0.5A
ラッキングは、16台1組で6U、1ラック最大96台まで搭載できる
1台20分前後で組み立て。100台構築〜インストール〜サーバ設定まで7時間程度
故障率は9ヶ月で4/200、ただし初期不良は結構あるらしい