Movatterモバイル変換


[0]ホーム

URL:


cyberagent, profile picture
Uploaded bycyberagent
1,889 views

12 cyberagent

Embed presentation

Download to read offline
 Chef  による  Zabbix  監視自動化について+α株式会社  サイバーエージェントAmeba  Infra.  Unit長谷川 誠@Zabbix  Conference  Japan  201313-11-231
Chef による Zabbix  監視自動化について / Agenda{    "name":  ”hasegawa_makoto",    "description":  ”Zabbix  Conference  Japan  2013",    "json_class":  "Chef::Role",•  はじめに    "chef_type":  "role",    "run_list":  [•  Chef  とは何か        "recipe[introduction]",•  Zabbix  Server  のセットアップ         "recipe[chef::explain]",•  Zabbix  Agent  のセットアップ         "recipe[zabbix::server_setup]",        "recipe[zabbix::agent_setup]",•  Zabbix  Serverとの連携        "recipe[zabbix::api]",•  まとめ        "recipe[summary]”,•  おわりに        "recipe[closing]”,    ],    ”extra_run_lists":  {        "recipe[zabbix::template_management]",ExtraContents        "recipe[zabbix::custom_style]”    }•  Template  の管理と  deploy}アジェンダ• Classic  style  からの脱却#  chef-solo  –o  zabbix::conference13-11-232
Chef による Zabbix  監視自動化について / はじめにはじめに#  chef-solo  –o  introduction13-11-233
Chef による Zabbix  監視自動化について / はじめにサーバー構築の自動化の仕組みが必要になった背景• • 次々と新しいプロジェクトが生まれていく逆を言うと流行らないものは潰していく重要なのはスピード感• • サーバー構築に時間をかけていると、それだけ開発が遅れることに遅れた分は機会損失につながる機会損失をできるだけなくしていく• • サーバーを構築するまでは既に自動化済み  (chef)しかし構築した後の監視設定までは自動化に入っていなかったまだ自動化できてない部分があるのであれば、自動化しちゃえばいいじゃないまた、すでにある自動化の仕組み(chef)に組み込むのが効率いいChef  による監視自動化を構築13-11-234
Chef による Zabbix  監視自動化について / はじめにWhy  Zabbix  ?一番のポイントは  API  が充実していること•  Nagios(icinga)や  munin  や  cacti  でやろうとするとめんどくさい死活監視とリソース監視に対応している•  Nagios  +  Munin  や  Nagios  +  Cacti  といった構成を  Zabbix  で集約Free  /  OSS•  ありがとうございます13-11-235
Chef による Zabbix  監視自動化について / Chef  とは何かChef  とは何か#  chef-solo  –o  chef::explain13-11-236
Chef による Zabbix  監視自動化について / Chef  とは何かサーバーを構築(Provisioningなんてよく言われてます)する時によく出てくるお話Bootstrapping  /  Configuration  /  Orchestrationココ!Chefは  Configuration  を担当するもの13-11-237
Chef による Zabbix  監視自動化について / Chef  とは何かn Chef  の概念Infrastructures  as  Code• プログラミングによるサーバーセットアップ• 構築手順書を見ながら手動で作業することからの脱却冪等性(べきとうせい)• 何度やっても同じ状態にセットアップしてくれることをある程度担保してくれる• 誰がいつやっても同じクオリティでセットアップしてくれる自動化には欠かせないもの13-11-238
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  のセットアップ#  chef-solo  –o  zabbix::server_setup13-11-239
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    WebChef  の  Recipe  もコンポーネント毎に作成前提条件•  今回は  Database  に  MySQL(5.5)  を使用します13-11-2310
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Webでは  Database(MySQL)  から行きましょう13-11-2311
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[mysql::server]1.  各種パラメーターの自動設定•  innodb_buffer_pool_size  (memory  の  70%)•  innodb_file_per_table•  innodb_file_format  =  ‘Barracuda’•  などなど2.  上記を元に  /etc/my.cnf  を作成3.  パッケージインストール•  MySQL  公式の  rpm  (dev.mysql.com)13-11-2312
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    WebDatabase  の準備ができたところで  zabbix  server  行きましょう13-11-2313
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]1.  パッケージインストールの前に– いくつかの依存パッケージをインストール fping(version  >  3),  iksemel,  snmptt2.  パッケージインストール– 3. Database  の作成– 4. 次ページで詳細を書きます/etc/zabbix/zabbix_server.conf  の作成– 13-11-23Zabbix  公式の  rpm(repo.zabbix.com)DBまわりのパラメータ(DBHost,  DBName,  DBUser  …)設定14
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  Database  作成の詳細• いつもの手順–  CREATE  DATABASE  #{db_name}  CHARACTER  SET  utf8–  GRANT  ALL  PRIVILEGES  ON  #{db_name}.*  TO  #{db_user}@#{db_host}  IDENTIFIED  BY  #{db_pass}• いつもの手順2–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/schema.sql–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/images.sql–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/data.sql• Table  圧縮  (  History  系はディスクを圧迫しやすいので  )–  ALTER  TABLE  #{table}  ROW_FORMAT=COMPRESSED  KEY_BLOCK_SIZE=8»  history»  history_log»  …»  events13-11-2315
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  Database  作成の詳細mysql> SELECT TABLE_SCHEMA,TABLE_NAME,CREATE_OPTIONS,ROW_FORMAT     -> FROM information_schema.tables where ROW_FORMAT = 'Compressed’and TABLE_SCHEMA = ‘zabbix’; +--------------+-------------------+----------------------------------------+------------+ | TABLE_SCHEMA | TABLE_NAME        | CREATE_OPTIONS                         | ROW_FORMAT | +--------------+-------------------+----------------------------------------+------------+ | zabbix       | events            | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history           | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_log       | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_str       | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_str_sync  | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_sync      | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_text      | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_uint      | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix       | history_uint_sync | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | +--------------+-------------------+----------------------------------------+------------+ 9 rows in set (0.01 sec)  先ほど  innodb_file_format  =  ‘Barracuda’を指定した理由はこれです13-11-2316
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  zabbix_server.conf  の作成  DB以外でデフォルト値より変更しているのは下記の設定です• JMXまわり–  JavaGateway,  JavaGatewayPort,  StartJavaPollers• MaxHousekeeperDelete  はちょっと大きくしておく–  MaxHousekeeperDelete=1000  (500)• Cache  まわり– – – – – 13-11-23CacheSize=32M  (8M)CacheUpdateFrequency=30  (60)HistoryCacheSize=1G  (8M)TrendCacheSize=1G  (4M)HistoryTextCacheSize=128M  (16M)17
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Web最後に  web  の設定をしましょう13-11-2318
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]1.  パッケージインストールの前に– いくつかの依存パッケージをインストール httpd,  php– php.ini(or  /etc/httpd/conf.d/zabbix.conf)  date.timezone  =  "Asia/Tokyo"2.  パッケージインストール– 3. /etc/zabbix/web/zabbix.conf.php  を作成– 4. 詳細は次ページAPI  を使った初期セットアップ– 13-11-23Zabbix  公式の  rpm(repo.zabbix.com)詳細は次次ページ19
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]/etc/zabbix/web/zabbix.conf.php  を作成しておくと・・・最初に出てくる  Welcome  画面(setup  画面)が出てこなくなるので最初から  dashboard  が出てきますsetup  画面で行う各種確認は  chef  で構築されていれば確認しなくてもOKなはずというわけでzabbix.conf.php  の作成は  chef  側で作成してしまいます13-11-2320
Chef による Zabbix  監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]API  を使った初期セットアップ生まれたままの  zabbix  server  に対して  API  経由で設定を入れます–  user.create• severity  によって通知先の  Email  アドレスを分けておく–  mediatype.create• 通知  Email  の  SMTP  サーバーの設定等–  action.create• 実際に送信されるメール、リカバリメールの文面• リカバリメッセージの送信設定• アクションの実行条件  (メンテナンス期間外、トリガーの値=”障害”)–  template.delete• 初期  template  の削除–  configuration.import• オリジナル  template  の  import13-11-2321
Chef による Zabbix  監視自動化について / API user.create{     "auth": ”1234567890abcdefghijklmnopqrstu",     "id": 1234,     "jsonrpc": "2.0",     "method": "user.create",     "params": {         "alias": ”zabbix_account",         "name": ”zabbix_account",         "passwd": ”zabbix_password",         "surname": ”zabbix_account",         "type": 3,         "user_medias": [             {                 "active": 0,                 "mediatypeid": 1,                 "period": "1-7,00:00-24:00",                 "sendto": ”crit@makocchi.com",                 "severity": 56             },             {                 "active": 0,                 "mediatypeid": 1,                 "period": "1-7,00:00-24:00",                 "sendto": ”warn@makocchi.com", "usrgrps": [             {                 "usrgrpid": “0"             }         ]     } } 例えば  user.create  だとこんな感じの  json  を  API  で渡してあげます                "severity": 63             }         ], 13-11-2322
Chef による Zabbix  監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Webいろいろ話してきましたが、今までのスライドで書いてきたことがコマンド  1  発(chef-client)で入りますサーバー起動時の  KickStart  に  chef-client  を仕込んでおけばコマンドを叩く必要さえありませんログインしなくても  zabbix  server  ready13-11-2323
Chef による Zabbix  監視自動化について / Zabbix AgentのセットアップZabbix  Agent  のセットアップ#  chef-solo  –o  zabbix::agent_setup13-11-2324
Chef による Zabbix  監視自動化について / Zabbix AgentのセットアップZabbix  Agent  の  recipe  でやることは下記の通り1.  パッケージインストール–  例によって  Zabbix  公式の  rpm(repo.zabbix.com)2.  /etc/zabbix/zabbix_agentd.conf  の編集–  UnsafeUserParameters=1  (必要に応じて)–  Hostnameitem  ではなく  Hostname=FQDN3.  Zabbix  Server  側へ  API  で監視登録–  詳細は次ページ13-11-2325
Chef による Zabbix  監視自動化について / Zabbix AgentのセットアップZabbix  Server  側へ下記の流れで  API  を叩きます1.  hostgroup.create–  hostgroup  が無いと  host.create  できないので2.  host.create–  ipaddress,  fqdn  を登録  (ohaiより自動取得)3.  hostinterface.create–  Jmx,  SNMP,  IPMI  を必要に応じて設定4.  template.massadd–  インストールするミドルウェアに応じた  template  を投入13-11-2326
Chef による Zabbix  監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話•  インストールするミドルウェアに応じて設定する  template  を変える例えば  apache  がインストールされたら  apache  用の  template  を、nginx  がインストールされたら  nginx  の  template  を適用する•  各種ミドルウェアのインストールも  chef  の  recipe  によって行われる•  その  recipe  に設定されるべき  template  を記述しておけばよい13-11-2327
Chef による Zabbix  監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話2•  具体的に書いてしまうとrun_list: [   recipe[zabbix::agent]   recipe[apache] ] •  zabbix::agent  内で  node.set  しておく     node.set[:zabbix][:agent][:enable]  =  true•  apache  の  recipe  側でハンドリングするif node[:zabbix][:agent][:enable]?   Chef::Log::info('use ”zabbix" for monitoring.')   include_recipe “apache::zabbix" end 13-11-2328
Chef による Zabbix  監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話3•  apache::zabbix  には設定すべき  template  名と  API  の処理を書いておく…  zabbix_host node[:zabbix][:api][:server] do   templates [“apache"]   action :create End  API  処理•  全ての  system  で  zabbix  を使うわけではないので、zabbix::agent  を適用させるサーバーのみ  zabbix  api  が叩かれるようにしておく13-11-2329
Chef による Zabbix  監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話4•  こんな感じだと・・・run_list: [   recipe[zabbix::agent]   recipe[nginx]   recipe[memcached]   recipe[mysql] ]    nginx,  memcached,  mysql  の  template  が設定される•  実は  zabbix  以外もできるようにしてあったりrun_list: [   recipe[nagios::agent]   recipe[nginx]   recipe[memcached]   recipe[mysql] ] 13-11-23run_list: [   recipe[munin::client]   recipe[nginx]   recipe[memcached]   recipe[mysql] ] 30
Chef による Zabbix  監視自動化について / おさらいおさらい図にしてみます#  chef-solo  –o  summary13-11-2331
Chef による Zabbix  監視自動化について / 図Host  の登録Template  の適用Cache  ServerDB  ServerWeb  ServerZabbix  Serverchef-clientchef-clientMonitoring  ready!!recipe[mysql::server]recipe[zabbix::server]recipe[zabbix::web]13-11-23Chef  Serverrecipe[zabbix::agent]recipe[apache]32
Chef による Zabbix  監視自動化について /  おわりにおわりに#  chef-solo  –o  closing13-11-2333
Chef による Zabbix  監視自動化について / Ex template managementTemplate  の管理と  deploy#  chef-solo  –c  extra.rb  -o  zabbix::template_management13-11-2334
Chef による Zabbix  監視自動化について / Ex template managementZabbix  の  template  管理はどうされていますでしょうか?• • • • export  した  xml  を  git  や  svn  で管理?git  や  svn  の  xml  を既存の  zabbix  にどうやって  deploy  する?管理用  zabbix  がいてそこで  template  をいじったりしている?してないよ そんなもんあくまで1例ですが、弊社ではどうしているかというと・・・13-11-2335
Chef による Zabbix  監視自動化について / Ex template managementProject  AProject  BProject  Z・・・・・・Zabbix  ServerZabbix  ServerZabbix  Server各  project  の  zabbix  サーバーの監視MasterZabbix  serverDevelopZabbix  ServerAPI  [host.get]API  [template.export]Git  pushHost  list  に対してAPI  [configuration.import]Git  cloneGit  Server13-11-2336
Chef による Zabbix  監視自動化について / おさらいClassic  style  からの脱却#  chef-solo  –c  extra.rb  -o  zabbix::custom_style13-11-2337
Chef による Zabbix  監視自動化について / Ex custom_styleZabbix  にはデフォルトでいくつか  Theme  が入っていますClassic  /  Dark  orange  /  Black  &  Blue  …せっかくだから新しい  Theme  作ってみようかな・・13-11-2338
Chef による Zabbix  監視自動化について / Ex custom_styleこんな感じで  Ameba  色にしてみました13-11-2339
Chef による Zabbix  監視自動化について / Ex custom_styleこんな感じで  Ameba  色にしてみました213-11-2340

Recommended

PDF
20141106_cwt-zenmyo-naito
PDF
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
PDF
Jjug springセッション
PDF
Zabbixのパフォーマンスチューニング & インストール時の注意点
PDF
20160929 inno db_fts_jp
PPTX
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
KEY
Alfrescoクラスタリング入門
PDF
[Alfresco]ドキュメントライブラリのUIカスタマイズ
PDF
Alfrescoのカスタムテーブルの使い方
KEY
Alfresco勉強会20120829: やさしいShareダッシュレットの作り方
PPTX
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
PPTX
5分でインストール!awsでzabbix3.0
PPTX
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
PDF
PowerShell を使用した Hyper-V の管理
PPTX
Zabbix による ms sql監視 ~データベースモニタリング~ odbc
PDF
Zabbix超入門
PDF
[DI08] その情報うまく取り出せていますか? ~ 意外と簡単、Azure Search で短時間で検索精度と利便性を向上させるための方法
PDF
Sc2009autumn s2robot
PPTX
dimSTATから見るベンチマーク
PDF
MySQL最新情報  ※2016年12月
PDF
MySQL最新情報 ※2015年9月5日「第1回 関西DB勉強会」での発表資料
PDF
Windows環境でのMySQL
PDF
States of Dolphin - MySQL最新技術情報2013秋 -
PDF
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
PDF
MySQL 5.7 InnoDB 日本語全文検索(その2)
PDF
オープンソースでシステム監視!統合監視ソフトウェア"Zabbix 1.8"の新機能とデモ
PDF
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
PDF
[D37]MySQLの真のイノベーションはこれだ!MySQL 5.7と「実験室」 by Ryusuke Kajiyama
PDF
STF20131030chrome
PDF
front_server20131218

More Related Content

PDF
20141106_cwt-zenmyo-naito
PDF
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
PDF
Jjug springセッション
PDF
Zabbixのパフォーマンスチューニング & インストール時の注意点
PDF
20160929 inno db_fts_jp
PPTX
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
KEY
Alfrescoクラスタリング入門
PDF
[Alfresco]ドキュメントライブラリのUIカスタマイズ
20141106_cwt-zenmyo-naito
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
Jjug springセッション
Zabbixのパフォーマンスチューニング & インストール時の注意点
20160929 inno db_fts_jp
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
Alfrescoクラスタリング入門
[Alfresco]ドキュメントライブラリのUIカスタマイズ

What's hot

PDF
Alfrescoのカスタムテーブルの使い方
KEY
Alfresco勉強会20120829: やさしいShareダッシュレットの作り方
PPTX
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
PPTX
5分でインストール!awsでzabbix3.0
PPTX
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
PDF
PowerShell を使用した Hyper-V の管理
PPTX
Zabbix による ms sql監視 ~データベースモニタリング~ odbc
PDF
Zabbix超入門
PDF
[DI08] その情報うまく取り出せていますか? ~ 意外と簡単、Azure Search で短時間で検索精度と利便性を向上させるための方法
PDF
Sc2009autumn s2robot
PPTX
dimSTATから見るベンチマーク
PDF
MySQL最新情報  ※2016年12月
PDF
MySQL最新情報 ※2015年9月5日「第1回 関西DB勉強会」での発表資料
PDF
Windows環境でのMySQL
PDF
States of Dolphin - MySQL最新技術情報2013秋 -
PDF
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
PDF
MySQL 5.7 InnoDB 日本語全文検索(その2)
PDF
オープンソースでシステム監視!統合監視ソフトウェア"Zabbix 1.8"の新機能とデモ
PDF
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
PDF
[D37]MySQLの真のイノベーションはこれだ!MySQL 5.7と「実験室」 by Ryusuke Kajiyama
Alfrescoのカスタムテーブルの使い方
Alfresco勉強会20120829: やさしいShareダッシュレットの作り方
自宅ラック勉強会 2.2 夏のZabbix特別教室 ~構築編~
5分でインストール!awsでzabbix3.0
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
PowerShell を使用した Hyper-V の管理
Zabbix による ms sql監視 ~データベースモニタリング~ odbc
Zabbix超入門
[DI08] その情報うまく取り出せていますか? ~ 意外と簡単、Azure Search で短時間で検索精度と利便性を向上させるための方法
Sc2009autumn s2robot
dimSTATから見るベンチマーク
MySQL最新情報  ※2016年12月
MySQL最新情報 ※2015年9月5日「第1回 関西DB勉強会」での発表資料
Windows環境でのMySQL
States of Dolphin - MySQL最新技術情報2013秋 -
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
MySQL 5.7 InnoDB 日本語全文検索(その2)
オープンソースでシステム監視!統合監視ソフトウェア"Zabbix 1.8"の新機能とデモ
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
[D37]MySQLの真のイノベーションはこれだ!MySQL 5.7と「実験室」 by Ryusuke Kajiyama

Viewers also liked

PDF
STF20131030chrome
PDF
front_server20131218
PPTX
Dot_fes2013
PDF
20131107 cwt2013-wdkz
PPTX
AmebaソーシャルゲームにおけるR活用の体制と事例のご紹介
PDF
Abc2013 autumn fujiwara
PPTX
DSS2013CA
PPTX
進化ゲーム理論の枠組みを用いたソーシャルゲームにおけるユーザの利他的行動の分析
PDF
刊行記念セミナー「HBase徹底入門」
PDF
Apache Flume 1.5を活⽤したAmebaにおけるログのシステム連携
PDF
Presto in my_use_case
PDF
Amebaにおけるログ解析基盤Patriotの活用事例
PDF
サイバーエージェントにおけるデータの品質管理について #cwt2016
PDF
Presto As A Service - Treasure DataでのPresto運用事例
PPTX
サイバーエージェント様 発表「OpenStackのNWと物理の話」
PDF
爆速クエリエンジン”Presto”を使いたくなる話
PDF
Amebaにおけるレコメンデーションシステムの紹介
STF20131030chrome
front_server20131218
Dot_fes2013
20131107 cwt2013-wdkz
AmebaソーシャルゲームにおけるR活用の体制と事例のご紹介
Abc2013 autumn fujiwara
DSS2013CA
進化ゲーム理論の枠組みを用いたソーシャルゲームにおけるユーザの利他的行動の分析
刊行記念セミナー「HBase徹底入門」
Apache Flume 1.5を活⽤したAmebaにおけるログのシステム連携
Presto in my_use_case
Amebaにおけるログ解析基盤Patriotの活用事例
サイバーエージェントにおけるデータの品質管理について #cwt2016
Presto As A Service - Treasure DataでのPresto運用事例
サイバーエージェント様 発表「OpenStackのNWと物理の話」
爆速クエリエンジン”Presto”を使いたくなる話
Amebaにおけるレコメンデーションシステムの紹介

Similar to 12 cyberagent

PDF
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
PDF
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
PDF
Zabbix 1.8の概要と新機能
PDF
Zabbix 1.8の概要と新機能
PDF
Zabbix2.0.3の新機能と変更点
PDF
Zabbix社内勉強会資料-Zabbix2.0新機能紹介編-
PPT
OSC tokyo fall 2011 - 統合監視ソフトウェアZabbixの機能紹介とリアルタイムデモ
PDF
Zabbix rails
PDF
運用の現場での監視運用ツールの活用
PDF
Zabbix入門
PDF
Zabbixを徹底活用してみよう ~4.2の最新情報もご紹介~
PDF
ZabbixのAPIを使って運用を楽しくする話
PDF
Zabbix-jp study #4 20111020 session2
ODP
Zabbix study
PDF
zabbixを使ったクラウド環境の監視とツール連携
PDF
第6回 ZABBIX-JP勉強会
PDF
第8回oss運用管理勉強会 Zabbix入門&Zabbix3.0先取り紹介
PDF
オープンソース統合監視ソフトウェア Zabbix 2.0によるクラウド監視
PDF
Osc2013 kansai@kyoto ZABBIX-JP クラウド環境監視効率化
PDF
Zabbix2.0の新機能と今後の開発ロードマップ
 
オープンソースでシステム監視!統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
Zabbix 1.8の概要と新機能
Zabbix 1.8の概要と新機能
Zabbix2.0.3の新機能と変更点
Zabbix社内勉強会資料-Zabbix2.0新機能紹介編-
OSC tokyo fall 2011 - 統合監視ソフトウェアZabbixの機能紹介とリアルタイムデモ
Zabbix rails
運用の現場での監視運用ツールの活用
Zabbix入門
Zabbixを徹底活用してみよう ~4.2の最新情報もご紹介~
ZabbixのAPIを使って運用を楽しくする話
Zabbix-jp study #4 20111020 session2
Zabbix study
zabbixを使ったクラウド環境の監視とツール連携
第6回 ZABBIX-JP勉強会
第8回oss運用管理勉強会 Zabbix入門&Zabbix3.0先取り紹介
オープンソース統合監視ソフトウェア Zabbix 2.0によるクラウド監視
Osc2013 kansai@kyoto ZABBIX-JP クラウド環境監視効率化
Zabbix2.0の新機能と今後の開発ロードマップ
 

More from cyberagent

PDF
WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
PDF
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
PDF
WebにおけるHuman Dynamics 武内慎
PDF
Webと経済学 數見拓朗
PDF
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
PDF
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
PDF
AbemaTVにおける推薦システム
PDF
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
PDF
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
PPTX
インターネットテレビ局「AbemaTV」プロダクトの変遷
PDF
番組宣伝に関するAbemaTV分析事例の紹介
PDF
WWW2018 論文読み会  Webと経済学
PDF
WWW2018 論文読み会 WebにおけるHuman Dynamics
PDF
WWW2018 論文読み会 Web Search and Mining
PDF
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
PDF
ログ解析基盤におけるストリーム処理パイプラインについて
PDF
Orion an integrated multimedia content moderation system for web services
PDF
Orion an integrated multimedia content moderation system for web services
PDF
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
PPTX
"マルチメディア機械学習" の取り組み
WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
WebにおけるHuman Dynamics 武内慎
Webと経済学 數見拓朗
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
AbemaTVにおける推薦システム
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
インターネットテレビ局「AbemaTV」プロダクトの変遷
番組宣伝に関するAbemaTV分析事例の紹介
WWW2018 論文読み会  Webと経済学
WWW2018 論文読み会 WebにおけるHuman Dynamics
WWW2018 論文読み会 Web Search and Mining
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
ログ解析基盤におけるストリーム処理パイプラインについて
Orion an integrated multimedia content moderation system for web services
Orion an integrated multimedia content moderation system for web services
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
"マルチメディア機械学習" の取り組み

12 cyberagent

  • 1.
     Chef  による  Zabbix 監視自動化について+α株式会社  サイバーエージェントAmeba  Infra.  Unit長谷川 誠@Zabbix  Conference  Japan  201313-11-231
  • 2.
    Chef による Zabbix 監視自動化について / Agenda{    "name":  ”hasegawa_makoto",    "description":  ”Zabbix  Conference  Japan  2013",    "json_class":  "Chef::Role",•  はじめに    "chef_type":  "role",    "run_list":  [•  Chef  とは何か        "recipe[introduction]",•  Zabbix  Server  のセットアップ        "recipe[chef::explain]",•  Zabbix  Agent  のセットアップ        "recipe[zabbix::server_setup]",        "recipe[zabbix::agent_setup]",•  Zabbix  Serverとの連携        "recipe[zabbix::api]",•  まとめ        "recipe[summary]”,•  おわりに        "recipe[closing]”,    ],    ”extra_run_lists":  {        "recipe[zabbix::template_management]",ExtraContents        "recipe[zabbix::custom_style]”    }•  Template  の管理と  deploy}アジェンダ• Classic  style  からの脱却#  chef-solo  –o  zabbix::conference13-11-232
  • 3.
    Chef による Zabbix 監視自動化について / はじめにはじめに#  chef-solo  –o  introduction13-11-233
  • 4.
    Chef による Zabbix 監視自動化について / はじめにサーバー構築の自動化の仕組みが必要になった背景• • 次々と新しいプロジェクトが生まれていく逆を言うと流行らないものは潰していく重要なのはスピード感• • サーバー構築に時間をかけていると、それだけ開発が遅れることに遅れた分は機会損失につながる機会損失をできるだけなくしていく• • サーバーを構築するまでは既に自動化済み  (chef)しかし構築した後の監視設定までは自動化に入っていなかったまだ自動化できてない部分があるのであれば、自動化しちゃえばいいじゃないまた、すでにある自動化の仕組み(chef)に組み込むのが効率いいChef  による監視自動化を構築13-11-234
  • 5.
    Chef による Zabbix 監視自動化について / はじめにWhy  Zabbix  ?一番のポイントは  API  が充実していること•  Nagios(icinga)や  munin  や  cacti  でやろうとするとめんどくさい死活監視とリソース監視に対応している•  Nagios  +  Munin  や  Nagios  +  Cacti  といった構成を  Zabbix  で集約Free  /  OSS•  ありがとうございます13-11-235
  • 6.
    Chef による Zabbix 監視自動化について / Chef  とは何かChef  とは何か#  chef-solo  –o  chef::explain13-11-236
  • 7.
    Chef による Zabbix 監視自動化について / Chef  とは何かサーバーを構築(Provisioningなんてよく言われてます)する時によく出てくるお話Bootstrapping  /  Configuration  /  Orchestrationココ!Chefは  Configuration  を担当するもの13-11-237
  • 8.
    Chef による Zabbix 監視自動化について / Chef  とは何かn Chef  の概念Infrastructures  as  Code• プログラミングによるサーバーセットアップ• 構築手順書を見ながら手動で作業することからの脱却冪等性(べきとうせい)• 何度やっても同じ状態にセットアップしてくれることをある程度担保してくれる• 誰がいつやっても同じクオリティでセットアップしてくれる自動化には欠かせないもの13-11-238
  • 9.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  のセットアップ#  chef-solo  –o  zabbix::server_setup13-11-239
  • 10.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    WebChef  の  Recipe  もコンポーネント毎に作成前提条件•  今回は  Database  に  MySQL(5.5)  を使用します13-11-2310
  • 11.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Webでは  Database(MySQL)  から行きましょう13-11-2311
  • 12.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[mysql::server]1.  各種パラメーターの自動設定•  innodb_buffer_pool_size  (memory  の  70%)•  innodb_file_per_table•  innodb_file_format  =  ‘Barracuda’•  などなど2.  上記を元に  /etc/my.cnf  を作成3.  パッケージインストール•  MySQL  公式の  rpm  (dev.mysql.com)13-11-2312
  • 13.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    WebDatabase  の準備ができたところで  zabbix  server  行きましょう13-11-2313
  • 14.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]1.  パッケージインストールの前に– いくつかの依存パッケージをインストール fping(version  >  3),  iksemel,  snmptt2.  パッケージインストール– 3. Database  の作成– 4. 次ページで詳細を書きます/etc/zabbix/zabbix_server.conf  の作成– 13-11-23Zabbix  公式の  rpm(repo.zabbix.com)DBまわりのパラメータ(DBHost,  DBName,  DBUser  …)設定14
  • 15.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  Database  作成の詳細• いつもの手順–  CREATE  DATABASE  #{db_name}  CHARACTER  SET  utf8–  GRANT  ALL  PRIVILEGES  ON  #{db_name}.*  TO  #{db_user}@#{db_host}  IDENTIFIED  BY  #{db_pass}• いつもの手順2–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/schema.sql–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/images.sql–  mysql  –uroot  zabbix  <  /usr/share/doc/zabbix-server-mysql-2.0.X/create/data.sql• Table  圧縮  (  History  系はディスクを圧迫しやすいので  )–  ALTER  TABLE  #{table}  ROW_FORMAT=COMPRESSED  KEY_BLOCK_SIZE=8»  history»  history_log»  …»  events13-11-2315
  • 16.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  Database  作成の詳細mysql> SELECT TABLE_SCHEMA,TABLE_NAME,CREATE_OPTIONS,ROW_FORMAT -> FROM information_schema.tables where ROW_FORMAT = 'Compressed’and TABLE_SCHEMA = ‘zabbix’; +--------------+-------------------+----------------------------------------+------------+ | TABLE_SCHEMA | TABLE_NAME | CREATE_OPTIONS | ROW_FORMAT | +--------------+-------------------+----------------------------------------+------------+ | zabbix | events | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_log | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_str | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_str_sync | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_sync | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_text | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_uint | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | | zabbix | history_uint_sync | row_format=COMPRESSED KEY_BLOCK_SIZE=8 | Compressed | +--------------+-------------------+----------------------------------------+------------+ 9 rows in set (0.01 sec) 先ほど  innodb_file_format  =  ‘Barracuda’を指定した理由はこれです13-11-2316
  • 17.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::server]–  zabbix_server.conf  の作成  DB以外でデフォルト値より変更しているのは下記の設定です• JMXまわり–  JavaGateway,  JavaGatewayPort,  StartJavaPollers• MaxHousekeeperDelete  はちょっと大きくしておく–  MaxHousekeeperDelete=1000  (500)• Cache  まわり– – – – – 13-11-23CacheSize=32M  (8M)CacheUpdateFrequency=30  (60)HistoryCacheSize=1G  (8M)TrendCacheSize=1G  (4M)HistoryTextCacheSize=128M  (16M)17
  • 18.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Web最後に  web  の設定をしましょう13-11-2318
  • 19.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]1.  パッケージインストールの前に– いくつかの依存パッケージをインストール httpd,  php– php.ini(or  /etc/httpd/conf.d/zabbix.conf)  date.timezone  =  "Asia/Tokyo"2.  パッケージインストール– 3. /etc/zabbix/web/zabbix.conf.php  を作成– 4. 詳細は次ページAPI  を使った初期セットアップ– 13-11-23Zabbix  公式の  rpm(repo.zabbix.com)詳細は次次ページ19
  • 20.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]/etc/zabbix/web/zabbix.conf.php  を作成しておくと・・・最初に出てくる  Welcome  画面(setup  画面)が出てこなくなるので最初から  dashboard  が出てきますsetup  画面で行う各種確認は  chef  で構築されていれば確認しなくてもOKなはずというわけでzabbix.conf.php  の作成は  chef  側で作成してしまいます13-11-2320
  • 21.
    Chef による Zabbix 監視自動化について / Zabbix Serverのセットアップrunlist[zabbix::web]API  を使った初期セットアップ生まれたままの  zabbix  server  に対して  API  経由で設定を入れます–  user.create• severity  によって通知先の  Email  アドレスを分けておく–  mediatype.create• 通知  Email  の  SMTP  サーバーの設定等–  action.create• 実際に送信されるメール、リカバリメールの文面• リカバリメッセージの送信設定• アクションの実行条件  (メンテナンス期間外、トリガーの値=”障害”)–  template.delete• 初期  template  の削除–  configuration.import• オリジナル  template  の  import13-11-2321
  • 22.
    Chef による Zabbix 監視自動化について / API user.create{ "auth": ”1234567890abcdefghijklmnopqrstu", "id": 1234, "jsonrpc": "2.0", "method": "user.create", "params": { "alias": ”zabbix_account", "name": ”zabbix_account", "passwd": ”zabbix_password", "surname": ”zabbix_account", "type": 3, "user_medias": [ { "active": 0, "mediatypeid": 1, "period": "1-7,00:00-24:00", "sendto": ”crit@makocchi.com", "severity": 56 }, { "active": 0, "mediatypeid": 1, "period": "1-7,00:00-24:00", "sendto": ”warn@makocchi.com", "usrgrps": [ { "usrgrpid": “0" } ] } } 例えば  user.create  だとこんな感じの  json  を  API  で渡してあげます "severity": 63 } ], 13-11-2322
  • 23.
    Chef による Zabbix 監視自動化について / Zabbix ServerのセットアップZabbix  Server  を語る上で必要なコンポーネントは  DatabaseZabbixServer  つZabbix    Webいろいろ話してきましたが、今までのスライドで書いてきたことがコマンド  1  発(chef-client)で入りますサーバー起動時の  KickStart  に  chef-client  を仕込んでおけばコマンドを叩く必要さえありませんログインしなくても  zabbix  server  ready13-11-2323
  • 24.
    Chef による Zabbix 監視自動化について / Zabbix AgentのセットアップZabbix  Agent  のセットアップ#  chef-solo  –o  zabbix::agent_setup13-11-2324
  • 25.
    Chef による Zabbix 監視自動化について / Zabbix AgentのセットアップZabbix  Agent  の  recipe  でやることは下記の通り1.  パッケージインストール–  例によって  Zabbix  公式の  rpm(repo.zabbix.com)2.  /etc/zabbix/zabbix_agentd.conf  の編集–  UnsafeUserParameters=1  (必要に応じて)–  Hostnameitem  ではなく  Hostname=FQDN3.  Zabbix  Server  側へ  API  で監視登録–  詳細は次ページ13-11-2325
  • 26.
    Chef による Zabbix 監視自動化について / Zabbix AgentのセットアップZabbix  Server  側へ下記の流れで  API  を叩きます1.  hostgroup.create–  hostgroup  が無いと  host.create  できないので2.  host.create–  ipaddress,  fqdn  を登録  (ohaiより自動取得)3.  hostinterface.create–  Jmx,  SNMP,  IPMI  を必要に応じて設定4.  template.massadd–  インストールするミドルウェアに応じた  template  を投入13-11-2326
  • 27.
    Chef による Zabbix 監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話•  インストールするミドルウェアに応じて設定する  template  を変える例えば  apache  がインストールされたら  apache  用の  template  を、nginx  がインストールされたら  nginx  の  template  を適用する•  各種ミドルウェアのインストールも  chef  の  recipe  によって行われる•  その  recipe  に設定されるべき  template  を記述しておけばよい13-11-2327
  • 28.
    Chef による Zabbix 監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話2•  具体的に書いてしまうとrun_list: [ recipe[zabbix::agent] recipe[apache] ] •  zabbix::agent  内で  node.set  しておく     node.set[:zabbix][:agent][:enable]  =  true•  apache  の  recipe  側でハンドリングするif node[:zabbix][:agent][:enable]? Chef::Log::info('use ”zabbix" for monitoring.') include_recipe “apache::zabbix" end 13-11-2328
  • 29.
    Chef による Zabbix 監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話3•  apache::zabbix  には設定すべき  template  名と  API  の処理を書いておく… zabbix_host node[:zabbix][:api][:server] do templates [“apache"] action :create End API  処理•  全ての  system  で  zabbix  を使うわけではないので、zabbix::agent  を適用させるサーバーのみ  zabbix  api  が叩かれるようにしておく13-11-2329
  • 30.
    Chef による Zabbix 監視自動化について / Zabbix Agentのセットアップちょっと  chef  的なお話4•  こんな感じだと・・・run_list: [ recipe[zabbix::agent] recipe[nginx] recipe[memcached] recipe[mysql] ]    nginx,  memcached,  mysql  の  template  が設定される•  実は  zabbix  以外もできるようにしてあったりrun_list: [ recipe[nagios::agent] recipe[nginx] recipe[memcached] recipe[mysql] ] 13-11-23run_list: [ recipe[munin::client] recipe[nginx] recipe[memcached] recipe[mysql] ] 30
  • 31.
    Chef による Zabbix 監視自動化について / おさらいおさらい図にしてみます#  chef-solo  –o  summary13-11-2331
  • 32.
    Chef による Zabbix 監視自動化について / 図Host  の登録Template  の適用Cache  ServerDB  ServerWeb  ServerZabbix  Serverchef-clientchef-clientMonitoring  ready!!recipe[mysql::server]recipe[zabbix::server]recipe[zabbix::web]13-11-23Chef  Serverrecipe[zabbix::agent]recipe[apache]32
  • 33.
    Chef による Zabbix 監視自動化について /  おわりにおわりに#  chef-solo  –o  closing13-11-2333
  • 34.
    Chef による Zabbix 監視自動化について / Ex template managementTemplate  の管理と  deploy#  chef-solo  –c  extra.rb  -o  zabbix::template_management13-11-2334
  • 35.
    Chef による Zabbix 監視自動化について / Ex template managementZabbix  の  template  管理はどうされていますでしょうか?• • • • export  した  xml  を  git  や  svn  で管理?git  や  svn  の  xml  を既存の  zabbix  にどうやって  deploy  する?管理用  zabbix  がいてそこで  template  をいじったりしている?してないよ そんなもんあくまで1例ですが、弊社ではどうしているかというと・・・13-11-2335
  • 36.
    Chef による Zabbix 監視自動化について / Ex template managementProject  AProject  BProject  Z・・・・・・Zabbix  ServerZabbix  ServerZabbix  Server各  project  の  zabbix  サーバーの監視MasterZabbix  serverDevelopZabbix  ServerAPI  [host.get]API  [template.export]Git  pushHost  list  に対してAPI  [configuration.import]Git  cloneGit  Server13-11-2336
  • 37.
    Chef による Zabbix 監視自動化について / おさらいClassic  style  からの脱却#  chef-solo  –c  extra.rb  -o  zabbix::custom_style13-11-2337
  • 38.
    Chef による Zabbix 監視自動化について / Ex custom_styleZabbix  にはデフォルトでいくつか  Theme  が入っていますClassic  /  Dark  orange  /  Black  &  Blue  …せっかくだから新しい  Theme  作ってみようかな・・13-11-2338
  • 39.
    Chef による Zabbix 監視自動化について / Ex custom_styleこんな感じで  Ameba  色にしてみました13-11-2339
  • 40.
    Chef による Zabbix 監視自動化について / Ex custom_styleこんな感じで  Ameba  色にしてみました213-11-2340

[8]ページ先頭

©2009-2025 Movatter.jp