2015年2月20日金曜日

MongoDB3.0にバージョンアップ!!(もうすぐ)

decopingです。

NoSQLデータベースという部類のMongoDBが来月3.0にバージョンアップされます。
新機能として注目しているのは、ストレージエンジンを昨年買収した、「WiredTiger」というエンジンに変わる事で、性能、拡張性において大幅に向上が見込めるようです。


新しいストレージエンジンの主な特徴としては、

  • これまでと比べ7倍から10倍の書き込み速度向上
  • 圧縮機能により80%の容量削減
  • GUI管理ツールの提供による運用の向上
  • ドキュメントレベルの並列機能の実装
といった内容となっています。
詳しくはMongoDBのサイトバージョンアップ記事を参照。


MongoDBの使い方として、





Kibana、Elasticsearch 、MongoDBのコンボによるシステムログの可視化を行っていますが、
ログ蓄積による容量の肥大化によるディスク容量枯渇に悩まされていたため、とっても朗報です!

実際の圧縮機能が何処まで使えるか、、が気になるところです。

では!

2015年2月16日月曜日

PrimeCloud Controller / OSS MeetUpに参加!

decopingです。

先月、複数のクラウド環境を一元的に管理が出来る「PrimeCloud Controller」という
オープンソースのコミュニティイベントに参加した時の内容です。


当日、コミュニティイベントでお話した内容としては、、、

IaaSのクラウドサービスが一般的になった今日この頃、
用途別にプライベート、パブリックを使い分け賢く使おう!

という事を行う企業が増えてきており、

例えば、
 基幹的な業務や、コストメリットが伴わない均一のリソースを要するシステムはプライベート
 バッチ処理や大量データの分析などリソースが流動的なシステムはパブリック

みたいな感じで、プライベートとパブリックを上手く使いこなそう!、という事ですね。

しかし、システムを運営管理する側としては、
単に環境が増えた、、、という事では管理負担が増すばかり。

しかも、価格競争、サービス競争の混沌としたクラウドサービス競争の真っただ中の今、
近いうちにサービス提供会社の淘汰が進むでしょう。

という事をIDCが予測しています。


そこで、クラウドサービス業者に依存せず、且つ管理を楽チンにする方法として、
PrimeCloud Controller」を中心に、様々なOSSコンポーネントを組合せ、
それぞれを連携し、自動化する事が、これからのクラウド管理には必要ですね。

という事で、「PrimeCloud Controller」や「Zabbix」などを組み合わせて、
連携、自動化を行った構成として「Future Cloud Orchestrator」をアピってみました。


また、コミュニティ活動として「PrimeCloud Controller」と連携する
Zabbix」のバージョンアップ対応も行い、現在マージ中・・・。
PrimeCloud Controller」の次回バージョンアップ時に適用予定です!!

このように、商用製品に頼らずとも品質の高いツール群を組合せる事で、
荒波のようなクラウドサービスの過渡期を乗り越える事が出来ます。

それには、オープンであり、連携がし易い、
幹のように「PrimeCloud Controller」が大きく育ち、エコなシステムが循環出来ればと願っています。

では!

で、参考元はガートナーさん
http://www.idc.com/getdoc.jsp?containerId=prUS25350114

2015年2月12日木曜日

Zabbix Conference Japan 2014で発表会。

decopingです。

少し前ですが、昨年11月21日にZabbix Conference Japan 2014でお話した内容です。


マルチクラウド・オンプレミス環境を横断的に運用管理!「Future Cloud Orchestrator Service」の紹介 from naoki asakura

Zabbix Conference Japan 2014でお話した内容としては、、、

クラウドの活用が広がってきたと言っても、
新事業会社ならともかく、一般的な企業の場合は、
パブリッククラウド一択の業務向けシステムというのは少なく
既存のシステムと連携、活用が必要になってきます。

その場合、やはり運用管理の負担が大きくなってしまいがち、、、という事で、

AWSやAzureを初めとするパブリッククラウドと
VMWare,OpenStackなどのプライベートクラウドを
組み合わせたシステム構成を如何に1つのビューから操作し、
管理を行うか、、といった内容をお話しました。

その答えの一つとして、
オープンソースのコンポーネントを組み合わせて
複数環境の管理、システム運用の自動化を実現した構成として、
「Future Cloud Orchestrator」を紹介させて頂きました。

構成するオープンソースのコンポーネントは、
slideshareに掲載している資料を観て頂きたいのですが、
今回、採用しているオープンソースのコンポーネントは、
商用製品としても提供されていたりするので、
品質の高い、構成になっています。

細かい機能などは、今後ご紹介して行こうと思います。


ちなみに、カンファレンス会場には当日200人以上の方がお越し頂き、
初めて大勢の前でお話をしました。


うまく話せたか、は良く分かりませんが、
待っている間はすっごく緊張しましたが、不思議なもので、
いざ話始めると、スラスラと話せるモノですね。

大勢の人前で話をするので準備は大変でしたが、
結構、気持ちの良いものでした、(^◇^)/

また機会があれば、お話をして行きたいと思います。

では!

2015年2月9日月曜日

2014年第4四半期、クラウドサービスシェア。Synergy Research Group調べ

decopingです。

米国の調査会社「Synergy Research Group」が2014年第4四半期のクラウドサービスシェアを発表しました。

1位は相変わらず、AWS(Amazonクラウド)で他を引き離す約30%、
2位はマイクロソフトで約10%
3位はIBMで約7%
となっています。

確かにAWSのシェアは他と比べて大きいですが、それでも市場の3割程度なのですね。
トップ3を合計でクラウドサービスシェアの約半数、やはりVMWareは偉大!?という事でしょうか。
fig

また、1年間の成長率を見るとマイクロソフトが96%、Googleが81%と共に堅調の成長率!

ガートナー曰く、クラウドコンピューティング自体は幻滅期とは言ってますが、
これからが淘汰の嵐でしょうか、、、まだまだ熱いですね。
では!

で、参考元はPublickeyさん、ガートナーさん
http://www.publickey1.jp/blog/15/20143amazon28501096synergy_research_group.html
http://www.gartner.co.jp/press/html/pr20140903-01.html

2015年2月5日木曜日

ZABBIX2.2.xのMySQLから直接アイテム値などを取得

decopingです。

アイテム値を取得する方法としては、通常の方法だと
ZABBIXのWEB画面経由で「プレーンテキスト」をダウンロードする方法

ZABBIX APIを使ったデータ取得方法
がありますが、欲しい情報を取得するのは大変!

という事で、ZABBIXのデータが格納されているDB(Mysql)から
直接、値を取得するSQLクエリを調べてみました。

SQLクエリなので、JasperReportと組み合わせて
稼働レポート、設計書の帳票として出力するのに便利。

では、早速。

【SQLクエリ1】ホスト一覧を取得
SELECT
    host
FROM
    hosts
WHERE
    STATUS <> 3 AND
    flags <> 2
ORDER BY
    name;

【SQLクエリ2】ホスト毎の監視項目一覧を表示
SELECT
    h.host,
    h.name,
    i.key_,
    i.delay,
    i.history,
    i.trends,
    ELT(i.value_type+1,'Double','Str','Log','Uint','Text') type,
    i.units ,
    ifnull(ap.name,'[Undefined]') application_name,
    i.name item_name,
    Replace(Replace( i.description , Char(13), ""),Char(10), "") AS description
FROM
    items i  join hosts h on h.hostid = i.hostid
    left join items_applications ia on i.itemid=ia.itemid
    left join applications ap on h.hostid=ap.hostid and ia.applicationid=ap.applicationid
WHERE
    h.host in (
SELECT
    host
FROM
    hosts
WHERE
    STATUS <> 3 AND
    flags <> 2
ORDER BY
    name
                ) AND
    i.status = 0 AND
    i.flags <> 1 AND
    i.flags <> 2
ORDER BY
    ap.name,
    i.name,
    i.key_;

【SQLクエリ3】指定ホストの最新アイテム値を取得
select
    h.host AS HOST,
    h.name AS HOST_NAME,
    i.name AS ITEM_NAME,
    i.key_ as ITEM_KEY,
FROM_UNIXTIME
    (ELT(i.value_type+1, hy1.clock, hy3.clock, hy2.clock, hy5.clock, hy4.clock))  AS  clock ,
    Replace(Replace(ELT(i.value_type+1, hy1.value, hy3.value, hy2.value, hy5.value, hy4.value) , Char(13), ""),Char(10), "")  AS  value
from items i
    join hosts h on h.hostid = i.hostid
    left join
        history hy1 on hy1.itemid = i.itemid and hy1.clock =
             (select max(hy12.clock) from history      hy12 where hy12.itemid = i.itemid)
    left join
        history_log  hy2 on hy2.itemid = i.itemid and hy2.clock =
            (select max(hy22.clock) from history_log  hy22 where hy22.itemid = i.itemid)
    left join
        history_str  hy3 on hy3.itemid = i.itemid and hy3.clock =
            (select max(hy32.clock) from history_str  hy32 where hy32.itemid = i.itemid)
    left join
        history_text hy4 on hy4.itemid = i.itemid and hy4.clock =
            (select max(hy42.clock) from history_text hy42 where hy42.itemid = i.itemid)
    left join
        history_uint hy5 on hy5.itemid = i.itemid and hy5.clock =
            (select max(hy52.clock) from history_uint hy52 where hy52.itemid = i.itemid)
where
    h.host in
        (SELECT host FROM hosts WHERE STATUS <> 3 AND flags <> 2 order by name) and
        i.status = 0             and
        i.name like '%'          and
        i.flags <> 1             and
        i.flags <> 2             and
        i.key_ like '%';

【SQLクエリ4】カレントアイテム値を全て取得(サンプルとしてsystem.cpu.loadの全表示)(特定項目,全項目も表示できるが、非常に時間がかかります)
select
    h.host AS HOST,
    h.name AS HOST_NAME,
    i.name AS ITEM_NAME,
    i.key_ as ITEM_KEY,
FROM_UNIXTIME(ELT(i.value_type+1, hy1.clock, hy3.clock, hy2.clock, hy5.clock, hy4.clock)) AS  clock ,
Replace(Replace( ELT(i.value_type+1, hy1.value, hy3.value, hy2.value, hy5.value, hy4.value) , Char(13), ""),Char(10), "")  AS  value
from items i
    join hosts h on h.hostid = i.hostid
    left join history      hy1 on hy1.itemid = i.itemid
    left join history_log  hy2 on hy2.itemid = i.itemid
    left join history_str  hy3 on hy3.itemid = i.itemid
    left join history_text hy4 on hy4.itemid = i.itemid
    left join history_uint hy5 on hy5.itemid = i.itemid
where
    h.host in
        (SELECT host FROM hosts WHERE STATUS <> 3 AND flags <> 2 order by name) and
        i.status = 0             and
        i.name like '%'          and
        i.key_ like 'system.cpu.load[percpu,avg1]%';

では!

2015年2月2日月曜日

主なクラウドサービスのダウンタイム調査

decopingです。

クラウドサービスのダウンタイムなどを調査している会社「CloudHarmony」が
過去1年の主なクラウドサービスの稼働状態を公開しています。
fig

CloudHarmonyとサーバのモニタリングサービスを提供しているPanoptaの協力によって、
モニタリングエージェントを通じて60秒ごとに情報を収集し、稼働状況を表示しているようです。
・・・RSSに流れる情報から推測、、、では無いのですね。

では、AWS、Microsoft Azureのクラウドサービスのダウンタイムはどの程度か?
世界の主要なクラウドサービス AWS、Microsoft Azure、Google Cloud Platformに加え、
日本のクラウド事業者からは、GMO Cloud(US)、IDC Frontierがありました。

AWSの項目をみると
CDNのCloudFrontとDNSサービスのRoute 53はダウンタイムがゼロ、
IaaSサービスのEC2とバケットストレージサービスのS3が15分から20分程度の
ダウンタイムがあったことを表示されています。


では、Microsoft Azureの項目は、
CDNのAzure CDNはダウンタイムがゼロですが、
バケットストレージサービスのAzure Object Storageが50分程度、
IaaSサービスのAzure Virtual Machinesに至っては3.3時間のダウンタイムを表示されています。


これは昨年発生したストレージ関連の障害が影響しているのでしょう。

なお、日本のクラウド事業者としてのIDCフロンティアは
ダウンタイムがゼロ!



では!

で、参考元はPublickeyさん
http://www.publickey1.jp/blog/15/1_awsazure_cloud_harmony.html