技術調査

依頼内容

リモートパーシステントメモリ (RPM) 関連技術動向をまとめるレポートの作成

調査内容

2018年4月に米国コロラド州ボルダーで開催されたOpenFabrics Alliance Workshop 2018（第14回）を振り返る技術レポートを作成した。日本からの参加は、弊社含めて2名。

OpenFabrics Alliance（OFA）は主にInfiniBand機器ベンダ各社を中心とする組織で、RDMAプログラミングに必要なソフトウェアスタックをOSS開発している。
HPEがThe Machineプロジェクトでディスアグリゲーテッドコンピューティングのコンセプトを打ち出して話題を呼んでいたこの時期に開催されたOFA Workshop 2018では、RPMのユースケースを募集するワーキンググループ的なセッションや、RPMの実現に必要なInfiniBand/RoCE/iWARP仕様拡張に関する議論が行われていた。

当社は、パーシステントメモリ(PM)のリモート拡張に将来ビジネス（OSS開発案件）の大きな可能性を感じている。

技術調査

コミュニティ活動

依頼内容

・ 深層学習に関するOSSについての技術調査、評価、コミュニティ対応
・ 深層学習に関するOSSを組み合わせたプロトタイプシステムの技術検討

調査内容

・ 深層学習のOSSであるTensorFlowの技術調査
・ TensorFlow と ARCore を組みあわせた評価プログラムを作成し実機での評価を実施
・ OSSを組み合わせた評価と検証を行い、報告書を作成

技術調査

コミュニティ活動

依頼内容

Open Stack NFV関連機能および品質向上に向けた技術調査と機能の改善

調査内容

・ ソースコード調査および機能改善のためのパッチ作成
・ OpenStackコミュニティへの提案と議論を実施し、コミュニティからのフィードバックを反映

開発支援

保守

依頼内容

AUTOSAR仕様のOSのフルスクラッチ開発および実装

開発内容

・ スケーラビリティクラス1～4対応、マルチコア対応でのOS開発
・ 車載業界でメージャーな各種CPUに対応 (AURIX, RH850, PowerPC, ARM他)
・ 各種コンパイラに対応 (GHS、HighTec、gcc他)
・ チューニング
・ 実ターゲットを用いたテストプログラム自動実行環境と、クラウドを利用した大規模なテスト自動実行環境の構築

R&D 支援

依頼内容

FPGA等を活用したアクセラレータの効率化・低消費電力化を目指した技術調査

開発内容

DC等のアクセラレータを共用化を目指し、リソーススケジューリング機能の調査および実装を行った。

R&D 支援

依頼内容

アクセラレータを高効率に利用するための技術調査

開発内容

・ アクセラレータを高効率・柔軟に利用するためのミドルウェアの実装
・ 各種高速化方法(データのゼロコピー化等)の検討と実装

R&D 支援

依頼内容

・ 店舗等で提供するWi-Fi等に対する無線品質制御システムの研究支援
・ PoCの作成評価
・ 集中制御コントローラによる無線ネットワーク品質制御技術の制御信号無線化を実現する方式の調査

開発内容

・ 無線区間衝突回避の為の提案アルゴリズムの、Linux Kernel 上での設計〜開発支援
・ 無線区間品質向上の為の、集中制御コントローラの設計〜開発支援
・ 予測トラヒック制御の為の、データプレーン制御部分の設計〜開発支援

障害解析

障害内容

・ お客様の基幹システムで稼働するサーバがカーネルパニックでOSが起動せず、基幹システムが停止。
・ 1日前のバックアップに戻すことでのデータリカバリを伴う状況となり、多大な影響が発生。
・ サポート切れの RHEL のため、保守ベンダの調査が進まない状況。

対応内容

・ お客様側で実施したアップグレード時の問題であることを特定。
・ 回避策を提示し、お客様からは多大なる感謝をいただいた。

障害解析

障害内容

・ アプリケーションのデプロイ中に複数プロセスがスタックし、リブートするまで復旧しない。
・ ログを確認すると、複数のプロセスがスタックしており、どこに問題があるのか原因究明してほしい。

解析内容

・ カーネルのネットワークスタックと、あるNICドライバ内部との間でデッドロックが発生している模様。
・ ドライバソースコード調査の結果、ドライバの不具合が原因と判明。

解析結果

障害解析

障害内容

OvS/DPDK 環境において、OpenFlowコントローラのコマンドを実行すると、パケット転送が数秒遅延する。原因と対策を調査してほしい。

解析内容

障害切分け、原因調査
- 再現環境用意・試験の実施、OvS/DPDKの各スレッドの動作を調査するためのソースコード解析、関連ドライバの調査、パケットダンプ調査

解析結果

障害解析

障害内容

コンテナから見たストレージの性能が異常に低い。

ベアメタルで動かしていたアプリケーションを Docker コンテナ化して運用しようとしているが、性能が出ない。どうやらストレージの性能が出せていないようだ。

解析内容

調査手法: コンテナホストでの sar 調査

解析結果

コンテナホストで動作していた sar (sysstat) を調査したところ、高負荷時にストレージの性能が限界に達していた。コンテナのファイルシステムにアプリケーションのデータを保存しようとしていたのが原因。かつて、コンテナのファイルシステムは、差分ファイルシステムの実現のために aufs (Another Union Filesystem) を利用しており、性能や安定性に問題がありました。

現在では、device mapper を使ったものなどが主流ですが、コンテナ内のファイルシステムは永続的ではないため、アプリケーションデータはボリュームに保存することが推奨されています。

障害解析

障害内容

Docker Engine のアップグレードを行ったところ、既存のコンテナが動かなくなってしまった。
または、エラーが出てエンジンが起動しなくなってしまった。

CentOS Extras リポジトリから Docker Engine をインストールして利用している。セキュリティのため、まず検証環境にて Docker パッケージを yum update で更新したところ、docker ps などあらゆる docker コマンドが「Cannot connect to the Docker daemon.」というエラーを吐くようになってしまった。

解析内容

本番環境への適用のため、ログ解析による原因の調査および解決策の提示

解析結果

syslog によると、「permission denied」により Docker デーモンの起動に失敗していると判明した。
一般に、SELinux のポリシー違反が permission denied となるため、SELinux のログ audit.log を調査した結果、SELinux ポリシー違反が原因であることが分かった。Docker Engine のメジャーアップデートにより動作が変わり、SELinux ポリシー定義が不足しているという、パッケージの不具合であると思われた。Docker Engine は、急速に普及したこと、開発スピードが速いことなどから、ディストリビュータによる通常サポートからはずれた別パッケージとして提供されることがあります。
CentOS においても、Extrasリポジトリからの提供となり、OS のアップグレード以外のタイミングで Docker Engine のメジャーバージョンが上がってしまうことがあります。

これにより、前バージョンからの非互換な変更や、設定の非推奨化などが行われることがあるため、本番環境に適用する前の調査や検証がより重要になると思われます。