Movatterモバイル変換

scalaz-streamによる!Functional ReactieProgramming2015年年8⽉月18⽇日Everforth浅海智晴

自己紹介•  1985年年富⼠士通(株)⼊入社•  UNIXワークステーション/サーバーのOS、分散基盤、Web基盤の開発に従事•  2001年年9⽉月に独⽴立立•  Java, XML, UMLを中⼼心に活動•  2005年年4⽉月より2007年年3⽉月まで•  稚内北北星学園⼤大学東京サテライト校教授•  現在•  (株) 匠BusinessPlace 取締役チーフコンサルタント•  (株) Everforth 取締役CTO•  OSS•  SmartDoc•  Relaxer•  著作•  上流流⼯工程UMLモデリング(⽇日経BP)•  マインドマップではじめるモデリング講座(翔泳社)•  Relaxer Java/XMLによるWeb開発(ピアソン)•  ぼくらのScala(Softbank Creative)

ApparelCloud　データを一元化することで、多様な情報を、様々なメディア・デバイスを通じて　消費者に届け、真のＣＲＭを実現する仕組み。http://www.apparel-cloud.com/

ApparelCloudクーポン　ブランドサイトオンラインストアブログブランド　　　　　　　　　　　　アプリニュースブログショップコンテンツ集計・分析ダッシュボード複数メディア・コンテンツを⼀一元管理理し、クオリティの統⼀一と運⽤用コストの低減を実現。コンテンツを⼆二重三重に登録する必要もなく、データ分析などの⼀一元化も可能。

関数型プログラミング

関数型⾔言語の技術マップ抽象代数学数理論理学直感主義命題論理＆自然演繹単純型付ラムダ計算純粋関数型言語命題型クラス群論Hask圏(プログラム圏)永続データ構造関数型言語手続き型言語代数的データ型Curry-Haward対応オブジェクト指向言語証明述語論理様相論理圏論直積直和不変副作用なし参照透過性置換モデルモノイドモナド型計算

Scalaz•  https://github.com/scalaz/scalaz•  キャッチフレーズ•  昔: Scalaz: Type Classes and Pure Functional DataStructures for Scala•  今: An extension to the core Scala library for functionalprogramming. http://typelevel.org•  最新の関数型プログラミングを可能にする機能群をScala向けに⽤用意•  型クラス•  純粋関数型データ構造•  Haskellで実績のある機能群をScalaで実現

Pipelineプログラミング(1)def pipeline(x: Int) = h(g(f(x))def pipeline(x: Option[Int]) = x.map(f).map(g).map(h)def pipeline(x: Int) = x |> f |> g |> h関数呼び出しFunctorMonaddef pipeline(x: Option[Int]) = x.flatMap(f).flatMap(g).flatMap(h)def pipeline(x: Option[Int]) =for (a <- f(x); b <- g(a); c <- h(b)) yiled c

Pipelineプログラミング(2)val pipeline =State(f).flatMap(x => State(g(x))).flatMap(x => State(h(x)))pipeline.run(10)val pipeline =for (a <- State(f);b <- State(g(a)); c <- State(h(c))) yield cpipeline.run(10)Monad (インタープリター型)参考: [FP] パイプライン・プログラミングhttp://modegramming.blogspot.jp/2015/06/fp.htmlval pipeline = io.linesR("infile.txt").filter(_.nonEmpty).map(x =>s"${x.length}:$x”)pipeline.run.runscalaz-stream (Process Monad)

StateモナドによるパイプラインState MonadFuncionState Function FunctionStateValueValue Value ValueValue Value

Task•  scalaz.concurrent.Task•  TryとFutureを合わせた機能を持つモナド•  ⻑⾧長所•  Scalazとの親和性•  利利⽤用シーンに合わせて並列列処理理の使⽤用・⾮非使⽤用を選択できる•  Futureのようにスレッドを⼤大量量消費しない•  純粋関数型指向のインタフェース(副作⽤用はrunで実⾏行行)•  関数型的な合成可能な部品化val t: Task[Int] = Task(f(1000))val i: Int = t.runval i: Int = Task(f(1000)).run

The Reactive Manifest•  http://www.reactivemanifesto.org/•  ⽇日本語訳•  http://okapies.hateblo.jp/entry/2014/12/03/025921•  Responsive•  応答性：すぐ応答する•  Resilient•  耐故障性：回復復⼒力力に富む、⽴立立ち直りが早い•  Elastic•  弾⼒力力性：伸縮⾃自在の•  Message Driven•  メッセージ駆動•  関連: Reactive Streams•  http://www.reactive-streams.org/

Reactiveの実現Service ClusterCPU CoreFunctionServiceMessageMessageMessageFunctionFunctionFunctionFunctionFunctionServiceServiceServiceServiceFunctionReactiveConcurrentParallelDistributedResponsiveResillienceElasticityMessage DrivenConcurrentParallelDistributed

Functional ReactiveProgrammingで実現したいこと•  関数型プログラミングのメリットを享受•  参照透過性•  関数による部品化/部品の組⽴立立て•  パイプラインのセマンティクス•  イベント駆動処理理•  Callback hellの排除•  ストリーム処理理•  リソース管理理•  フロー制御•  ⼤大規模データ処理理•  リソース管理理•  省省メモリ

Functional Reactive Programmingの候補•  RxJava – Scala•  https://github.com/ReactiveX/RxJava•  Observableモナド•  Scalaz Stream•  https://github.com/scalaz/scalaz-stream•  Processモナド•  Akka Streams•  https://typesafe.com/blog/typesafe-announces-akka-streams•  Akka actor

scalaz-stream•  ScalazベースのStreamingライブラリ•  https://github.com/scalaz/scalaz-stream•  ⽤用途•  ⼊入出⼒力力処理理フレームワーク•  パイプライン•  部品化、部品合成によるロジック記述•  ⼤大規模データ⼀一括処理理•  ストリーム処理理•  Processモナド•  Pull型 (backpressureあり)•  参照透過性：副作⽤用なし•  部品化：パイプラインによる関数の合成•  リソースの獲得・解放•  フロー制御•  状態機械

Processモナド既存部品アプリケーション・ロジックリソース管理トランザクション管理フロー制御Function FunctionProcessMonadProcessMonadChannel SinkChannel SinkProcess Monad

部品 (ストリーム)•  Process•  Processモナド。•  Process1•  データ変換。Processの⼀一種。•  Sink•  ストリームの終端。副作⽤用あり。Processの⼀一種。•  Channel•  外部⼊入出⼒力力。Processの⼀一種。•  Tee•  2つのストリームを合流流(interleave, zipping)。Processの⼀一種。•  Wye•  2つのストリームを⾮非決定的に合流流。Processの⼀一種。•  Writer•  ストリームを2本に分割。Processの⼀一種。

部品 (連携)•  Exchange•  外部システムと連携。•  Queue•  キュー。•  書込み⽤用のメソッドを提供。•  読込み⽤用のProcessモナドを⽣生成。•  Topic•  pub/sub機能。•  書込み⽤用のメソッドを提供。•  書込み⽤用のProcessモナドを⽣生成。•  読込み⽤用のProcessモナドを⽣生成。

scalaz-streamの⻑⾧長所/短所•  ⻑⾧長所•  Scalazと親和性が⾼高い。•  純粋関数型の範囲で相当のことができる。•  部品化が容易易。•  プログラミングが容易易。•  短所•  性能が遅いようです。•  COMPARING AKKA-STREAM AND SCALAZ-STREAM WITHCODE EXAMPLES•  https://softwaremill.com/comparing-akka-stream-scalaz-stream•  (最初に)使い⽅方を把握するのが難しい。•  ストリームの分岐は関数型の範囲ではできない。•  Topicを使⽤用して実現。•  EIP：Content-Based Routingなど。•  マシンをまたいだストリームは構築できない。

scalaz-streamプログラムval source: Process[Task, String] = io.linesR("infile.txt")val a: Process[Task, String] = source.filter(_.nonEmpty)val b: Process[Task, String] = a.map(x => s"${x.length}:$x")val c: Process[Task, ByteVector] = b.pipe(text.utf8Encode)val sink: Sink[Task, ByteVector] = io.fileChunkW("outfile.txt")val pipeline: Process[Task, Unit] = b.to(sink)val task: Task[Unit] = pipeline.runval result: Unit = task.runio.linesR("infile.txt").filter(_.nonEmpty).map(x => s"${x.length}:$x").pipe(text.utf8Encode).to(io.fileChunkW("outfile.txt")).run.run

プログラミング例例•  パイプラインを流流れてくるデータを以下のルールでパケット化•  3つで⼀一つのパケットにする•  パケットにシーケンス番号をつける•  “start”データの前のパケットにエンドマークをつける•  上記アルゴリズムを実現した部品を⼤大規模データ処理理とストリーミング処理理の両⽅方に適⽤用する参考: [scalaz-stream] シーケンス番号とエンドマークhttp://modegramming.blogspot.jp/2015/03/scalaz-stream.html

準備case class Packet(seqno: Int, end: Boolean, content: String)def sink: Sink[Task, Packet] = {io.channel((a: Packet) => Task.delay(println(a)))}参考: [scalaz-stream] ストリーミングで状態機械http://modegramming.blogspot.jp/2015/04/scalaz-stream.html参考: [scalaz-stream] Scala的状態機械/OOP編http://modegramming.blogspot.jp/2015/03/scalaoop.html参考: [scalaz-stream] Scala的状態機械/FP編http://modegramming.blogspot.jp/2015/03/scalafp.html

アプリケーション・ロジック def buildTextToPacket[M[_]: Monad](source: Process[M, String]):Process[M, Packet] = {source.chunk(3). // 3個ずつチャンク化 pipe(zipWithNext). // 次のパケットを同時に取得 pipe(zipWithIndex). // インデックを採番 map(toPacket)}def toPacket(x: ((Vector[String], Option[Vector[String]]), Int)):Packet = {val ((current, next), index) = xval content = current.mkString("-")val isend = next.cata(_.headOption === Some("start"), true)Packet(index + 1, isend, content)}既存部品とアプリケーションロジックを組合せてパイプラインを構築以下のロジックを実現- 3つで⼀一つのパケットにする- パケットにシーケンス番号をつける- “start”データの前のパケットにエンドマークをつける

⼤大規模データ処理理val source = io.linesR("data.txt")val pipeline = buildTextToPacket(source).to(sink)pipeline.run.runPacket(1,false,1-2-3)Packet(2,true,4-5-6)Packet(3,true,start-8-9)123456start89汎⽤用部品を⼤大規模データ処理理に適⽤用リソース管理フロー制御chunkzipWithNextzipWithIndextoPacketChannel SinkProcess Monad

EventProcessorval queue = EventProcessor.qval source = Vector("1", "2", "3", "4", "5", "6", "start", "8", "9")source foreach { x =>queue.enqueueOne(x).runThread.sleep(2000)}object EventProcessor {val q = async.unboundedQueue[String]val eventStream: Process[Task, String] = q.dequeue}参考: [scalaz-stream] ストリーミングで状態機械http://modegramming.blogspot.jp/2015/04/scalaz-stream.html

ストリーム処理理val source = EventProcessor.eventStreamval pipeline = buildTextToPacket(source).to(sink)pipeline.run.runPacket(1,false,1-2-3)Packet(2,true,4-5-6)汎⽤用ロジックをストリーミング処理理に適⽤用リソース管理フロー制御chunkzipWithNextzipWithIndextoPacketChannel SinkProcess Monad

まとめ•  Reactiveには関数型プログラミング•  Responsive, Elastice, Resilience, Message-Driven•  Cuncurrent, Parallel, Distributed•  純粋関数型と普通の関数型/⼿手続き型のトレードオフ•  書やすさ/品質/部品化/将来技術との連続性 vs 性能•  可能であれば純粋関数型が望ましい•  scalaz stream•  純粋関数型の範囲で相当のことができる•  出きない/苦⼿手なことがあるので応⽤用との相性を⾒見見極める•  Push•  マシンをまたいだストリームの構築

Movatterモバイル変換

Change Language

Scalaz-StreamによるFunctional Reactive Programming

Embed presentation

Recommended

More Related Content

What's hot

Viewers also liked

Similar to Scalaz-StreamによるFunctional Reactive Programming

More from Tomoharu ASAMI

Scalaz-StreamによるFunctional Reactive Programming