Download to read offline
Uploaded byKazutaka Tomita
PPTX, PDF1,077 views
Apache sparkとapache cassandraで行うテキスト解析
Cassandra Summit Tokyo 2017
More Related Content
What's hot
Viewers also liked
More from Kazutaka Tomita
Apache sparkとapache cassandraで行うテキスト解析
- 1.Apache SparkとApache Cassandraで行うテキスト解析株式会社INTHEFOERST 冨田 和孝
- 2.自己紹介冨田 和孝肩書き： 株式会社ＩＮＴＨＥＦＯＲＥＳＴ代表取締役社長CassandraコンサルティングCassandra Conference in Ｔｏｋｙｏ / Cassandra Summit JPNOrganizerCassandra勉強会主宰２か月に一度程度開催。第38回まで開催しています。職種：ＤＢ・インフラ屋以前、某レストランサーチのＤＢＡ高負荷・大容量・大規模のOracleRACとPostgreSQLとMySQLに苦しめられ続けた経験あり。元々は社会言語学（日本語）専攻（言語認知）
- 3.自己紹介Tim BerglundGlobal Directorof TrainingCOMPLETEDHAS COMPLETEDKazutaka Tomitaas a part of the:DataStax Certificat ion Pr ogram.Apache CassandraTMProfessional Certifica t ionSEPTEMBER82016Tim BerglundGlobal Director of Training
- 4.Agenda 自然言語解析とは 日本語の特徴Apache Spark ML + Apache Cassandra
- 5.
- 6.自然言語解析とは ネガポジ判定等（回帰分析） ラベリング（クラス分類）傾向分析（クラスタリング）
- 7.
- 8.
- 9.
- 10.日本語の特徴日本語のように単語間に空白文字が無い言語の場合、単語と単語の区切りを判定し、文字を分割する特別な前処理が必要となる。この処理を「形態素解析」という。私 は 朝ご飯 を 食べ た。形態素を座標点に文章のベクトル化を行うのが一般的
- 11.
- 12.日本語の特徴形態素で切り分けた場合、、助詞・助動詞の中でも膨大な数の言葉が存在し、座標点が多くなりすぎる。私 は ご飯を 食べ た 。私 は ご飯 を 食べ なかっ た 。私はご飯を食べた。私はご飯を食べなかった。
- 13.日本語の特徴私は ご飯を 食べた。私はご飯を食べた。私は ご飯 を 食べ た。私は ご飯を 食べなかった。私はご飯を食べなかった。私 は ご飯 を 食べ なかっ た。一歩進めて文節を座標にしてみた。
- 14.Sparkとは 2009年のUC Berkeleyでの研究プロジェクト高速かつ汎用のクラスタコンピューティングシステム API：Scala、Java、Python、およびR 200社以上の企業の1,000人以上の開発者が開発
- 15.Cassandraとは オープンソース 単一障害点(SPOF)がないリニアなスケーラビリティ性能 すべてがアクティブな設計 透過的にエラーを検出、回復 マルチデータセンター レプリケーション CQL (Cassandra Query Language)Amazon Dynamoの分散ハッシュテーブル（DHT）とGoogle Big TableのKVSの２つの特徴を併せ持つビッグデータ用分散データベース
- 16.SparkとCassandraSpark ClusterCassandra ClusterDriverExecutortaskslottasktasktaskslotExecutortaskslottasktasktaskslotExecutortaskslottasktasktaskslotNodeNode NodeSparkでは，タスクの割り当ての際にデータアクセスの局所性（ローカリティ）が考慮される
- 17.
- 18.機械学習実行方法私は ご飯を 食べた私はお肉を食べた食べなかった私はご飯を 食べなかったS1:S2:あなたは お肉を 食べなかったS3:座標点:P1:P4:P3:P5あなたは :P2ご飯を:P6座標S1:{P1,P3,P5}S2:{P1,P3,P6}S3:{P2,P4,P6}
- 19.言語解析と機械学習 ロジスティック回帰 二項分類ロジスティック関数 ナイーブベイズ分類器 多項分類 ベイズの定理 ゼロ頻度問題
- 20.
- 21.
- 22.
- 23.まとめ 自然言語解析 ネガポジ判定等（回帰分析）ラベリング（クラス分類） 傾向分析（クラスタリング） Spark と Cassandra 機械学習 データビジュアライゼーション
Editor's Notes
- #17 クラスターが 複数のエグゼキューター(-num-executors) とそれらが持つ 複数個のコア(-executor-cores)と、それぞれのタスクのための複数個のCPU(spark.task.cpus) とするとクラスターの実行されるスロットの数は E * C / T になります。