Movatterモバイル変換

knokid:knok

• 22,569ブックマーク
• -お気に入り
• -お気に入られ

タグ

• すべて
• 2ch(14)
• 3D Programming(1)
• AI(3)
• APIエコノミー(1)
• AR(4)
• ASBA(1)
• Amazon Web Services(4)
• Android(3)
• BSD(1)
• C (programming language)(1)
• CSS(1)
• Car Technology(1)
• Corpus(1)
• C言語(3)
• Data Visualization(1)
• Debian(1)
• Deep Learning(11)
• Docker(4)
• Emacs(1)
• Firefox(1)
• GitHub(17)
• Google Chrome(1)
• Google Cloud Platform(2)
• HTTP(3)
• IE(1)
• IPv6(1)
• IoT(6)
• Japanese Ventures(1)
• Java(2)
• JavaScript(5)
• Linux(22)
• MR(4)
• Mac(3)
• Machine Learning(10)
• Microsoft Edge(1)
• NIPS(1)
• NLP(6)
• Node.js(1)
• Oracle(1)
• Python(21)
• R(1)
• Robotics(1)
• Ruby(4)
• SNS(1)
• SQL(2)
• SVG(1)
• TensorFlow(1)
• VR(4)
• Visual Studio(1)
• Web(3)
• YAMAHA(1)
• algorighm(1)
• algorithm(2)
• anime(1)
• blog(2)
• business(1)
• c++(2)
• code(2)
• community(3)
• compression(1)
• copyright(3)
• development(6)
• dns(1)
• education(5)
• english(1)
• filesystem(1)
• food(6)
• gadget(2)
• game(25)
• git(1)
• google(3)
• hardware(1)
• health(2)
• hiwa(132)
• hiwa-negative(6)
• iOS(3)
• iPad(1)
• iPhone(1)
• illust(1)
• joke(1)
• language(1)
• lifehack(2)
• medium(1)
• movie(2)
• music(4)
• network(5)
• not-hiwa(50)
• numpy(1)
• opensource(2)
• oss(1)
• patent(1)
• perl(1)
• presentation(1)
• programming(12)
• putty(1)
• security(14)
• sega(1)
• segmentation(1)
• socal(1)
• social(1)
• software(9)
• ssh(1)
• techfeed(129)
• technology(2)
• text speech(1)
• tips(3)
• translation(1)
• unix(2)
• usb(1)
• video(2)
• vmware(1)
• wiki(2)
• windows(14)
• xbox live(1)
• xbox360(5)
• あとで読む(133)
• なんかすごい(1)
• オープンイノベーショ(1)
• ゲーム(1)
• シェル(2)
• セキュリティ(10)
• セルクマ(1)
• ソフトウェアテスト(1)
• ニューラルネット(1)
• ネタ(4)
• ネットワーク(5)
• ビジュアライゼーショ(6)
• マウンテン(1)
• ルータ(1)
• レシピ(1)
• 下流社会(1)
• 人工知能(12)
• 企業(3)
• 全文検索(1)
• 共産主義(1)
• 分散処理(1)
• 労働(3)
• 勉強会(1)
• 名古屋(3)
• 国内注目ＩＴベンチャ(1)
• 強化学習(2)
• 政治(1)
• 教育(5)
• 日経ビジネス(2)
• 機械学習(51)
• 深層学習(29)
• 特許(1)
• 環境(1)
• 画像処理(1)
• 社会(3)
• 経済(4)
• 自動車技術(3)
• 自然言語処理(6)
• 融資(1)
• 調査(1)
• あとで読む(133)
• hiwa(132)
• techfeed(129)
• 機械学習(51)
• not-hiwa(50)
• 深層学習(29)
• game(25)
• Linux(22)
• Python(21)
• GitHub(17)

タグをすべて表示

関連タグで絞り込む (3)

• Amazon Web Services
• techfeed
• あとで読む

タグの絞り込みを解除

Pythonと分散処理に関するknokのブックマーク (1)

• 「db analytics showcase Sapporo 2018」で玉川竜司さんのParquetの話を聞いてきました #dbts2018 #dbasSPR | DevelopersIO

  • 13 users
  • dev.classmethod.jp
  • テクノロジー

  性能計測してみました どんなデータを使って計測したか 以下のようにJupiterNotebookを使ってサンプルコードを作成しています。 データのバリエージョンは、 カーディナリティの低い数値 カーディナリティの低い文字列 ランダムな数字 ランダムな文字列 ソートされた数字 ソートされた文字列 実際に動かし読み書きにかかった時間を集計して、読み取りのパフォーマンスを計測しています。 圧縮について計測 Parquetでは透過的に様々な圧縮アルゴリズムが利用可能 現時点の0.9では snappy, gzip, brotli にて検証しました 今後、0.10では lz4, zstd をサポートしそう データの量やデータの性質によって、圧縮率と読み書きの速度はどう変わるか？（対CSVで計測） 計測環境はMacBook 2017（メモリ16GB、SSD）、Python3.5 スワップが生じない範囲で

  
  

  knok2018/06/25

  • Python
  • 分散処理
  • Amazon Web Services
  • techfeed
  • あとで読む

  リンク
• 1

• 総合
• 一般
• 世の中
• 政治と経済
• 暮らし
• 学び

• テクノロジー
• エンタメ
• アニメとゲーム
• おもしろ

• アプリ・拡張機能
• 開発ブログ
• ヘルプ
• お問い合わせ
• ガイドライン
• 利用規約
• プライバシーポリシー
• 利用者情報の外部送信について

• ガイドライン
• 利用規約
• プライバシーポリシー
• 利用者情報の外部送信について

• 公式アカウント
• ホットエントリー