Movatterモバイル変換


[0]ホーム

URL:


はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

sparkとpandasに関するWindymeltのブックマーク (1)

  • Pandasを使うのをやめてScalaでSparkを使い始めましょう - Qiita

    なぜデータサイエンティストやデータエンジニアがPandasの代替としてScalaとSparkを使うことを考えるべきなのか、どのように使い始めるのか ソース: https://unsplash.com/photos/8IGKYypIZ9k PandasからScala + Sparkへの移行は思うほど大変なことではなく、結果としてお使いのコードが高速になり、おそらくより良いコードを書くことになるでしょう。 データエンジニアとしての私の経験を通じて、Pandasでデータパイプラインを構築すると、増加するメモリーの使用量についていくために定期的にリソースを増強することが多くの場合必要となることを知りました。さらに、予期しないデータ型やnullによって多くの実行時エラーに遭遇しました。代わりにScalaとSparkを用いることで、ソリューションはより堅牢なものとなり、リファクタリングや拡張が容易にな

    Pandasを使うのをやめてScalaでSparkを使い始めましょう - Qiita
    • 残りのブックマークを読み込んでいます1

    お知らせ

    公式Twitter

    • @HatenaBookmark

      リリース、障害情報などのサービスのお知らせ

    • @hatebu

      最新の人気エントリーの配信

    処理を実行中です

    キーボードショートカット一覧

    j次のブックマーク

    k前のブックマーク

    lあとで読む

    eコメント一覧を開く

    oページを開く

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2025Hatena. All Rights Reserved.
    設定を変更しましたx

    [8]ページ先頭

    ©2009-2025 Movatter.jp