サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
必要なことを必要なだけ。どうも、かわしんです。 前回の記事では、AI を使って作ってきた日本の上場株式銘柄解析システムのアーキテクチャについて解説しました。 kawasin73.hatenablog.com 今回は、銘柄解析の肝となる XBRL パーサーである Arelle が遅かったので、Python で自前の高速なパーサーである xbrlp を作って 20 倍速くした話をします。 9 月上旬当時の Claude Code, Codex にはまともな効率の良いプログラムを書くことができなかったのでこのパーサーのコアの部分は自分で書いています。 ソースコードは単一のGithub リポジトリにはなっていないので、gist にあげておきました。この記事の一番下に埋め込んでいます。 XBRL parser ·GitHub こんな感じで使います。gist.github.com XBRL とは
はじめに ども！前回「DevContainer と uv で構築する爆速Python 開発環境」という記事を書いた龍ちゃんです。 この記事を社内で報告したところ、上司から「リンターとフォーマッターは何を使っているの？」という質問をいただきました。確かに、せっかくパッケージマネージャーに uv を採用しているなら、同じ Astral 社が開発している Ruff で統一した方が良いですよね！ ということで今回は、uv + Ruff で統一したPython 開発環境を構築してみました。さらに、ベースイメージも見直すことで、イメージサイズを 83%削減（1.63GB → 273MB）することに成功しています。Streamlit を使ったデータ分析アプリをサンプルとして作成していますが、もちろんStreamlit 以外のプロジェクトでも利用可能です。リポジトリは公開しているので、必要な方はク
概要本文章は、一般社団法人PyCon JP Associationが主催したPyCon APAC2023の開催に際し、そのプロポーザル選考過程において行われていた不正行為の告発を目的とするものです。本文章が対象とする読者は技術者、及び、公衆です。技術者は技術『愛好家』との付き合い方について一考をするべきであり、公衆は「専門家ではないにも関わらず技術の専門家のフリをする不正な愛好家」に対して無自覚であるべきではない、という警鐘を鳴らすため、並びに、一般社団法人PyCon JP Associationの公衆に対する不正を告発するため、本文章を公開します。本文章は、Qiitaが目指す、学びのある情報を技術者に共有することで、よりよい技術者コミュニティの形成を目指す内容であるため、Qiitaのガイドラインに沿った形式でQiita.com上で公開します。 告発する内容 PyCon APAC
はじめに 例えば機械学習モデルを運用する際に、WebAPI形式で予測を提供するのは一般的な方法と言えます。ここで推論処理に時間がかかる場合には、リクエストに対するレスポンスだけ先に返しておき、処理の本体はバックグラウンドで非同期的に実行するという選択肢が存在します。本記事では、Pythonベースの分散タスクキューツールであるCeleryを用いて、WebAPIへのリクエストに対応したタスクを非同期実行し、結果を確認するまでを紹介します。サンプルコードは以下に配置しました。 Celeryとは 公式ドキュメントの冒頭には以下のように書かれています。 Celery is asimple, flexible, and reliable distributed system to process vast amounts of messages, while providing operation
はじめに 開発部の ikasat です。 皆さんは git, ssh,rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後からPython のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
By Al Sweigart. Over 500,000 copies sold. Free to read under aCreative Commons license.Amazon | Barnes and Nobles | Powell's | Bookshop.org |Goodreads | Kobo | Thriftbooks “The best part ofprogramming is the triumph of seeing themachine do something useful. Automate the Boring Stuff withPython frames all ofprogramming as these small triumphs;it makes the boring fun.” -Hilary Mason, Data Sc
新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんはPython なら書けるかな？」 新人: 「はい！大学の研究でPython 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
はじめに 異常検知（外れ値検知）のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.iogithub.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、PyODにカーネル密度推定（Kernel Density Estimation; KDE）ベースの異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 異常検知について 以下の記事を読むのが良いだろう。 qiita.com カーネル密度推定について ばんくし氏の記事が参考になるだろう。 vaaaaaanquish.hatenablog.com 作成したクラス：KDE すでに実装済のPyODの各種アル
久々に溜まったブログネタ放出をしようかなと、その前に下書きから掘り起こしてきた、いまさらなスロークエリ関連で準備運動です。 RDSのスロークエリ情報は当然、集計を自動化していつでも見れるようにしてあるのですが、ちょいと必要があったので、今回はあえて単発ログを集計する形に切り出したものを用意してみました。 スロークエリログの必要性 最近はNewRelicとかで、アプリケーションの処理を分別して処理時間などを集計するので、それで課題となるクエリを確認したりもします。 非常に便利な仕組みですが、アプリケーション外のジョブなどが実行したクエリは集計されないことや、負荷試験で課題を炙り出すときだとテスト環境にエージェントやライブラリを仕込む必要がある、といったデメリットとまでは言わないまでも面倒さがあります。 その点、スロークエリはサーバー側で記録するものなので、0.1秒とかでONにしておけば、対象
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えたlinetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
こんにちは、クラスメソッドの岡です。 7/30にPayPayが開発者向けツール、PayPay for Developersの提供を開始しました！これは嬉しい！ これで自前のサイトやアプリにPayPayの決済を導入できるようになります。 アカウント作成 まずは開発アカウントを作成しましょう。 Sandboxであれば加盟店の情報は登録しなくても利用することができます。 アカウントを作成すると、ブラウザ上でSandboxのAPIを動作確認できるPayPay Labや、API接続時のエラーハンドリングが可能なPayPay Resolveが使えるようになります。 機能 PayPayAPIを使った決済フローは以下の4パターンです。 Webペイメント カスタムのモバイルアプリ/WebサイトからPayPayの決済ページ or PayPayアプリにリダイレクトして決済する ネイティブペイメント カスタムの
Most of the progress made in software projects comes from incrementalism. The ability to quickly see the outcome of an execution anditerate has been one of the main reasons for the success of Jupyter, especially in scientific exploratoryworkflows. Jupyter users like to experiment in thenotebook, and to use thenotebook as an interactive communication tool. However, for more classical software d
京都大学は、Pythonによるプログラミング演習の教材を無償公開した。 プログラミング演習の教材は、プログラミングの初学者を対象にPythonを用いたプログラミングを演習方式で学ぶもので、京都大学学術情報リポジトリ（KURENAI）で公開されている。本編のほか、横道にそれる話題をまとめたコラム編の2つの教材がある。著者は国際高等教育院 教授の喜多一氏。本教材は、2018年度に全学共通科目として実施された授業を元に構成されたもので、到達目標としては以下の3つを挙げてい… 続きはソース元で https://codezine.jp/article/detail/11999 https://repository.kulib.kyoto-u.ac.jp/dspace/handle/2433/245698
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
