サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
今回のメルマガのテーマは 「PythonによるWebブラウザ自動操作の基本 ～Seleniumを活用する」でございます。 「Web上からの情報収集自動化」と「Webブラウザの自動操作」ができるようになれば、業務自動化の幅が大きく広がります。Pythonを学習している方、実務で活用している方の中でも、PythonでWebブラウザを自動で操作できることを知らない方が多いです。 この技術を使えば、例えばログインが必要な自社のWebシステムに自動でログインして操作を行うことができます。 Webブラウザの自動操作を行うためには、Pythonの便利なツールである「Selenium」というライブラリを使います。 当メルマガを通して、PythonによるWebブラウザの自動操作について理解し、是非業務自動化の幅を大きく広げていただければと思います！ 「Web上からの情報収集自動化」の研修、記事のリンクはコ
WinPython は，Windows 用のPython 処理系と主要なPython パッケージを１つにまとめた，ポータブルなPythonディストリビューションです．インストール不要でUSBメモリなどから直接実行できるため，環境構築の手間を省きたい場合に便利です．主に以下のアプリケーションが同封されています． MinGW の gcc qtconsole: コンソール．図などにも対応． spyder:Python 開発環境 Anaconda Navigator: アプリケーションの起動や管理などができるアプリケーション本記事では，WinPythonのインストール，初期設定，主要なPythonパッケージのインストール，簡単な性能確認の手順をスクリーンショット等を用いて説明します． 【目次】 WinPython のダウンロードとインストール 環境変数 Path の設定 WinPython
通常、ブラウザの操作は画面が無いと出来ません。 しかし、Seleniumを利用した自動操作はページ内要素を見ているので画面を必用としません。そういった画面の無いブラウザのことをヘッドレスブラウザと呼ぶのだそうです。 前回はラズパイでこのヘッドレスブラウザの起動テストをしました。 dreamerdream.hateblo.jp 今回はVPS上のCentOS7でヘッドレスブラウザを実行してみます。 やることは基本的に同じなのですがラズパイより少しだけ面倒です。 やることリスト Sereniumのインストール PyVirtualdisplayのインストールGoogleChromeのインストールChromeDriverのインストール 日本語フォントのインストール Seleniumをpipからインストールsudo pip3 install selenium Xが元々インストールされていないので
Python 3.14.2 documentation Welcome! This is the official documentation forPython 3.14.2. Documentation sections: What's new inPython 3.14? Or all "What's new" documents sincePython 2.0 Tutorial Start here: a tour ofPython's syntax and features Library reference Standard library and builtins Language reference Syntax and language elementsPython setup andusage How to install, configure, and u
2Captchaとは 2Captcha公式ページロシアの会社が開発したreCAPTCHAを突破するためのプラットフォームです。 通常であれば、プログラムからreCAPTCHAにチェックをいれることは、ほぼ不可能レベルだと言われています。 では、なぜ2Captchaを使うだけで、可能なのでしょうか。 2Captchaの仕組み 2Captchaの仕組みを簡単に説明すると、reCAPTCHAのチェックボタンをネット上の『Worker』と呼ばれている人達に代わりに押してもらっているイメージです。PythonのSeleniumで説明すると、プログラムの実行中にWorkerの誰かがリアルタイムで解錠した結果を2Captcha経由で受け取ると言ったところでしょう。 なので、2Captchaはプログラムで解錠しているように見えるけど、実際は人力…みたいなオチです。 使用方法 2Captchaを使うため
Python は 1991 年にオランダのプログラマー、グイド・ヴァンロッサムによって開発されたプログラミング言語です。シンプルで直感的な文法と可読性の高さから、初心者から上級者まで幅広く利用されています。現在では Web 開発やデータ分析に加え、AI や機械学習などの分野でも活用されています。Python の最大の特徴は、「書きやすさ」と「読みやすさ」です。コードが直感的でわかりやすく、少ない行数で効率的かつシンプルにプログラムを書くことができます。そのため、プログラミング初心者にとって学習しやすく、経験者にとっても生産性の高い開発を行うことが可能です。またPython には豊富なライブラリやフレームワークが揃っており、初心者でも高度なアプリケーションやシステムを容易に開発できるのが魅力です。Python は多くの企業や研究機関で採用されており、大手IT 企業でも活用されていま
クレジットカードの利用明細はこまめにチェックする必要があるが、専用サイトにログインして明細をダウンロードするのは面倒だ。そこで、自動でダウンロードするプログラムを作ってみよう。前回に引き続き今回は、実際に会員制のサイトにログインして、リンクをクリックしてデータをダウンロードするプログラムを作ってみよう。 会員制のWebサイトにアクセスしてデータをダウンロードするプログラムを作ろう Webブラウザを操作する方法の復習 前回、GoogleChromeを自動操縦するために、SeleniumとChromeDriverをインストールした。これを利用することで、ChromeブラウザをPythonから本格的に操作できる。Chromeを実際に操作するため、セッション機能を利用した会員制のサイトや、JavaScriptが多用されている動的なサイトにもアクセスできる。まだ、インストールしていなければ、前回の
Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく）Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。Pythonのインストール（約30分）データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anacondaをインストールすれば、Pythonと各種ライブラリは同時にインストールされます。 また、集計対象である、テーブル形式のcsvデータは既に用意されているものとします。 ↓Excelで表示すると、こん
1.本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LDAは「たくさんの文書データから単語のグルーピングを行う」モデルです。 このグループ1つ1つを「トピック」と呼びます。 例えば、大量のニュース記事にLDAを適用する例を考えます。 ニュース記事データにLDAを適用した例 LDAでは「各トピック（トピック数は予め指定）における各単語の所属確率」が算出されます。 理論的なことはさておき、文書データから単語をいくつかのグループに自動で分けてくれる手法 との理解で大丈夫です。 よく勘違いされることとして以下の2点を示します。 トピック数（いくつ
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています．pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
8月10日に「いちばんやさしいPythonの教本」が出版されました。 書籍は、ビープラウドのメンバー、鈴木たかのり（@takanory）、杉谷弥月の２人で執筆しました。 レビューには、私も含めて以下のメンバーが参加しています。 社内レビュアー @shimizukawa @hirokiky @okusama27 @haru860 ヘルプコラミスト @hirokiky 読者対象者 以下の方々が対象です。 プログラミングを始めたいPythonを学びたい 内容構成 書籍は10章構成です。 内容は、以下のように大きく５つに分かれています。 【1】プログラミング入門 プログラミングを始める方向けの内容です。プログラミングとは何か、どのように動作しているのかをPythonを使って丁寧に説明しています。 1章Pythonを学ぶ準備をしよう 2章 コマンドプロンプトに慣れよう 3章 基礎を学びながらプロ
7月20日、Intel (Movidius) がUSB接続タイプのスティック型ディープニューラルネットワーク処理用アクセラレータ「Movidius Neural Compute Stick」を発表しました。 Intelが激安1万円以下のUSB型Deep Learning用端末「Movidius Neural Compute Stick」を発売 :Gigazine Intel Democratizes Deep Learning Application Development with Launch of Movidius Neural Compute Stick | Intel Newsroom プロダクトページ NCSは、Deep Learningに特化した専用チップ「Myriad 2」が搭載された、外付けの演算装置です。USBポートに挿すだけでDeep Learningの推論処理を実
ページコンテンツ XML ドキュメントを作成する 要素のノードを組み立てる 人が読み易い XML 要素のプロパティを設定する ノードのリストからツリーを構築する ストリームへ XML をシリアライズする ナビゲーション コンテンツテーブル 前: XML ドキュメントを解析する 次: 国際化 This Page Show Source サンプルプログラム PyMOTW の全てのサンプルプログラムの出力は、 注記されていない限りはPython 2.7.2 で生成されています。 標準ライブラリの初期のバージョンでは利用できない機能も紹介している 可能性があります。 XML ドキュメントを作成する¶ XML の構文解析に加えて、 xml.etree.ElementTree はアプリケーションで組み立てた Element オブジェクトから一般的な XML ドキュメントを作成する機能も提供します。ド
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
これは何？ Catalyst 3850や3650といった普及版（企業向け）L3スイッチのIOS-XE16.5.1aにて、ゲストシェル（Bash）やPythonスクリプティングがサポートされたらしいので、取り急ぎどんなモノか確認するメモ。 Cisco IOS XE Everest 16.5.1aのリリースノート 該当部分は以下。スイッチ上でLXC（Linux Container）が動くらしい。 Guest Shell—A secureLXC container that is anembeddedLinux environment and enables you to develop and runLinux and customPython applications for automated control and management of Ciscoswitches. G
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
