TL;DR データ分析コンペであるKDDCUP 2024 OAG-AQA にて6位 入賞したので、入賞解法を紹介します。 KDD概要と現地参加した発表の様子はこちらの記事をご覧下さい。 はじめに NTTドコモ クロステック開発部の鈴木明作です！ ドコモR&Dでは、データマイニング国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 KDDCUP 2024 OAG-Challengeの一つであるOAG-AQA(Open Academic Graph - Academic Question Answering)にて、約300チームの中で6位入賞することができました。 この記事で…

データ分析コンペであるKDD2024にて、ドコモの2チームが3つのタスクで入賞(6位・6位・8位)しました。手法詳細は以下をご覧ください タスク１nttdocomo-developers.jp タスク２nttdocomo-developers.jp タスク３nttdocomo-developers.jp 昨年度のKDD2023の様子はこちら nttdocomo-developers.jp 私たちの成果はテクニカルジャーナルおよび表彰のページにも掲載されていますので、ぜひご覧ください 本記事では今回参加した国際学会であるKDD2024について、現地の様子をメインに紹介します KDDとKDDCUP…

自分自身スクレイピングやクローリングで研究したりするのですが，その際にいつも思いつく疑問とそれに対する答え・根拠をまとめます． そもそもスクレイピングは合法？ スクレイピングしたものの著作権は？ Webサイトにスクレイピング禁止と書かれている場合は？ リクエストの間隔は1秒あければよい？ スクレイピングしたデータの解析，ブログや論文などで公開していい？ スクレイピングしたデータの解析をもとにしたサービスを提供して金銭を得ていい？ 結論 ※スクレイピングする際は自己責任でお願いします． そもそもスクレイピングは合法？ 全てスクレイピング＝合法とは言えない．ただスクレイピングの基本動作はWebサイ…

2023年もあっという間に終わります。１年は早いと毎年、思うのですが、その早さは歳を重ねる毎に加速しているような気がします。今年１年、わたしが投稿したブログを「ユーザーローカル テキストマイニング（https://textmining.userlocal.jp/）」というツールを使って「スコア」による分析をしたら、以下の結果となりました。情報セキュリティは、このブログの骨格ですので、目立つのは当然です。情報セキュリティに関係が深い、パスワードや個人情報もやはり目立ちますね。概ね、想定通りの結果ですが、異質な感じを受けるのが「韓国ドラマ」というキーワードです。現在、わたしは、ネットフリックス、A…

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しました。 ドコモは2016年からKDD CUPへの参加を始め、2016年ファイナリスト、2019…

要するに私の手の届かないところでコンピューティングは進化しているということである。キャッチアップcatchupは出来るのだろうか。 コンピューティング第15回 - F-nameのブログ -----講義録始め----- -----CHATGPTの説明の2回目----- この講義では、まずハイパフォーマンスコンピューティングについて議論します。これは、科学、工学、ビジネスなどの分野で複雑な問題を解くために、高度に計算能力のあるコンピュータを利用する手法を指します。超並列計算とは、大量のプロセッサを並行して働かせることで計算速度を高める技術で、グリッドコンピューティングは、ネットワーク上の異なる地理…

無料で使えるデータマイニングツール一覧 RapidMiner www.rapidminer.jp データマイニング、機械学習、ビジュアルアナリティクスなど、様々なタスクに対応したオープンソースのツールです。ユーザーインターフェイスが直感的であり、機械学習やデータマイニングに関する知識がなくても使いやすいです。 KNIME knime-infocom.jp オープンソースのツールであり、データマイニング、機械学習、ビジュアルアナリティクスなどのタスクに対応しています。ユーザーインターフェイスが直感的であり、複雑なデータ処理パイプラインを簡単に構築できます。 Weka weka-jp.info オ…