近年、インターネット広告市場の急速な成長に伴い、広告効果を最大化するためのAI技術を活用したクリエイティブ制作や運用の効率化が注目されています。「AI Lab」では、クリエイティブ領域における様々な技術課題に対して、大学や学術機関との産学連携を強化し、AIで広告効果を最大化する「極シリーズ」をはじめとした幅広いAI技術の研究・開発に注力しています。

なかでも、自然言語処理分野の研究チームでは、「広告テキストの自動生成」や「広告表現の理解」の基礎研究に取り組むとともに、当社が提供するAIで効果の出せる広告テキストを予測・自動生成する「極予測TD」への技術・知見導入を通じた社会実装に取り組んでいます。
また、強化学習チームではインターネット広告におけるユーザーに合わせた広告クリエイティブ選択の最適化など、「極シリーズ」をはじめとした実際のサービスでの意思決定戦略を対象とした研究を行っており、領域横断での研究も行ってまいりました。



●本会議
「AdTEC: A Unified Benchmark for Evaluating Text Quality in Search Engine Advertising」
著者：張培楠（サイバーエージェント AI Lab）・坂井優介（奈良先端科学技術大学院大学）・三田雅人（サイバーエージェント AI Lab）・大内啓樹（奈良先端科学技術大学院大学/サイバーエージェント AI Lab）・渡辺太郎（奈良先端科学技術大学院大学）

LLMなどによって自動生成された広告文が流暢になってきている一方で、現場レベルの評価基準が整備されておらず、制作された広告文の品質を正しく評価できない課題がありました。 本研究では、実務に根ざした広告文の品質評価を目的とした初のベンチマーク「AdTEC」を提案しました。AdTECでは広告運用における一般的なワークフローと広告文の品質を評価するための5つのタスクを定義し、広告代理店の運用経験に基づく日本語データセットを構築しました。 AdTECを用いて既存の事前学習済み言語モデル（PLM）と人間評価者のパフォーマンスを比較した結果、PLMが既に複数のタスクで実用レベルに達しているものの、一部の領域では依然として人間の評価が優れていることを明らかにし、広告文の自動生成技術と品質評価技術の相互革新に向けた実践的な知見について考察しました。これにより、広告クリエイティブに対する品質評価精度が向上し、より効果的で高品質な広告文の配信を実現します。 なお、本研究成果はすでに「極予測TD」に導入され、広告制作時における品質担保に使用されています。

「Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment」
著者：陣内佑・森村哲郎・蟻生開人・阿部拳之（サイバーエージェント AI Lab）

LLMから高品質なテキストを生成するための手法として、評価スコアをもとに最適なテキストを選ぶ手法が注目されています。しかし、特定のスコアを重視しすぎると、LLMの本来の特性から逸脱し、かえってテキスト全体の品質が低下してしまうことがあります。本研究では、この問題を解決するために、評価スコアの最適化とLLMの自然な出力とのバランスを調整する手法を開発しました。この手法により、テキスト全体の品質を維持しつつ、評価スコアを向上させられることを示しました。 また、本手法がなぜうまくいくのかを理論的に解析した論文が、機械学習分野の国際論文誌「TMLR（Transactions on Machine Learning Research）」に採択されております。 https://openreview.net/forum?id=H4S4ETc8c9

●Findings
「AdParaphrase: Paraphrase Dataset for Analyzing Linguistic Features toward Generating Attractive Ad Texts」
著者：村上聡一朗（サイバーエージェント AI Lab）・張培楠（サイバーエージェント AI Lab）・上垣外英剛（奈良先端科学技術大学院大学/東京科学大学）・高村大也（東京科学大学）・奥村学（東京科学大学）

効果が出る広告を作るには、人々を惹きつける効果的な言葉選びが重要です。 本研究では、どのような言語表現を持つ広告文が好まれるかを明らかにすることを目的とした、選好評価データ付きの広告文言い換えデータセットAdParaphraseを提案しました。AdParaphraseは、表現が異なる広告文の言い換えペアから構成され、言語表現に対する複数の評価者の好みを反映した選好評価データを含みます。 これにより、人々が魅力的に感じる言語表現に焦点を当てた分析が可能となりました。実験では、広告文の言語的特徴量と選好評価データの関係を分析し、魅力的な広告文の特徴を明らかにしました。また、これらの知見や提案データセットを活用し、魅力的な広告文を生成する手法を探求しました。

本研究の成果は、広告テキストの制作に加えて、当社で取り組む極シリーズにおける「広告テキストの自動生成技術」や審査AIでの「広告クリエイティブの自動審査」への活用等が期待されます。今後も「AI Lab」では、最先端のAI技術研究に取り組み、より使いやすく高性能なLLMの開発を進めるとともに、強化学習の実用化と進展に貢献してまいります。



※1　「NAACL」The Annual Conference of the North American Chapter of the Association for Computational Linguistics
※2　https://2022.naacl.org/blog/authors-faq/#q-findings
※3　「ACL」The Annual Meeting of the Association for Computational Linguistics
　「EMNLP」The Conference on Empirical Methods in Natural Language Processing