require'json'# JSON の解析用require'awesome_print'# 表示用require'naivebayes'# ナイーブベイズ分類器require'MeCab'# 形態素解析エンジン (自然言語処理用)classNaiveBayesClassifierdefinitialize(args)@filename=args.shift||"json.txt"# 引数にファイル名を指定する# ベルヌーイモデルで分類器のインスタンスを生成@classifier=NaiveBayes::Classifier.new(:model=>"berounoulli")# 形態素解析エンジンのインスタンスを生成@mecab=MeCab::Tagger.new("-Ochasen")end# ユーザーの興味関心に基づいて分類器を学習させるdeftrain# 興味がある単語@classifier.train("関心有り",{"北京"=>1,"香港"=>1,"中国"=>1})# 興味が無い単語@classifier.train("関心無し",{"台風"=>1,"日本"=>1,"米国"=>1,"大阪"=>1,"京都"=>1,"神戸"=>1})end# 学習結果に基づいて実際にニュースを分類するdefclassifyclassified=Array.newopen(@filename)do|file|# ファイルを開くfile.each_linedo|line|key,tag,json=line.force_encoding("utf-8").strip.split("\t")hash=JSON.parse(json)# JSON データを hash に変換hits={}# ニュースのタイトルから名詞を最大 10 件取り出して評価するpickup_nouns(hash['title']).take(10).each{|word|ifword.length>1# 2 文字以上の単語のみを対象ifword=~/[一-龠]/# 常用漢字のみを対象# 語彙群をハッシュにするhits.has_key?(word)?hits[word]+=1:hits[word]=1endend}# 語彙群に対して分類をおこなうclassify=@classifier.classify(hits)# 分類結果のスコアをハッシュに格納するhash['classify']=classifyhash['key']=keyclassified<<hashendend# ニュースデータの分類結果を返すclassifiedendprivate# 与えられた文章から品詞が名詞の語彙のみを取り出して返すdefpickup_nouns(string)node=@mecab.parseToNode(string)nouns=[]whilenodeif/^名詞/=~node.feature.force_encoding("utf-8").split(/,/)[0]thennouns.push(node.surface.force_encoding("utf-8"))endnode=node.nextendnounsendendif__FILE__==$0clf=NaiveBayesClassifier.new(ARGV)# インスタンス生成clf.train# 学習result=clf.classify# 分類apresult# 結果を表示end

    [ 11] {              "title" => "台風 昼ごろにかけ九州に接近し上陸のおそれ - NHK",               "link" => "http://www3.nhk.or.jp/news/html/20141013/t10015345741000.html",        "description" => " 日本経済新聞    <b>台風 昼ごろにかけ九州に接近し上陸のおそれ</b> <b>NHK</b> 大型で強い台風１９号は、鹿児島県の薩摩地方の一部などを暴風域に巻き込みながら北上し、１３日の朝から昼ごろにかけて九州に最も接近して上陸するおそれがあります。 台風は、１４日にかけて西日本や東日本、それに東北に近づく見込みで、大雨や暴風、高波に警戒が必要 ... 台風19号、列島縦断の恐れ 勢力保ち九州上陸へ中国新聞 台風１９号、九 州上陸へ 強い勢力 鹿児島、宮崎で７人けが西日本新聞 台風１９号、九州南部に接近 上陸のおそれ毎日放送 朝日新聞 -日本経済新聞 -沖縄タイムス <b>all 647 news articles »</b> ",            "content" => nil,         "created_at" => "2014/10/13 00:30:20",           "classify" => {            "関心有り" => 0.38755980861244016,            "関心無し" => 0.6124401913875599        },                "key" => "2014-10-13T00:30:20+09:00"    },

    [ 29] {              "title" => "中国、人権派学者を拘束　香港デモと関連か - 47NEWS（よんななニュース）",               "link" => "http://www.47news.jp/CN/201410/CN2014101201000323.html",        "description" => "6 users",            "content" => nil,         "created_at" => "2014/10/13 01:00:30",           "classify" => {            "関心有り" => 0.8781695691616722,            "関心無し" => 0.12183043083832784        },                "key" => "2014-10-13T01:00:30+09:00"    },