この広告は、90日以上更新していないブログに表示しています。
差別を生み出す道具としてのAI活用術
- 「「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に」https://www.itmedia.co.jp/news/articles/2106/22/news118.html
滞納予測AIは、リースが保証事業を運営する中で得た1万件以上のデータを基に開発。年齢や雇用形態、年収など9項目の情報を入力するだけで、滞納発生度合いと滞納発生時期の予測を表示する。
同社が持つ、家賃保証の入居審査と家賃滞納データから20を超える特徴量を抽出し、毎週リアルタイムにデータを加えてモデルを更新。延滞を繰り返す属性の特徴量から滞納発生の予測精度は、70％を超えたという。
入力項目は「引っ越し先住所，入居希望先家賃，性別，年齢，国籍，結婚状態，現住所形態，雇用形態，勤務先，現住所，居住年数，勤続年数，家賃補助，年収，貯金額，金融機関，ローン，連帯保証人」．
うわあ真っ黒な奴じゃないか．ドン引きだわ．*1
あれ，この問題は以前にも見た事ある気がするぞ．
「レッドライニング」という奴か．不動産業界の差別の道具として，深層学習を使って欲しくはないなあ．その差別を生み出したのはあなた方自身であって，AIに罪はない．
政府はこれは放置したらダメだろう．また前例はすでにあるので，「前例が亡かったから」「予想できなかった」という言い訳は許されない．
それと「与信ならいいけど，家賃なら悪いのはなぜか」みたいなこと書いてる人もチラホラみかけるけど，与信でも悪いし，過去に既にAppleカードで問題になったことがある．
声を上げたのが他でもない，あのDHHだったのでわりと有名だと思う．
「アルゴリズムがつくる「公正さ」には、差別を助長する危険性が潜んでいる」
https://wired.jp/2019/05/18/ideas-joi-ito-insurance-algorithms/
レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。
保険会社とソーシャルメディアの共通項
保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。
委員会の報告を受けて、レッドライニングの禁止とインナーシティ周辺への投資促進に向けた法律が制定されたが、この慣行はなくならなかった。保険会社は黒人への商品販売拒否を正当化するために、特定の地域における統計的リスクという言い訳をもち出した。つまり、レッドライニングは保険の引受リスクという純粋にテクニカルな問題であって、倫理的なこととは何も関係がないというのだ。
レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。
女性は男性より平均寿命が長いのだから年金保険料を多く払うべきである、黒人コミュニティは犯罪の発生率が高いから黒人の損害保険料率を高く設定することは許される──というわけだ。
https://b.hatena.ne.jp/entry/s/www.itmedia.co.jp/news/articles/2106/22/news118.html
- id:develtaro 国籍や性別が項目に入ってる。これAIが差別していて謝罪しなきゃいけなくなる案件じゃないのかな…
- id:fukken 完全にあかんやつの予感しかないな
- id:hunglysheep1 統計的差別かな
- id:BlueSkyDetector 最近のディープラーニングとかのAIだと、そのロジックがブラックボックス化してしまうけど、例えば入力画面の例の「男性・女性・その他」の項目で予測に差が出た場合に差別にならないのかな。
- id:taruhachi うわぁ。。。未婚だと家賃滞納しやすいとか、完全にスコアリング社会になってしまう。。。統計的、期待値的、経済的には正しいからこそ難しいけど嫌だなぁ。。。
- id:l_etranger 1万件のデータからモデル(回帰式)を作り，データを足しながらモデル更新(係数を調整)って，それAI？？おそらく滞納発生確率はロジスティック回帰，滞納発生時期は重回帰か。AIというにはレベル低いし責任逃れしてる感。
- id:maeda_a 統計的差別をどう防ぐんか
- id:lifefucker trainデータにバイアスあるだろうね。リリースした会社はその辺のリテラシー低そう。
- id:hagino_3000 fairness aware machine learning講義のネタがまた一つ爆誕しててニコニコしてしまった
「保証金は日本人なら2ヶ月だけど，外国人だから3ヶ月ね」みたいなのは既にある．だがそれでも貸してくれるだけマシらしい．
うおっつ…性別、年齢、結婚状態、国籍あたりが入力項目に含まれてる。こういうアメリカだったら差別で一発アウトな案件が批判なくニュースで取り上げられてるの見るとびっくりするな。
—Yui Anzai (@ue129)June 22, 2021
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/9spZripXXD
これ、EUだと automated decision-making で怒られるヤツなのでは…https://t.co/AS3FcrkwUS
— Makoto IGUCHI (いぐっち) (@igucci)June 22, 2021
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に -ITmedia NEWShttps://t.co/eBfo4Wdq8a
本人実績でなくてこういう統計の仕方で滞納可能性を判断するのであれば、人種や片親とかでの審査不合格も正当化してしまうのでは…？
— ふたむとかほっしーとかそういうの (@t_h_h_t)June 22, 2021
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/5vPtLcsz4l
予測精度70%て…
— 前渋“CIV”正治＠ヲタク弁理士 (@shibuaznable)June 22, 2021
滞納なんてしないのにAIに決めつけられて部屋借りれなくなる人には堪ったもんじゃない。
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/AZtY04OtKW
まぢか。でも過去に家賃滞納してないけど、滞納が多い属性だと判断されたら、入居できる部屋が減りそうだなぁ。内面は判断できないものね。結局、与信情報と収入がベースになりそうだね。
— むぎえすぃ (@MUGI1208)June 22, 2021
→「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/tEf23S6TVF
>延滞を繰り返す属性の特徴量から滞納発生の予測精度は、70％を超えたという。
— 高阪はじめ (@registas)June 22, 2021
借りるのが難しい属性はどんどん部屋も借りられなくなってホームレスが増える世界か…https://t.co/9VruuCnLp8
リクナビの内定辞退率問題みたいなことは起こらんのかな？
— ཨ༌ར༌ཁི༌ ཨི༌ས༌མུ༌ (@itachimasamune7)June 22, 2021
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に -ITmedia NEWShttps://t.co/Mtgpvi6e84
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に -ITmedia NEWShttps://t.co/QIeb1VV2vY
— FRIES (@fries_hyg)June 22, 2021
でも実はちゃんと資産を持っていて滞納なく払えたり、トラブルで突然無職になって、とかもありますので、参考程度にした方がいい気は。
なんだこりゃ話にならんだろ。こういう判断AIに任せて誰が責任とる気だろう。しかも予測精度70%なんてデタラメよりちょっとマシ程度じゃんか。
— ⇔ Satoshi Kojima ⇔ (@skoji)June 22, 2021
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/hNyLBJzmfb
これ、すぐに銀行の審査とかに応用しようって言って、本当にやるところが出て大問題になると予想
— Ｄ介📚 (@Kyonoshin)June 23, 2021
（まずは上司とかが言い始めるところから地獄がはじまる感じ）＞https://t.co/3NQEa65oZp
色んな意味で、講義のお題にとってもぴったりなやつだ。https://t.co/Ek80Qrixz2
— Satoshi Nakamura (@nakamura)June 22, 2021
ここまでわかりやすくツッコミどころ満載なのはなかなかないので事例として本当に助かる。
— Satoshi Nakamura (@nakamura)June 22, 2021
入力内容が
— Satoshi Nakamura (@nakamura)June 22, 2021
・引越し先住所
・入居希望先家賃
・性別
・年齢
・日本国籍 or 外国籍
・独身 or 既婚
・所有・親元・賃貸
・雇用形態
・大企業・グループ or それ以外
・現家賃
・居住年数
・勤続年数
・家賃補助ありなし
・年収
・貯金額
・金融機関
・ローンのありなし
・連帯保証人ありなし
って...
・市場平均で毎月8.2%の家賃滞納が発生
— Satoshi Nakamura (@nakamura)June 22, 2021
・AIによる滞納発生の予測精度は70%以上
味わい深い。
「予言の自己成就」めいた形で「精度」が上がつてしまふことが一番の懸念事項といふ気がする（しかしこれは「AI」なのか？）。：「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分にhttps://t.co/FXVb27zwFn
— シダ（不愉快なお前の隣人） (@s_i_d_a)June 23, 2021
前述レッドライニングみたいな話かな．
女性が貧困なのは男女格差によるものだとして，彼等はその格差をさらに強く確固たるモノにするために，AIを道具に使ってる．AIを魔法の箱だと思ってる人は，これでコロッと欺されるのだろうか．
日本だと銀行が土地に対しては気軽に融資する→ 金を借りたい企業や個人はこぞって土地を購入する→ その結果土地は値上がりする →「土地は絶対に値下がりしない」という「土地神話」が信じられるようになる．
なんのことはない．銀行の審査がザルだったために生まれたバブルだ．それはいずれ弾けて，我々はそのツケをこの30年払い続けてる．
「「悪いやつをAIで予測する」のがなぜいけないか」
https://yhara.jp/2021/06/23/ai-ethics
https://b.hatena.ne.jp/entry/s/yhara.jp/2021/06/23/ai-ethics
- id:sugawara1991 本人の実際の過去行動実績に基づかない統計的材料が、AI経由でなら無理くり紐づけ予測での与信が正当化されそうになってて、それは不味いという話。実際の過去の滞納などの振る舞いで与信が下がるとはまた話が別
- id:vbwmle 単に大家が「リスクあるし外国人とか単身高齢者とかシングルマザーに貸したくねえなあ」という気持ちを「AIの決定」としてボカしてくれる装置
- id:hanninyasu 過去の借金の返済状況とかでお金を貸す・貸さないを決めるのは貸金業の範囲で問題無いけど「肌が黒いから」って理由で貸さないのはアウトということだと思う。
- id:hayashi-1 以前、アップルカードの与信AIで妻のほうがクレジットスコア高いのにカードの使用限度額は夫が20倍だったって事例あったね https://www.afpbb.com/articles/-/3254180 /https://wired.jp/2019/11/22/the-apple-card-didnt-see-genderand-thats-the-problem/
- id:guldeen 因果関係(AをするからBが発生する)と相関関係(Aをする人はB要素も併せ持つ事が多い)の混同の典型やね;-) ヒップホップ音楽を禁じても、スラムでの犯罪が減るわけではないように。
- id:mozukuyummy もう20年前だけど、東大の顔学で有名な原島先生の講演会を聞いたことがあって、その時すでに「犯罪者の平均顔は作らない。間違った因果関係を想定して『この顔は犯罪者』とする人が出てくるから」と言ってたよ。
- id:beerbeerkun 銀行のローンとかクレカの与信って属性使った判定してるんだけどそれはOKなの？「AI」とは呼ばれてないけど。
問題は同じだと思う．年収や預貯金，株くらいならまだしも，人種，性別，国籍，既婚／未婚，そして宗教などを基準にするとアウト．それと前述Appleカードの事件を見ろ．
そういえば，沼津信金が団体名に「イスラム」が入ってる組織だから口座開設を拒否した事件もあったな．
https://www.huffingtonpost.jp/2015/02/28/numazu-shinkin_n_6776940.html
- id:karukaru7 いや、そのシステムが公平ならフィードバックで正しくなっていくでしょ、なんで更新されない前提なわけ？
- id:studycalnu0220 そんな雑なアルゴリズム使ったAIは、すぐに改善されるよ。 技術の発展を舐めるなよ。 はっきり言って偏見に塗れた人（警官等）の判断より、ビックデータ読ませたAIの方が俺はよっぽど信用できる。
それは間違い．AIのバイアスはなくたらない．
特にこの例では教師信号が「それを作った人間の色眼鏡」である以上は，こういうバイアスを強化する方向にしか働かない．むしろフィードバックされて差別はますます拡大し固定化される．貧困の結果AIがそう教育されるだけでなく，今後はAIが貧困の原因になるのだ．
- id:odzid:karukaru7 正しく学習するからこそ問題がある。例えば女性の離職率が高いからと男性優遇の採用をすると、より女性の離職率が高くなって男性優遇の度合いが高まるとか。https://bit.ly/3h1wffX
- id:otchy210 これがマズいのはそう思う。でも車の保険料が年齢によって変わるのはみんな受け入れてる。閾値はその間のどこにあるのだろう。
誰もが老化によって身体能力が落ちるのは，経験的にも科学的に立証されてるからじゃね．
もし不老不死の一族がいて，彼等も同じように年齢によって変わったら，彼等は声を上げるかもしれない．
*1: Togetter「連帯保証人について『代わりに返さなくてはいけない人』という認識では甘いという話」https://togetter.com/li/1732446
