恐怖！シェルショッカーの POSIX原理主義シェルスクリプト

Richie Shellshoccar

More Related Content

1.恐怖シェルショッカーのPOSIX原理主義シェルスクリプトシェルショッカー日本支部https://github.com/ShellShoccar-jpn12016年3月20日@歌舞伎座.tech#9
2.全世界70000000000000000000000人くらいのプログラマー達よ、2
3.お前たちは、今の開発言語、開発環境に満足しておるのか？3
4.OS、言語、ライブラリー、ミドルウェア……毎日飽きもせずver. up、4
5.突然動かなくなって、徹夜で泣きながら修正……とか...5
6.そういう目に遭わずに済む奴はいるのか？6
7.より便利な競合ソフトの登場、代わりに、消えていくソフト……7Developer Survey Results 2016IV. Trending Tech on Stack Overflow (Losers)http://stackoverflow.com/research/developer-survey-2016
8.せっかく勉強したのに開発現場から消え、知識が役に立たなくなる……8
9.10年後の自分は、10年分の成長ができているのか……9
10.10秘密結社シェルショッカー。
11.POSIX中心主義プログラミング（POSIX Centric Programming）秘密結社シェルショッカーの11
12.POSIX中心主義 ― 概要UNIX系OSの最低限のI/Fを定めた規格、「POSIX」に極力準拠させるプログラミング方針12
13.POSIX中心主義 ― 概要POSIX準拠させる理由① ― 準拠OSが多い 明示的準拠……商用UNIX、 Mac OS Xなど 暗示的準拠……FreeBSD、 LinuxなどのPC UNIX→どこへ持っていっても動く13
14.POSIX中心主義 ― 概要POSIX準拠させる理由② ― 殆ど改定しない 非営利団体の国際規格 準拠するベンダーが多いので簡単に改定できない→長年動く （動いてきた）14
15.POSIX中心主義 ― 概要過酷な環境変化に耐える「ソフトウェアの乾パン」15
16.POSIX中心主義 ― 概要複雑な状態変質がイヤでImmutable Infrastructure?16
17.POSIX中心主義 ― 概要必要ない！サーバーよ、好きなだけ変質しろ！Be mutable! infrastructure17
18.POSIX中心主義 ― 実践3つの方針を導入18①POSIX原理主義②交換可能性担保③W3C原理主義単独ホスト または Webサーバー Webクライアント
19.POSIX中心主義 ― 実践①POSIX原理主義1. POSIXコマンドだけで実装AWK、sed等はチューリング完全。2. 言語はシェルスクリプトPOSIXにあるのがそれだから。→ POSIXの範囲で、どんな計算も書ける。19POSIX公式情報サイトhttp://pubs.opengroup.org/onlinepubs/9699919799/
20.POSIX中心主義 ― 実践①POSIX原理主義例（1）―XMLパーサ（parsrx.sh） https://github.com/ShellShoccar-jpn/Parsrs/blob/master/parsrx.sh XML→行列指向フォーマット（XPath - value）への変換 sed, AWK等、２６個のコマンドをパイプで連結し生成。 JSON, CSVパーサも同様に実装済。20<文具購入リスト 会員名="文具 太郎"><購入品>はさみ</購入品><購入品>ノート(A4,無地)</購入品><購入品>シャープペンシル</購入品><購入品><取寄商品>替え芯</取寄商品></購入品><購入品>クリアファイル</購入品><購入品><取寄商品>６穴パンチ</取寄商品></購入品></文具購入リスト>/文具購入リスト/@会員名 文具 太郎/文具購入リスト/購入品 はさみ/文具購入リスト/購入品 ノート(A4,無地)/文具購入リスト/購入品 シャープペンシル/文具購入リスト/購入品/取寄商品 替え芯/文具購入リスト/購入品/文具購入リスト/購入品 クリアファイル/文具購入リスト/購入品/取寄商品 ６穴パンチ/文具購入リスト/購入品/文具購入リスト ¥n ¥n ¥n ¥n ¥n ¥n ¥n
21.POSIX中心主義 ― 実践①POSIX原理主義例（2）―RDBMS的操作 データは半角空白区切りのテキストファイル持ち AWK, grep, sort, join等の組み合わせでselect文相当が実現→ ＳＱＬ文（ＲＤＢＭＳ）など要らぬ！21SELECTMEM."会員ID",MEM."会員名"FROMblacklist AS MEMRIGHT OUTER JOINmembers AS BLON BL."会員名" = MEM."会員名"WHEREBL."会員名" IS NOT NULLORDER BYMEM."会員ID" ASC;cat blacklist.txt |# 第1列:BL会員ID #sort -k 1,1 | ←会員IDで並替えuniq > sorted_bl.txtcat members.txt |# 第1列:会員ID 第2列:名前 #sort –k 1,1 |←会員IDで並替えjoin -1 1 -2 2 -v 2 sorted_bl.txt - ←BLの会員IDでjoinできない行のみを抽出ブラックリストに掲載された会員「以外」を表示するデータ操作SQL版 POSIX版
22.POSIX中心主義 ― 実践①POSIX原理主義例（3）―その他いろいろ 非Web系 乱数、 mktemp相当、 全角・半角文字相互変換、 排他制御…… Web系 Cookie、 セッション管理、 MIMEマルチパート作成・解読、Base64、CGI変数授受…… 主にRFC文書を読みながら作る。Webアプリ開発に必要なものまで、概ね作れる。22
23.POSIX中心主義 ― 実践②交換可能性担保POSIXの範囲で実現できないものバイナリ処理（非現実的処理速度なため）ネットワーク処理（コマンドが無く、原理的に不可）一定条件の元、POSIX外コマンドを認める。23
24.POSIX中心主義 ― 実践②交換可能性担保一定条件とは、「交換可能性」の担保交換可能性「現在依存している製品が使えなくなっても、同じ機能を持つ別製品が存在し、交換できる」（例） Apache ←→ nginx ←→ lighttpd 等 sendmail ←→ Postfix ←→ qmail ←→ exim 等 cURL ←→ Wget そもそもPOSIX準拠OS同士には交換可能性がある。24
25.POSIX中心主義 ― 実践②交換可能性担保例 ― CUI版Twitterクライアント怪人「恐怖！小鳥男」https://github.com/ShellShoccar-jpn/kotoriotoko25
26.POSIX中心主義 ― 実践②交換可能性担保Twitter APIアクセスでcURL、Wget両対応にする。26:s=$(mime-make -m)ct_hdr="Content-Type: multipart/form-data; boundary=¥"$s¥""eval mime-make -b "$s" $mimemake_args |if [ -n "${CMD_WGET:-}" ]; thencase "$timeout" in'') : ;;*) timeout="--connect-timeout=$timeout";;esaccat > "$Tmp/mimedata""$CMD_WGET" ${no_cert_wget:-} -q -O ---header="$oa_hdr"--header="$ct_hdr"--post-file="$Tmp/mimedata"$timeout"$API_endpt"elif [ -n "${CMD_CURL:-}" ]; thencase "$timeout" in'') : ;;*) timeout="--connect-timeout $timeout";;esac"$CMD_CURL" ${no_cert_curl:-} -s$timeout-H "$oa_hdr"-H "$ct_hdr"--data-binary @-"$API_endpt"fi:[注意]Wgetには、ファイルアップロード機能がないため、cURLにあっても使わない。→POSIX原理主義で実装（使ったら交換不可能になるではないか！）Wget用、cURL用、2つの書式で書く。
27.POSIX中心主義 ― 実践②交換可能性担保その他の例メール送信コマンド ― sendjpmail sendmailコマンドの日本語対応ラッパー 主要MTAには、必ずsendmailコマンドがある。 添付ファイルにも対応 https://github.com/ShellShoccar-jpn/misc-tools/blob/master/sendjpmail27
28.POSIX中心主義 ― 実践③W3C原理主義WebアプリではWebブラウザー側でも開発必要WebブラウザーはUNIXではない。 HTML/CSS/JavaScriptW3C勧告に準拠W3C勧告は、いわば「POSIXのWebブラウザー版」28
29.POSIX中心主義 ― 実践③W3C原理主義W3C勧告のHTML/CSS/JavaScript仕様のみ使用 https://www.w3.org/TR/ 個々のWebブラウザーの独自仕様は使用禁止。独自ライブラリーも禁止 jQueryその他 W3C勧告の範囲でフルスクラッチ29
30.POSIX中心主義 ― 実践③W3C原理主義Ajax処理ごとき、40行足らずでフルスクラッチ可能。 （例）https://github.com/ShellShoccar-jpn/Ajax_demo/blob/master/CLOCK.JS30// 1.Ajaxオブジェクト生成関数function createXMLHttpRequest(){if(window.XMLHttpRequest){return new XMLHttpRequest()}if(window.ActiveXObject){try{return new ActiveXObject("Msxml2.XMLHTTP.6.0")}catch(e){}try{return new ActiveXObject("Msxml2.XMLHTTP.3.0")}catch(e){}try{return new ActiveXObject("Microsoft.XMLHTTP")}catch(e){}}return false;}// 2.Ajax通信関数function update_clock() {var url,xhr,to;url = get_homedir()+'CLOCK.CGI';xhr = createXMLHttpRequest();if (! xhr) {return;}to = window.setTimeout(function(){xhr.abort()}, 30000);xhr.onreadystatechange = function(){update_clock_callback(xhr,to)};xhr.open('GET' , url+'?dummy='+(new Date)/1, true);xhr.send(null);}つづく→→つづき// 3.コールバック関数function update_clock_callback(xhr,to) {var str, elm;if (xhr.readyState === 0) {alert('タイムアウトです。');}if (xhr.readyState !== 4) {return; }window.clearTimeout(to);if (xhr.status === 200) {str = xhr.responseText;elm = document.getElementById('clock');elm.innerHTML = str;} else {alert('サーバーが不正な応答を返しました。');}}
31.POSIX中心主義 ― 実践③W3C原理主義動作例―Ajax Clock（ボタンを押すたび時刻文字列だけ更新） http://lab-sakura.richlab.org/AJAX/CLOCK.HTML31
32.POSIX中心主義 ― 戦歴(1) 郵便番号から住所を検索 http://lab-sakura.richlab.org/ZIP2ADDR/public_html/全国のたかが14万レコードなど、一瞬で探せる。32
33.POSIX中心主義 ― 戦歴(2) ショッピングカート（組織の資金源） https://richlab.org/coterie/商品・在庫データをテキストファイルで管理Cookie等で買い物カゴ実装クレカ決済（Web API）も対応WordPressも、はてなブログもショッピングサイト化可能「恐怖！ シェルショッカー １号男」→ http://www.slideshare.net/tomoyukimatsura/1-php-con2014-4013411933
34.POSIX中心主義 ― 戦歴(3) 鉄道運行状況表示プログラムhttp://metropiper.com東京メトロのWeb APIから車両の現在位置を取得何駅前まで列車が来ているかわかる34
35.POSIX中心主義 ― 戦歴(3) 鉄道運行状況表示プログラムは、東京メトロのコンテストに送り込んだ怪人 https://developer.tokyometroapp.jp/ オープンデータ活用コンテスト 2014年開催35
36.POSIX中心主義 ― 戦歴コンテストは東京五輪を意識していた、らしい。2020年（＝コンテストの6年後）観光客の利便性向上のため、スマホアプリまで広く募集。受賞作品は、スマホアプリが大半を占めた。http://car.watch.impress.co.jp/docs/news/20150220_689397.html36
37.POSIX中心主義 ― 戦歴審査員達よ・・・その受賞作、2020年の本番まで動くのか？Android、iOSアプリって6年ももつのか？37
38.POSIX中心主義 ― 戦歴我らが送り込んだ怪人（作品）は、２０２０年に動くことを最優先に作ったのだがな・・・・・・38
39.結論低水準領域を学べ39
40.低水準領域を学べこの男も言っているぞ「人体を理解するとよい」と。40報道ステーション 2016.03.17スペシャル対談2016イチロー×稲葉篤紀 より引用
41.低水準領域を学べウェイトトレーニング（シーズン前）で筋力増↓春先、打てない！↓シーズン中、トレーニングできず痩せる↓スイングスピード上がる41
42.低水準領域を学べこの男も学習したぞ「ハンマーの柄の方を振り回すと強い」ことを。42映画「少林寺三十六房」より
43.低水準領域を学べ重いハンマーを振り回す。↓先端が重くて動きが鈍く、反撃される。↓僧侶に言われ、柄を相手に向けて振り回す。↓撃退に成功43
44.低水準領域を学べPOSIX中心主義では、比較的低水準領域を学習する。44ハードウェア ハードウェア ハードウェアカーネルシェル言語 言語アプリ アプリ アプリアプリ アプリPOSIX中心主義と高級言語の学習範囲のイメージ高級言語の学習領域POSIXの学習領域
45.低水準領域を学べ同じこと。頭でっかちは不利。45
46.低水準領域を学べ道具を探し回るな！使いこなせ！46
47.低水準領域を学べコンピューターの本質を理解するのだ。47
48.低水準領域を学べPOSIXシェルスクリプトは本質に近い。48
49.低水準領域を学べ「シェルスクリプトなんてクソだ！」だと？49
50.低水準領域を学べお前は、シェルスクリプトやUNIXを、何も理解していない！！50
51.低水準領域を学べ「シェルスクリプトはOS依存が激しい」だと？51
52.低水準領域を学べPOSIXの仕様を読まずに書くからだ！52
53.低水準領域を学べ依存性回避のために他言語やソフトを、OSや環境依存に苦しみながら、コンパイル・インストール・バージョンアップしてたら、意味がなかろうが！53
54.まとめ54
55.まとめ基礎から学べ！55
56.まとめシェルスクリプトを使え！56
57.まとめPOSIX原理主義の聖典を買え！ (宣伝)57本の形をした怪人「すべてのUNIXで２０年動くプログラムはどう書くべきか」C&R研究所 発行https://richlab.org/coterie/pfb.htmlを、全国書店に送り込んだ！
58.まとめついでに、授業も受けろ(宣伝)58「シェルスクリプト言語論」金沢大学＠大学コンソーシアム石川で2016年4月開講（社会人も受講可）組織の幹部を送り込む！
59.今日はこれくらいにしといてやる！59