サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン
住所を、もっと便利にしよう。 無意識のうちに感じていた、 たくさんの不便を解決しよう。 いま、私たち日本郵便の、 新たなインフラづくりへの挑戦が 動き出しています。 デジタルアドレス。 それは、たった７桁の英数字で、 住所が伝わる仕組み。 もしもこれが、世の中に浸透したら。 長い住所を書くストレスが減らせる。 スマホやパソコンでの、 住所入力が楽になる。 引越しの時、いくつものサービスで 変更手続きをしなくてすむ。 言うなればこれは、 「住所」のパラダイムシフト。 とても大きな変化だからこそ、 社会全体での実用化には 少し時間がかかるけれど。 まずは郵便局アプリでの、 ゆうパック送り状作成から ご利用いただけます。 さあ、あなたも住所を７桁に。 デジタルアドレス、はじまります。
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 先日のApple発表会では新型のiPhoneやApple Watchなど心躍る製品が色々と発表されましたね。筆者は特に新型iPad miniが心に刺さっています。 さて、今回はApple関連の話として「macOSの暗号化zipファイルはパスワード無しで解凍できる」というネタについて書いていきます。 解凍できる条件 何を言っているんだと思われるかもしれませんが、macOSで作られた暗号化zipファイルは以下の2つの条件を満たす場合にパスワード無しで容易に解凍が可能です。 zipの暗号化方式がzipcryptoである (通常の暗号化zipファイルは基本的にzipcryptoが利用されています) zip内のいずれかのディレクトリの中身が.DS_Storeファイルおよび何らかのファイル1つである このうち1.は基本
jp-postal-code-api https://github.com/ttskch/jp-postal-code-api 日本の郵便番号から住所のデータを取得できるWeb APIです。 GitHub Pagesを使用して静的なJSONファイルとして配信している ため、可用性が高いのが特徴です。また、オープンソースなのでクライアントワークでも安心してご使用いただけます。もしリポジトリの永続性や GitHub Pagesの利用制限 が心配な場合は、ご自由にフォークしてご利用ください。 日本郵便によって公開されているデータ を元に住所データのJSONファイルを生成して配信しています。JSONファイルには日本語表記・カナ表記・英語表記の住所データが含まれています。ただし、以下の注意事項があります。 大口事業所個別番号の住所データは以下のように出力されます（元データ の内容がそうであるため）
[名称] Zip、Zip Disk、Zip 100 Disk （参考製品名 「Zip 100 Disk」） [種類] 磁気ディスク [記録方法] 磁気記録 [メディアサイズ] 98.0×98.9×6.4mm [記録部サイズ] 直径約93mm [容量] 100MB [登場年] 1994年頃～ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 ロストメモリーズの記事一覧 | テクノエッジ TechnoEdge 「Zip」は、Iomega（アイオメガ）社が開発した磁気ディスク。当時のリムーバブルメディアとしては、容量が100MBと大きかったこと、また、速度が最大約1.4MB/sとそれなりに高速だったことから、3.5インチのフロッピーディスクを置き換えるメディアとして期待されました。 1990年代頭
最初に断っておくと今回は万人向けの記事ではないです。面白かったので自分が忘れないようにまとめているだけです。 本記事の位置付け はじめに 発見経緯 CRCのエラー HTTPアクセスログ 壊れたgzipのtrailerを見てみる 壊れたファイルの法則性 月次ログファイルの生成 Linuxカーネルのバグの可能性 バグ混入の歴史 ログ破損の原因 8バイトの謎 PoCの制約 まとめ 本記事の位置付け Dirty Pipe（CVE-2022-0847）三部作の最後です。ダークナイト三部作で言うとダークナイト ライジングにあたります。ダーティとダークって似てませんか。 spliceを使って高速・省メモリでGzipからZIPを作る 20分で分かるDirty Pipe（CVE-2022-0847） Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった（本記事） 上の1, 2を前提知識と
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
データ圧縮フォーマットのひとつであるZIP(ZIP圧縮)や、電子文書フォーマットのPDF、音声ファイルフォーマットのMP3の基礎となったデータ圧縮アルゴリズムのLZ77やLZ78などを開発したイスラエルのコンピューターサイエンティストであるジェイコブ・ジヴ氏が亡くなりました。91歳でした。 Israeli computer pioneer passes away just weeks after famed research partner https://www.ynetnews.com/business/article/bj2k2g0x3 Ziv and Lempel co-invented the famous Lempel-Ziv algorithm that is the basis of ZIP files. Prof. Abraham Lempel died 7 weeks
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2025年現在でのおすすめの zip ファイル形式の圧縮・展開（解凍）ソフトについてまとめました。本記事はファイル名を文字化けせずにやり取りできるかを重視しており、使い勝手や対応形式の多さや機能については評価の対象にしていません（が後半におまけで書いています）。一部を除きフリー（無料）で使えます。Lhaplus のような未だに Shift JIS にしか対応していない古いソフトウェアは非推奨としています。今どき Shift JIS を使う必要はありませんし、Shift JIS では一部の漢字や絵文字などを扱えず、Windows
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 今回はアドベントカレンダーの11日目として、前回投稿した「macOSの暗号化zipファイルはパスワードなしで解凍できる」という記事に寄せられたコメントのうち、特筆すべきものをピックアップして回答していきます。 前回の記事を読んでいない方や、もう覚えてないという方は是非前回の記事を見てから続きを読んでいただければと思います。 Q. 正解するまでbkcrackを回さなくてもzip内のCRC32値と比較すれば良いのでは？ はい、その通りです。 筆者が前回の記事を書いている時には完全に失念していましたが、zip内にはファイル破損を検出するためにCRC32形式のハッシュ値が含まれています。そのため、bkcrackを正解パターンを引くまで都度回さなくても簡単に正解の.DS_Storeを見つけ出すことができます。 実際に
クレデンシャル含むソースコードをChatGPT等のクラウドLLMサービスにアップロードしないでください。 今回のプロンプトはオープンなリポジトリのみを対象としており、シェルスクリプトが実行される環境もChatGPT側のクラウド上のサンドボックス内のみを想定しています。 ローカル環境では以下のシェルスクリプトをそのまま実行せずに、ご自身が作成したシェルスクリプトを利用してください。 以下はソースコードのプロジェクトルートで実行することで、ソースコードのダンプを.txt形式でダンプするシェルスクリプトです。 \`\`\` #!/bin/bash # バイナリファイルかどうかを判定する関数 is_binary_file() { local file="$1" local file_output file_output=$(file "$file") if [[ "$file_output" ==
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
セキュリティの不十分なサーバーを見つけるためにウェブサイトには日々多数の不審なアクセスが行われています。そうしたアクセスをしてくる相手に対して解凍すると容量が膨れ上がる「ZIP爆弾」を送りつけて撃退する方法がブログにまとめられています。 How to defend your website with ZIP bombs https://blog.haschek.at/2017/how-to-defend-your-website-with-zip-bombs.html ZIP爆弾とは、ZIPの圧縮アルゴリズムを最大限に活用することで巨大なファイルを小さなZIPファイルに収めたものです。例えば下記の記事ではたった10MBのZIPファイルを解凍すると281TBになってしまうZIP爆弾が登場しています。 「非再帰的ZIP爆弾」は10MBのファイルが281TBに膨らむ - GIGAZINE サーバ
圧縮・解凍ツール「7-Zip」のアーカイブ作成機能にWindowsの保護を無効化する脆弱(ぜいじゃく)性が存在していることが明らかになりました。問題を報告したセキュリティ企業のトレンドマイクロによると、脆弱性がロシアによるウクライナへの攻撃に悪用されていたそうです。 CVE-2025-0411: Ukrainian Organizations Targeted in Zero-Day Campaign and Homoglyph Attacks | Trend Micro (US) https://www.trendmicro.com/en_us/research/25/a/cve-2025-0411-ukrainian-organizations-targeted.html 7-Zip 0-day was exploited in Russia’s ongoing invasion of
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
ケンオール通信第4号では、郵便番号データの処理方法の最初の一歩として、複数行の結合について紹介しました。データ処理の続きを説明する前に、まず日本の住所とはどういう構造になっているかを紹介します。 日本の住所の構造 郵便番号データの住所構造 京都の通り名 地割 特定の番地に割り当てられた郵便番号 ビルに割り当てられた郵便番号 PyData.Osaka に登壇します ケンオールについて 編集履歴 日本の住所の構造 日本の住所は、領域の大きい地域名から小さい地域に向かって書いていくという構造です。この大から小という構造は、日本の他に中国や韓国、台湾などが用いており、東アジア諸国では一般的な記法ですが、世界的には小さい領域から大きい領域に向かって書いていくという記法が一般的です。 余談ですが、東アジア以外の全ての国が小から大という表記ではなく、ハンガリーなど一部の国で大から小という表記形式を採用し
月間アクティブユーザー数が2億人を超える人気チャットアプリ「Discord」の公式ブログにおいて、「どのように使用する帯域幅を削減したのか」について解説した記事が投稿されています。 How Discord Reduced Websocket Traffic by 40% https://discord.com/blog/how-discord-reduced-websocket-traffic-by-40-percent Discordのクライアントがサーバーに接続すると、ゲートウェイと名付けられたサービスを通してリアルタイムにさまざまなデータが送受信されます。2017年の後半にzlibを導入してデータを圧縮することで、転送されるデータの量は2分の1から10分の1程度まで減少しました。 その後、Zstandardという2015年に登場した手法が人気を集め、Discordでも使用を検討するこ
ある調べものをしていたところ、Canarytokensというサービスがあることを知った。 canarytokens.org Canarytokensはカナリアトークンを生成するサービスであり、無料で利用できるほか、githubでソースコードやDockerfileが公開されているため自分でサービス稼働環境を構築できる。カナリアトークンとはターゲット（被害者）がWebページ、電子メール、ファイルなどのリソースにアクセスする操作をしたときに、そのアクセスした事実やターゲットの環境情報（IPアドレス、UserAgent、ユーザ名など）を攻撃者に通知するための仕掛けである。 このサービスを知った時は、アクセス解析で使われるようなWebページに極小の透明画像やiframeを埋め込むような方式を想像したが、ドキュメントを読んでいると他にも様々な方式をサポートしていることがわかった。そこで、実際にどういっ
redbean single-file distributable web server redbean is an open source webserver in a single-file that runs natively on six OSes for both AMD64 and ARM64. Basic idea is if you want to build a web app that runs anywhere, then you download the redbean.com file, put your .html and .lua files inside it using the zip command, and you've got a hermetic app you deploy and share. redbean embeds Lua, SQLit
Excelで作成されたマニュアルや仕様書からオリジナル画像を取り出す マニュアルや仕様書をExcelで作成するケースも多いようだ。ここから画像などを流用する際、単純に画像をコピーすると解像度が低いぼけた画像になってしまうことがある。そこで、Excelで作成されたドキュメントからオリジナル解像度の画像を取り出す方法を紹介しよう。 マニュアルや仕様書を「Microsoft Excel（エクセル）」を使って作成しているところも多いのではないだろうか。Excelでは、シート部分のグリッドを使って画面などの位置合わせが容易なうえ、描画機能を利用することで、画面上に指示なども書き込める。そのためか、Wordよりも、Excelでマニュアルや仕様書を作成するところも多いようだ。 こうしてExcelで作成されたマニュアルや仕様書をベースにWebページなどを作る場合、シート上の画面などをコピーすると、画像がぼ
プログラミング言語Scalaで最もよく使われているビルドツールといえばsbtだ。起動しっぱなしのインタラクティブ仕様なsbtがやや鈍重なきらいがある一方、もう1つのビルドツールであるMillが開発されており、こちらではnpmのようなシェル単位の操作体系を指向している。 https://mill-build.com/mill/Intro_to_Mill.htmlmill-build.com 単にコマンド体系のみならず、Millには他にも色々と面白い機能がある。例えばsbtと違って標準でassembly、すなわちUberjarへのパッケージング機能が搭載されているという点がありがたい。このUberjarを作る機能に面白い仕組みが盛り込まれていたので紹介するというエントリ。 謎の実行権限 中身を覗く ZIPは任意の場所に任意のデータを封入できる 追記 追記(2025-01-06) さて、JVM言
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Macでファイルやフォルダを作成すると .DS_Store ._xxx （xxxはファイル名）のようなファイルが生成されます。Mac上では見えませんが、例えばNASを使っていて同じNASにWindowsからアクセスすると、これらが見えてしまい、正直邪魔でしかありません。USBメモリなどでデータを受け渡したときも同様です。 というわけで、Mac側でこの人たちを作らないようにする or 一括削除して平和に暮らそう！という趣旨の内容となります。 そもそも.DS_Storeとはなんぞ？ Macにおいて、ファイルやフォルダを開いたときの位置やサイズ、カスタムアイコンなどの情報が記録された不可視ファイルです。フォルダやファイルを作成したり移動したり開いたりしたタイミングで自動的に生成（更新）されます。 これにより、次回同じフォルダやファイルを開くときに、同じ場所やサイズで開くことができます。 .DS_
Zip Archive Golang's zip module alows to unzip archives and process files in it. The most common way is to use zip.OpenReader that requires us to have a file on the disk and unzip it into the disk. https://golang.org/pkg/archive/zip/#OpenReader Zip module also provides NewReader that takes an object that satisfies ReaderAt interface and size of the whole archive, and it is that object we will impl
上記の一覧を見るとわかるように、zip ファイルの 解凍機能が zip ファイルのUTF-8ファイル名に対応したのは Windows 7（2012年の修正パッチが必要）からです。しかし修正パッチを当てていない人がいるかも知れないので、Windows 7 は zipファイルの中のUTF-8ファイル名を扱えない可能性があります。延長サポートを含めれば Windows 7 は 2020年1月14日までの長いサポートがあったわけで、Windows の標準機能としては Windows 7 のサポート期間が終了するまでは、UTF-8ファイル名を zip ファイルの中に格納するわけにはいかなかったのでしょう。 そして古い Windows のサポートがようやく終了して、サポート切れの古い Windows を使っているような人もいなくなったであろうこのタイミング（Windows 11 24H2？）でやっと
iPadの「ファイル」アプリは、前回記事（【活用提案】ファイルの移動やコピーもタッチ操作で簡単！ iPad「ファイル」アプリの基本操作を覚えよう！）で紹介した基本操作を覚えておけば、ある程度は問題なく使えるだろう。しかし、パソコンではよく使われるZIPファイルなどの扱い方や、メールにファイルを添付して送る方法などを覚えておくと、もっと便利に使えるようになる。 また、「ファイル」アプリには、ファイル管理に「タグ」を使う方法や、iPadならではの「書類のスキャン」といった機能もある。これらもぜひ覚えておきたい。ということで、今回は、「ファイル」アプリの応用的な使い方について紹介していこう。 ファイルを圧縮する／圧縮ファイルを展開する パソコンでは、よく使われている圧縮ファイル。以前に比べると利用頻度は少なくなっているかもしれないが、メールなどで圧縮ファイルのやり取りをする機会はまだまだあるだろ
SaaS Product Team(以下Product Team)のあやぴーです。 Product Teamの開発しているプロダクトでは「企業に関する大量データ」というものを扱う機会があります。特に様々な形式でデータパートナーから受領するため、一筋縄でいかないことが多々あります。今回はその中でも巨大なZIPファイルの中に大量のCSV(ライクな)ファイルをClojureでいい感じに処理するために苦戦した話を書いていこうと思います。 前提 最初のアプローチ OutOfMemoryErrorとの闘い 実行時間との闘い CSVの読み込み リフレクションの抑制 まとめ 前提 まずはZIPファイルについて説明します。 毎月新しいファイルが100程度配信されている ZIPファイルは大きいもので2GB、小さいもので1MB程度 ZIPファイルの中には大量のCSV形式(区切り文字は|)のテキストファイルが含ま
はじめに データアナリティクス事業本部のkobayashiです。 PythonスクリプトでパスワードのかかったZIPファイルを解凍する必要があり、Python標準ライブラリのzipfileモジュールを使用してみましたのでその内容をまとめます。 環境 Python 3.7.4 zipfileモジュール zipfileモジュールはPython標準ライブラリです。このモジュールはZIP 形式のファイルの作成、読み書き、追記、書庫内のファイル一覧の作成といったzipファイルに関するあらゆる操作が行なえます。 zipfile --- ZIP アーカイブの処理 — Python 3.7.9 ドキュメント それでは早速パスワード付きZIPファイルを解凍するスクリプトを作成します。 zipfileモジュールでパスワード付きZIPファイルを解凍する 使うのはZipFileクラスのextractallメソッド
はじめに ご存知の方も多いのかも知れませんが、筆者は知らなかったので「ん？何で？」となってしまいましたという話です。 パスワード付き ZIP ファイルを解凍する 先日、パスワード付きの ZIP ファイルを作成する機会がありました。 きちんとパスワードがかかっていることを確認したく、作成後すぐに解凍してみました。 解凍は Windows 10 標準の右クリックメニュー内にある「すべて展開」から行いました。 「すべて展開」を選択するとパスワード入力を求められたので、きちんとパスワードがかかっているであろうことを確認できました。 ここで正しいパスワードを入力し、問題なく解凍することができました。 ここで、心配性の筆者は、誤ったパスワードを入力したらきちんとエラーになるよね？を確認したくなり、もう一度右クリックして「すべて展開」を選択しました。 すると、今後は、パスワード入力画面が表示されず、その
Unix系のコマンド(od、grep)だけを使って、zipファイルの中身をのぞく。 zip形式の参考サイト#zipの仕様書はZIP File Format Specificationで確認できる。ページ内検索をかけながら必要なところをつまんでいく、という読み方が良さそう。 日本語ならWikipediaがある。こちらは図が書かれているし日本語なので分かりやすい。 zipファイルの用意#まずはzipファイルを用意する。 foo.txtとbar.txtを用意する。 $ echo "Hello, World." > foo.txt $ echo "Good Bye." > bar.txt これらをzipコマンドでまとめる。 $ zip tmp.zip foo.txt bar.txt バイナリ形式で出力#zipファイルはテキストとして表示できるものではなく、バイナリとして表示しないとあまり意味を掴め
Firefox's Optimized Zip Format: Reading Zip Files Really Quickly This post is about minimizing amount of disk IO and CPU overhead when reading Zip files. I recently saw an article about a new format that was faster than zip. This is quite surprising as to my mind, zip is one of the most flexible and low-overhead formats I’ve encountered. Some googling showed me that over past 11 years people have
日本語環境で作成したZIPを英語環境のWindowsで解凍する場合、中の日本語のファイル名またはフォルダー名が文字化けになる時があります。 解決案 7z をダウンロードしインストールするコマンドライン（Command Line）で以下を実行する <7zのインストールパス>/7z.exe x -mcp=932 <解凍ファイル> “7zのインストールパス” は通常 C:\Program Files\7-Zip となりますmcp=932 は日本語コードページを使うという指定です 実行例 C:\Downloads>"C:\Program Files\7-Zip\7z.exe" x -mcp=932 MyFile.zip
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
