逆コンパイラCodeReverseを作る

1 ：片山博文MZコスモ ◆T6xkBnTXz7B0 ：2013/09/24(火) 14:58:48.34 .net

CodeReverseは、片山博文MZが開発している、Windows用の逆アセンブラ兼ダンプツールです。
最終的には「リバーシブルな」逆コンパイラを目指しています。

CodeReverse公式サイト
http://katahiromz.web.fc2.com/codereverse/

GitHubレポジトリはこちら
https://github.com/katahiromz/CodeReverse

330 ：デフォルトの名無しさん：2015/06/22(月) 09:59:26.27 ID:Cd6p9ZPV.net

昔LightConeとかいう基地外がいたが片山とよく似ているな
スレと関係ない雑談や脈絡もない妄言とか。

331 ：デフォルトの名無しさん：2015/06/24(水) 06:25:31.35 ID:B9zFFoB0.net

日記スレ

332 ：デフォルトの名無しさん：2015/07/21(火) 01:49:23.11 ID:PRXZAEwH.net

catcher

333 ：片山博文MZ ◆T6xkBnTXz7B0 ：2015/07/31(金) 16:19:13.79 ID:VnmYQE5l.net

何か、forkやstarが増えてきたぞ。。。
やらないとまずいかな。。。

334 ：デフォルトの名無しさん：2015/08/11(火) 23:30:28.66 ID:3zaQ4vWk.net

逆コンパイルって解が無数にあるから
例えばナイーブな逆コンパイルは、Cでアセンブラをエミュレーションすることだし
他にもインライン展開されたコードは展開後として逆コンパイルするのか
展開前として逆コンパイルするのかとか

だからなんらかの人間にとっての読みやすさを定義して
無数の解の中でなるべく読みやすい解をどれか一つ選ぶっていう風にするのが
方向性だと思った

335 ：片山博文MZ ◆T6xkBnTXz7B0 ：2015/08/13(木) 19:16:20.71 ID:TzobCxoU.net

>>334
激しく同意。

336 ：デフォルトの名無しさん：2015/09/17(木) 22:00:14.74 ID:8Go7kMps.net

catcher

337 ：デフォルトの名無しさん：2015/09/28(月) 23:38:38.61 ID:Rm5LrJSE.net

catcher

338 ：デフォルトの名無しさん：2015/10/21(水) 22:40:13.55 ID:jRXObvXq.net

catcher

339 ：デフォルトの名無しさん：2015/12/04(金) 14:02:32.26 ID:Vm+g5Kgg.net

catcher

340 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/01/14(木) 14:17:10.78 ID:H3jYOyT9.net

VeySicKの開発が一段落ついたのでCodeReverseの開発を再開するよ。
ひとまずゼロからCコンパイラを作ってみる。

341 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/01/14(木) 14:20:29.77 ID:H3jYOyT9.net

こんなことなら、大学でコンパイラの作り方を勉強しとけばよかった。

342 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/01/14(木) 19:54:25.45 ID:H3jYOyT9.net

きつねさんのLLVMをAmazonで買ったよ！ (もちろん中古)

343 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/01/18(月) 17:06:17.14 ID:roZ5xF5Q.net

LLVMと.NETを組み合わせて何か面白いことをやれって言われてる。

344 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/03(水) 19:01:53.20 ID:PDk33kNH.net

いずれにしても、だれかが教師になって、読みやすいコードを出力するための
教育を行わないとまともな逆コンパイラは完成しない。
さらには教育にはコミュニケーションが必要。

345 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/03(水) 19:21:23.48 ID:PDk33kNH.net

逆コンパイルを数学的に考えると、
ソースコードからコンパイル結果への変換器「コンパイラ」の逆変換器を
求める問題になる。教育を行うなら、ソースコードと、実際にコンパイルした結果の対応を
学習させることになる。その対応は情報量が少ないことが望ましい。

346 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/03(水) 19:43:38.07 ID:PDk33kNH.net

大きな変換器はより小さな変換器に分解される。
LLVMの言葉で言えば、変換器はpassであり、コンパイルはpassの合成である。
であるから、これから必要な作業は、１つひとつのpassの逆変換器を
求めることである。

347 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/03(水) 21:14:45.78 ID:PDk33kNH.net

病気は我が精神を思索の森に誘ってくれる。
健全であれば気付かない事象にも出会うことができる。
今年のうちに逆コンパイラを作らねばならない。
たとえそれが世界を滅ぼす魔法でも完成させなければならない。
ボスの命令は絶対だ。

348 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/20(土) 20:57:27.23 ID:md57KSoZ.net

clangのソースを読み始めたよ。
CMakeの使い方を勉強しないといけない。
examplesのPrintFunctionNamesを改造してみようっと。

349 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/02/21(日) 22:29:13.22 ID:mZ9I4pVL.net

CMakeをインストール。CMakeの基本的な使い方を覚えた。
llvmを仮想Ubuntuにapt-getでインストールして、ターンエンドだ。

350 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/02(水) 22:55:08.79 ID:v5tMoIR7.net

CMakeの使い方を勉強しながらテンプレートプロジェクトをいくつか
作成して、きつねさんを参考にLLVMのコマンドを何度か試してターンエンドだ。

351 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/05(土) 14:29:14.42 ID:8Tx4+NgQ.net

<llvm/IR/Type.h> 型
<llvm/IR/TypeBuilder.h> 型構築器
<llvm/IR/Constant.h> <llvm/IR/Constants.h> 定数
<llvm/IR/IRBuilder.h> IR構築器
<llvm/IR/Module.h> モジュール
<llvm/IR/Function.h> 関数
<llvm/IR/BasicBlock.h> 基本ブロック
<llvm/ADT/StringRef.h> 文字列参照
<llvm/ADT/StringMap.h> 文字列マップ
<llvm/MC/MCExpr.h> MC表現
<llvm/MC/MCInst.h> MC命令
<llvm/MC/MCValue.h> MC値
<llvm/MC/MCAssembler.h> MCアセンブラ
<llvm/MC/MCDisassembler.h> MC逆アセンブラ
<llvm/Support/MemoryBuffer.h> メモリバッファ
<llvm/Support/ErrorOr.h> エラーまたは
<llvm/Support/raw_ostream.h> 生出力ストリーム

352 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/05(土) 19:46:45.29 ID:niBmwPNn.net

DraperさんのFractureを解析してみるみる。。。

353 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/07(月) 15:59:21.59 ID:vq5fVXSL.net

きつねさんの本は少々古く、最新版ではコマンドラインとヘッダーが
多少変わっているようだ。最新版に合わせないといけない。
また、MinGWでは動かない機能もあるようだ。

354 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/08(火) 01:37:31.85 ID:dCW2/Xzy.net

$ opt -help > help.txt
多種多様なPassがあるぞ。まずはこれを解析してみるか。
MinGWで動かなかった分はCygwinで試すぞ。

355 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/10(木) 19:08:02.83 ID:xtkhTFvc.net

最新の仮想Ubuntu32bitと64bitをVMwareにインストール。
さらにclang-3.7とllvm-3.7をそれぞれにインストールして
俺のターンは終わりだ。

356 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/10(木) 19:18:26.45 ID:xtkhTFvc.net

LLVMは型情報を完全には保持していないようだ。
Win32ではLONGとINTは同じサイズだが、それらのポインタ型は厳格に区別される。
しかしLLVM IRではどちらもi32となる。
つまり、LLVMやClangで構造体を読み込みその型をダンプしたとしても、
コンパイルできる代物にはならない。これでは逆コンパイラには
役に立たないのではないか？ ここまで何か間違いがあれば、ご指摘願う。

357 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/10(木) 19:46:26.45 ID:xtkhTFvc.net

Clangでは区別できてるんだから、LLVM IRよりも上位で保持しているはず。ならば、Clangで
構造体などの型情報をLLVM IRの上位でどのように扱っているかを調査しないといけないぞ。

358 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/12(土) 22:12:12.37 ID:PAxzfn3Q.net

だいぶ解析が進んで来た。
おそらくキーワードは
clang::CompilerInstance,clang::Sema,clang::ASTContext,clang::Type
だろう。clangも大変再利用しやすい模範的なデザインになっており、
これらを組み合わせればclangの改造版が比較的容易に作れると思われる。

359 ：片山博文MZ ◆lx245xLQxvF1 ：2016/03/14(月) 15:23:13.72 ID:+duuA6fB.net

Clang-tutorialのmakefileのllvm-configをllvm-config-3.6に変えてメイクしてみた。

tutorial1.o: 関数 `main' 内:
/mnt/hgfs/cc/LLVM/Clang-tutorial/tutorial1.cpp:53: `llvm::sys::getDefaultTargetTriple()' に対する定義されていない参照です

なぜだ。。。分からぬ。

360 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/14(月) 16:17:28.03 ID:+duuA6fB.net

いくら優れたライブラリでも、動かないと意味ない。。。
最新版をビルドしないといけないのか。。。

LLVMとClangのビルド、めっちゃ時間かかりそう。。。

361 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/15(火) 22:21:10.64 ID:zLB+iwEH.net

仮想Ubuntuのディスク容量不足でビルド失敗。35GBくらいは必要か。
最初からやり直し。VMwareよりもVirtualBoxの方が使い易そうだ。

362 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/24(木) 23:29:54.57 ID:YnxOCpos.net

VirtualBox上の仮想UbuntuでLLVM+Clangのビルドに成功した。
これでまずはスタートラインに立てた。可能ならば後で公開する。

363 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/24(木) 23:57:51.64 ID:YnxOCpos.net

仮想環境のためか、ビルドに五日間かかった。電気代は高い請求額が来るだろう。
現在のオッズは低いが地道に頑張る。

364 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/25(金) 17:05:52.28 ID:C4e13KV/.net

Ubuntu 14.04.4 LTS (64-bit)をインストール。ディスク容量50GB以上・メモリ2GB以上。
端末およびGhest Additions(仮想の場合のみ) インストール。
メモリが少ないときは、次のようにスワップ確保。
$ sudo dd if=/dev/zero of=/swap bs=400M count=16
$ sudo mkswap /swap
$ sudo swapon /swap
$ sudo gedit /etc/fstab
「/swap swap swap defaults 0 0」の行を最後に追加。
$ cat /proc/swaps
$ sudo apt update
$ sudo apt install build-essential
$ sudo apt install linux-headers-$(uname -r)
$ sudo apt install make
$ sudo apt install automake
$ sudo apt install cmake
$ sudo apt install subversion
$ sudo apt install gdb
$ sudo apt install perl
$ sudo apt install libtool
$ sudo apt install libncurses5-dev
$ sudo apt install valgrind
$ sudo apt install zlib1g-dev
$ sudo apt install libedit-dev
$ sudo apt install texinfo
$ sudo apt install python
$ sudo apt upgrade

365 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/25(金) 17:06:39.06 ID:C4e13KV/.net

$ cd ~
$ svn co http://llvm.org/svn/llvm-project/llvm/trunk llvm
$ cd llvm/tools
$ svn co http://llvm.org/svn/llvm-project/cfe/trunk clang
$ cd ../projects
$ svn co http://llvm.org/svn/llvm-project/compiler-rt/trunk compiler-rt
$ svn co http://llvm.org/svn/llvm-project/openmp/trunk openmp
$ svn co http://llvm.org/svn/llvm-project/libcxx/trunk libcxx
$ svn co http://llvm.org/svn/llvm-project/libcxxabi/trunk libcxxabi
//$ svn co http://llvm.org/svn/llvm-project/test-suite/trunk test-suite
//$ sudo apt uninstall llvm clang llvm-3.6 clang-3.6 llvm-3.7 clang-3.7
$ cd ~
$ mkdir llvm-build
$ cd llvm-build
$ cmake -G "Unix Makefiles" ../llvm
$ make -j1

366 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/25(金) 23:58:54.73 ID:ir49Z4lH.net

>>364
訂正。ビルド&インストール成功のためにはディスクは100GB以上、
メモリーは8GB以上必要と思われる。
メモリーが充分あればスワップはデフォルトでOK。
ビルド時間を短くしたければ実機でのビルド推奨。

367 ：デフォルトの名無しさん：2016/03/26(土) 00:18:12.85 ID:tYRw55R3.net

EXEファイル全般でやろうとしているの?
まずバイナリがどの開発環境で作ったのかを固定しないと。
どちらにしろ、理論上絶望的だから逆アセンブルはできても逆コンパイルは無理だよ。
JavaのクラスファイルもJavaでコンパイルされていたら逆コンパイラでほぼ完璧なソースをだせるけども、
LLJVMを使ったC言語がソースのLLVMからJavaクラスファイルに変換した物は逆コンパイルしても、何やっているのかよく分からない回りくどいJavaソースしか出て来ない。
同じJavaクラスファイルという中間言語形式であっても、開発言語が違えば逆コンパイルは期待通りのものにはならない。
それでもJavaやC#の中間言語ファイルは情報をいっぱい持っているから逆コンパイルしやすい。
EXEで実用的な逆コンパイラとか無理無理。
時間の無駄。他のことしたほうがいいよ。
絶対にできないから。

368 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/03/27(日) 23:17:17.79 ID:LtbWwOOV.net

>>367
勝算は5％ほどある。型情報抽出と型推論を実現する策略を練っているところだ。

LVMでディスクを100GBに拡張。LLVM+Clangインストール成功。
VirtualBox仮想アプライアンスのエクスポートを完了して、俺のターンエンドだ。

369 ：デフォルトの名無しさん：2016/03/28(月) 00:07:35.29 ID:QZ3CUIqY.net

>>368
LLVMを逆コンパイルするソフトを作ろうとしているの?

370 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/04/09(土) 18:01:49.16 ID:1rUso06b.net

臨時の仕事が入った。中断する。

371 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/04/19(火) 20:05:26.73 ID:QQhqd517.net

IMEの開発が正式に決まった。逆コンパイラの開発は、
IMEの開発が終わるまでお預けとなる。しばしお待ちを。

372 ：デフォルトの名無しさん：2016/05/01(日) 16:48:07.27 ID:Ej3dzybx.net

catcher

373 ：デフォルトの名無しさん：2016/05/01(日) 17:16:58.92 ID:tKi6j9CT.net

匿名通信（Tor、i2p等）ができるファイル共有ソフトBitComet（ビットコメット）みたいな、
BitTorrentがオープンソースで開発されています

言語は何でも大丈夫だそうなので、P2P書きたい！って人居ませんか？

Covenantの作者（Lyrise）がそういう人と話したいそうなので、よろしければツイートお願いします
https://twitter.com/Lyrise_al

ちなみにオイラはCovenantの完成が待ち遠しいプログラミングできないアスペルガーｗ


The Covenant Project
概要

Covenantは、純粋P2Pのファイル共有ソフトです

目的

インターネットにおける権力による抑圧を排除することが最終的な目標です。 そのためにCovenantでは、中央に依存しない、高効率で検索能力の高いファイル共有の機能をユーザーに提供します

特徴

Covenant = Bittorrent + Abstract Network + DHT + (Search = WoT + PoW)

接続は抽象化されているので、I2P, Tor, TCP, Proxy, その他を利用可能です
DHTにはKademlia + コネクションプールを使用します
UPnPによってポートを解放することができますが、Port0でも利用可能です(接続数は少なくなります)
検索リクエスト、アップロード、ダウンロードなどのすべての通信はDHT的に分散され、特定のサーバーに依存しません
１＠

374 ：デフォルトの名無しさん：2016/05/03(火) 22:14:50.99 ID:0ryiHSlg.net

なんかすごいな
プロの人なのかな？

375 ：デフォルトの名無しさん：2016/06/04(土) 20:27:13.06 ID:9azu721e.net

catcher

376 ：デフォルトの名無しさん：2016/07/07(木) 21:15:30.42 ID:7FmYJwv7.net

catcher

377 ：デフォルトの名無しさん：2016/08/01(月) 21:06:25.15 ID:ltowomRu.net

catcher

378 ：デフォルトの名無しさん：2016/09/01(木) 11:42:26.12 ID:Hkb7T/2S.net

catcher

379 ：片山博文MZ ◆T6xkBnTXz7B0 ：2016/10/01(土) 02:07:01.64 ID:Ja0BXeAr.net

RECという優れた逆コンパイラがあるので、CodeReverseにはもはや存在価値がない。

よって、このスレは 糸冬 了 し ま す 。

皆様、有難う御座いました。再利用可。
◆◆◆スレッド終了◆◆◆