プログラム系統備忘録ブログ

記事中のコードは自己責任の下でご自由にどうぞ。

IDAの逆コンパイルビューをエスケープキーで閉じさせない方法、あるいはhexrays.cfgでの設定方法

IDAとはバイナリ解析用ツールです。IDAの逆コンパイル機能は非常に強力です。しかしIDAデフォルトではReturnキーバインドであるエスケープキーは、逆コンパイル用のPseudocode-A等のビューを閉じる機能も持ち合わせています。

本記事ではIDAの設定を変更することで、エスケープキーを押しても逆コンパイル用のビューを閉じないようにする方法を紹介します。方法の概要です:

  • 起動中のIDAプロセスで設定するには、メニューからEdit→Plugins→Hex-Rays Decompiler cloud Optionsをクリックして表示されるHex-Rays Decompiler Optionsダイアログの、Analysis options 1ボタンをクリックして表示されるHex-Rays Decompiler Analysis Options 1ダイアログで、Pressing 'Esc' closes the viewチェックボックスをOFFにしてOKボタンをクリックします。
  • IDAを起動するたびに自動的に反映させるには、$IDAUSR/cfg/hexrays.cfg設定ファイルでHEXOPTIONSキーワードの値を0x821FF等に設定します。
    • $IDAUSRはデフォルトでは、Windows環境では%APPDATA%/Hex-Rays/IDA Proに、LinuxやmacOS環境では$HOME/.idaproになります。

以降の記事本体で詳細を説明します。

確認環境

  • Windows 10 Version 10.0.19045.5487
  • IDA Free - Version 9.0.241217 Windows x64 (64-bit address size)

前書き

逆コンパイル機能を持つソフトウェアはいくつか存在します。個人的には、IDAの逆コンパイル結果が良い品質であることが多いと感じているため、IDAをよく使っています。Free版IDAでも、version 7.6からx64バイナリを、version 8.2からはx86バイナリもクラウドベースの逆コンパイルができます。CTFでバイナリ解析をする際等に、逆コンパイルは非常に強力です。

IDAのデフォルトキーボードショートカットでは、EscキーにReturnアクションという、履歴の1つ前の関数等へ戻る機能が割り当てられています。最も重要なキーボード操作の1つであり、非常によく使います。しかし履歴の先頭まで戻りきった状態でEscキーを押してしまうと、逆コンパイルビュー(表示名はPseudocode-Aビュー等)が閉じてしまいます!閉じると悲しくなります。

これ以上悲しくならないように、EscキーではPseudocode-Aビュー等を閉じない設定方法を調べました。メモとして本記事にまとめます。

なおIDA 9.0追加の新体系ショートカットでは、Escキー以外にも、Alt-Leftキー操作とBackspaceキーにもReturnアクションが割り当てられています。新体系ショートカットキーを有効にしており、Alt-LeftやBackspaceを履歴移動に使っている人は、本記事の現象であるEscキーで逆コンパイルビューが閉じる事故は遭遇しづらいと思います。ただ私の場合、結局は旧体型ショートカットを使い続けているので事故に遭遇していました……。

起動中のIDAプロセスで設定する方法

なお本節で記述する方法は、IDAを終了すると設定変更内容は失われます。そのため、後述するhexrays.cfgを編集する方法のほうが便利だと思います。

IDAのメニューにEdit→Plugins→Hex-Rays Decompiler cloud Options項目が存在します:

Hex-Rays Decompiler cloud Options項目

当該メニュー項目をクリックすると、Hex-Rays Decompiler Optionsダイアログが表示されます:

Hex-Rays Decompiler Optionsダイアログ

よく見るとダイアログの下の方にTo modify default options, please edit hexrays.cfgと表示されています。ここでAnalysis options 1ボタンをクリックすると、Hex-Rays Decompiler Analysis Options 1ダイアログが表示されます:

Hex-Rays Decompiler Analysis Options 1ダイアログ

当該ダイアログ中に、Pressing 'Esc' closes the viewチェックボックスがあります。デフォルトではONのはずです。というわけで、当該チェックボックスをOFFにしてOKボタンで確定すると、設定したIDAプロセスでは、逆コンパイルビューで履歴の最初に戻った状態でエスケープキーを押しても逆コンパイルビューは閉じなくなります!

hexrays.cfgファイルでIDAを起動するたびに自動設定する方法

hexrays.cfgファイルは$IDAUSR/cfg/以下へ配置

hexrays.cfgファイルや$IDAUSR関係の文献です:

  • Igor’s tip of the week #33: IDA’s user directory (IDAUSR) – Hex Raysが一番まとまっていると思います。
    • IDAのユーザー用ディレクトリは、デフォルトでは次のパスです(当該記事では$IDAUSRと表記しています):
      • Windows: %APPDATA%/Hex-Rays/IDA Pro
      • LinuxまたはmacOX: $HOME/.idapro
    • また、記事途中で$IDAUSR/cfg/hexrays.cfgをコンフィグファイルの例して紹介しています。
  • docs.hex-rays.com サイトでは、いくつかのページへ分散して記述されています:
    • Environment variables | Hex-Rays Docsに、IDAUSR環境変数の情報がまとまっています。なおこのページの表記は%IDAUSR%とWindowsの環境変数風味の形式です。$IDAUSRではありません。
    • Configuration | Hex-Rays Docsに、逆コンパイラの設定をcfgディレクトリ以下のhexrays.cfgファイルへ記述する説明があります。
      • 当該ページでは、HEXOPTIONS等のキーワードや、HO_JUMPOUT_HELPERS等の設定値の説明があります。一方でHO_JUMPOUT_HELPERSマクロの実際の値は記載されていません。
    • Configuration files | Hex-Rays Docsに、コンフィグ用ファイルは最初に%IDADIR%\cfgから、その次に%IDAUSR%\cfgから探す説明があります。一方でhexrays.cfgファイル関連の記述はありません。

なお私の環境では、$IDAUSRディレクトリの%APPDATA%/Hex-Rays/IDA Proは存在しましたが、cfgディレクトリの時点で存在しませんでした。そのため自身でcfgディレクトリやhexrays.cfgを作成する必要がありました。一方で、$IDADIR側のC:\Program Files\IDA Free 9.0\cfg\hexrays.cfgは存在しました。当該ファイルのコメント等が参考になります。

なおC:\Program Files\IDA Free 9.0\cfg\hexrays.cfgには、インストーラーによって書き換えられる可能性がある旨のコメントがあります:

  IMPORTANT: the installer overwrites this file. Please make a backup copy
  if you modify this file in any way. Otherwise you may lose your
  modifications!

そのためIDA利用者が自身の好みを設定する際は、IDADIRではなくIDAUSR側で設定するのが良いでしょう。

hexrays.cfgファイルでHEXOPTIONSキーワードへ全ビットまとめて設定

私の環境では、C:\Program Files\IDA Free 9.0\cfg\hexrays.cfgに次の記載がありました:

// 略
// Analysis and display options

#define HO_JUMPOUT_HELPERS     0x000001 // If enabled, the decompiler will
                                        // generate JUMPOUT() function instead of
                                        // failing the decompilation because of
                                        // out-of-function control flow
#define HO_DISPLAY_CASTS       0x000002 // Print casts in the output text.
                                        // For example: (int*)x
#define HO_HIDE_UNORDERED      0x000004 // Hide unordered fpval comparisons
#define HO_SSE_INTRINSICS      0x000008 // Generate SSE intrinsic functions
#define HO_IGNORE_OVERLAPS     0x000010 // If enabled, overlapping lvars will
                                        // lead to a warning instead of
                                        // failing the decompilation.
#define HO_FAST_STRUCTURAL     0x000020 // If enabled, fast structural analysis
                                        // will be used. It generates less number
                                        // of nested if-statements but may occasionally
                                        // produce some unnecessary gotos.
                                        // It is much faster on huge functions.
#define HO_CONST_STRINGS       0x000040 // Print string literals only if they reside
                                        // in read-only memory (e.g. .rodata segment).
                                        // When off, all strings are printed as literals.
                                        // You can override decompiler's decision by
                                        // adding 'const' or 'volatile' to the
                                        // type declaration (press Y on the string)
#define HO_SIGNBIT_CHECKS      0x000080 // Convert signed comparisons of unsigned
                                        // variables with zero into bit checks.
                                        // Before: (signed int)x < 0
                                        // After: (x & 0x80000000) != 0
                                        // For signed variables, perform the opposite conversion.
#define HO_UNMERGE_TAILS       0x000100 // Reverse effects of branch tail optimizations:
                                        // reduce number of gotos by duplicating code
#define HO_KEEP_CURLIES        0x000200 // Keep curly braces for single-statement blocks
#define HO_DEL_ADDR_CMPS       0x000400 // Optimize away address comparisons
                                        // Example: &a < &b will be replaced by
                                        // 0 or 1. This optimization works only
                                        // for non-relocatable files.
#define HO_SHOW_CSTR_CASTS     0x000800 // Print casts from string literals
                                        // to pointers to char/uchar
                                        // For example: (unsigned __int8 *)"Hello"
#define HO_ESC_CLOSES_VIEW     0x001000 // Pressing 'Esc' closes the view
#define HO_SPOIL_FLAGREGS      0x002000 // Assume all functions spoil flag
                                        // registers ZF,CF,SF,OF,PF (including
                                        // functions with explicitely specified
                                        // spoiled lists)
#define HO_KEEP_INDIRECT_READS 0x004000 // Keep all indirect memory reads (even
                                        // with unused results) so as not to lose
                                        // possible invalid address access
#define HO_KEEP_EH_CODE        0x008000 // Keep exception related code
                                        // (e.g. calls to _Unwind_SjLj_Register)
#define HO_SHOW_PAC_INSNS      0x010000 // Translate ARMv8.3 Pointer Authentication
                                        // instructions into intrinsic function calls
                                        // (otherwise ignore all PAC instructions)
#define HO_KEEP_POTENTIAL_DIV0 0x020000 // Preserve potential divisions by zero
                                        // (if not set, all unused divisions will
                                        // be deleted)
#define HO_MIPS_ADDSUB_TRAP    0x040000 // Generate the integer overflow trap call
                                        // for 'add', 'sub', 'neg' insns
#define HO_MIPS_IGN_DIV0_TRAP  0x080000 // Ignore the division by zero trap generated
                                        // by the compiler (only for MIPS)
#define HO_HONEST_READFLAGS    0x200000 // Consider __readflags as depending on cpu flags
                                        // default: off, because the result is correct
                                        // but awfully unreadable
#define HO_NON_FATAL_INTERR    0x400000 // Permit decompilation after an internal error
                                        // (normally the decompiler does not
                                        // permit new decompilations after an
                                        // internal error in the current session)
#define HO_SINGLE_LINE_PROTO   0x800000 // Never use multiline function declarations,
                                        // even for functions with a long argument list
#define HO_DECOMPILE_LIBFUNCS 0x1000000 // Decompile library functions too (in batch mode)
#define HO_PROP_VOLATILE_LDX  0x2000000 // Propagate ldx instructions without
                                        // checking for volatile memory access

HEXOPTIONS               = 0x831FF      // Combination of HO_... bits
// 略

HEXOPTIONSキーワードへ、全ビットまとめて設定しています。HO_ESC_CLOSES_VIEWマクロの定義である0x001000ビットが、HEXOPTIONSキーワードの設定値0x831FFに含まれているため、デフォルトではEscキーでPseudocode-Aビューを閉じてしまいます。というわけで当該ビットを外したいです。

しかし$IDAUSR側でHEXOPTIONS &= ~HO_ESC_CLOSES_VIEWと記述しても、IDA起動時に次の警告が表示されました:

C:\Users\Owner\AppData\Roaming\Hex-Rays\IDA Pro\cfg\hexrays.cfg,1: HEXOPTIONS &= ~HO_ESC_CLOSES_VIEW
'=' not found

By configuration file syntax here must be '=' sign.

#define等があってC言語風味の文法ですが、単純代入のみができて、複合代入はできないようです。仕方がないのでHO_ESC_CLOSES_VIEWを外した値を直接設定ことで解決しました。1行だけの内容ですが明瞭性のために、最終的な$IDAUSR/cfg/hexrays.cfg設定ファイルの内容を次に示します:

HEXOPTIONS = 0x821FF

ともかくこれで、以降起動するIDAはすべてで、逆コンパイルビューで履歴の最初に戻った状態でエスケープキーを押しても逆コンパイルビューは閉じなくなります!

将来的にオプションが増える場合に$IDAUSR側再設定で無効化してしまう可能性が怖いですが、それは気付いたときに直せばいいでしょう。

余談1: 逆アセンブルビューと逆コンパイルビューはTabキーで切り替えられる

IDAでは、メニューのOptions→Shortcuts...から、キーボードショートカットを編集できるShortcuts...モードレスダイアログを表示できます。久しぶりに眺めていると、Tabキーにhx:JumpPseudoアクションが割り当たっていることに気付きました。

なお、私は今まで、F5キーに割り当てられているhx:GenPseudoアクションを使っていました。数分触って感じたhx:JumpPseudoとhx:GenPseudoの違いです:

  • hx:JumpPseudo側は、対象となる関数の逆コンパイル結果がすでにあれば即座に表示するようです。
  • hx:GenPseudo側は、対象となる逆コンパイル結果を改めて取得するようです。過去の経験では、「いろいろな関数を解析した後に、最初の頃に解析した関数へ戻ると、型や関数名が古い情報が表示されている。そのような場合はhx:GenPseudo操作を改めて行うと最新の結果が適切に表示されるようになると」という事例で役立った記憶があります。
  • どちらも、当該関数を初めて逆コンパイルする場合は、おそらく同様の動作になると思います。

私は今まで、モニターサイズの都合等でIDA View-AビューとPseudocode-Aビューを異なるタブで表示している場合は、Ctrl+TabやCtrl+Shift+Tabのタブ切り替えで表示を切り替えていました。素のTabキーで切り替えられると便利そうです!

余談2: hexrays.cfgでのPSEUDOCODE_SYNCEDやPSEUDOCODE_DOCKPOS設定も便利かも(動かないかも)

Igor’s tip of the week #33: IDA’s user directory (IDAUSR) – Hex Raysで、hexrays.cfgのサンプルとして次の例が記述されています:

PSEUDOCODE_SYNCED=YES
PSEUDOCODE_DOCKPOS=DP_RIGHT

またHex-RaysのTwitter公式アカウントで、上記の設定をすることで「Synchronized withを自動的に設定し、かつIDA View-AとPseudocode-Aビューを横並びにできる」ことをツイートしています:

しかし私の環境で試すと、PSEUDOCODE_SYNCED側設定は、Tabキーのhx:JumpPseudoでPseudocode-Aビューを表示する場合のみ反映されて、F5キーのhx:GenPseudoでPseudocode-Aビューを表示する場合は反映されませんでした。こちらは、上記ツイートで他の方がリプライしているとおりです。

また、PSEUDOCODE_DOCKPOS側設定はhx:JumpPseudoでもhx:GenPseudoでも反映されず、未設定状態と同様に新しいタブとして表示されました。こちらは、上記ツイートでの他の方のリプライでは動作しているとのことです。何らかの環境設定等に依存するのかもしれません。

結局、私の場合は手作業でのSynchronized withやビュー表示位置移動を手作業で行っています。しかしこの作業はPseudocode-Aビューを表示した直後の1回だけの作業なので、大した手間ではないとも思っています。

余談3: その他の逆コンパイルビュー用オプション

逆コンパイルビュー用のオプションには、他にも色々あります。例えば各表示の背景色や、コメント行のインデント量、インラインで展開する文字列リテラルの長さの上限等があります。探してみると、面白い設定や便利な設定ができるかもしれません。参考になりそうなドキュメントです: