使用 IDA 和 windbg 调试 LNK1123 转换到 COFF 期间失败：文件无效或损坏（中）

标签：__ file windbg res piob dx LNK1123 COFF

使用 IDA 和 windbg 调试 LNK1123 转换到 COFF 期间失败：文件无效或损坏（中）

原总结排错process monitorvsIDAwindbg调试rcCVT1101LNK1123

前言

在上一篇文章中，我们总结了使用 windbg 和 IDA 找出 cvtres.exe

几个值得深究的问题

为什么链接的时候需要调用 cvtres.exe 呢？
微软官方描述摘录如下：

You can specify a .res file when linking a program. The .res file is created by the resource compiler (RC). LINK automatically converts .res files to COFF. The CVTRES.exe tool must be in the same directory as LINK.exe or in a directory specified in the PATH environment variable.

stackoverflow 上有一个更加详细的描述，摘录如下:

Input files must have the Common Object File Format (COFF) format. If an input file is not COFF, the linker automatically tries to convert 32-bit OMF objects to COFF, or runs CVTRES.EXE to convert resource files. This message indicates that the linker could not convert the file. This can also occur when using an incompatible version of CVTRES.EXE from another installation of Visual Studio, the Windows Development Kit, or .NET Framework.

有没有更好的设置条件断点的方式？目前的语法实在是太难用了。
可以使用

dx

提供的语法来设置条件断点。先定义一个辅助函数

@$get_wfs_open_file_param

用来获取

file

dx @$get_wfs_open_file_param = (esp_value => ((wchar_t*)*((int*)esp_value+1)).ToDisplayString("sub"))

设置条件断点

bp /w "@$get_wfs_open_file_param(@esp).EndsWith(\"510.res\")" MSVCR120!_wfsopen

是不是比传统的方式好理解的多？如果不想定义辅助函数，可以直接像下面这样设置条件断点。

bp /w "((wchar_t*)*((int*)@esp+1)).ToDisplayString(\"sub\").EndsWith(\"510.res\")" MSVCR120!_wfsopen

有什么简单的办法可以查看 __piob

在前一篇文章中，只是通过逻辑推理确定了当尝试打开

510.res

时，

__piob

数组中的每个元素都被占用了。并没有实际查看其内容。其实，可以通过

dx

命令非常方便的查看想要查看的内容。比如，可以只查看那些可用的记录项（值为

NULL

或者不满足

inuse()

str_locked()

为了让代码更容易理解，定义了几个辅助变量及函数。

$$ 以下变量定义在 VC\crt\src\stdio.h 中
dx @$ioReadFlag = 0x1
dx @$ioWriteFlag = 0x2
dx @$ioRWFlag = 0x80
dx @$ioLockedFlag = 0x8000

$$ inuse() 和 str_locked() 定义在 VC\crt\src\file2.h 中
dx -r0 @$IsInUse = (f => f->_flag & (@$ioReadFlag | @$ioWriteFlag | @$ioRWFlag))
dx -r0 @$IsLocked = (f => f->_flag & @$ioLockedFlag)

$$ 使用自定义变量 my_piob 指向 __piob
dx -r0 @$my_piob = (FILE*[512])MSVCR120!__piob

$$ 找到所有可用的记录的数量
dx @$my_piob.Where(f => f == 0 || (@$IsInUse(f) && @$IsLocked(f) ) ).Count()

$$ 找到所有不可用的记录的数量
dx @$my_piob.Where(f => !(f == 0 || (@$IsInUse(f) && @$IsLocked(f) ) ) ).Count()

当打开 510.res

使用 IDA 和 windbg 调试 LNK1123 转换到 COFF 期间失败：文件无效或损坏（中）_初始化