MTK 与IncrediBuild使用

一、配置MTK工程和IncrediBuild才能实现分布式编译

1.make文件夹里面的Gsm2.mak修改make工具的编译项为IncredBuild增加运行参数
#@echo tools/make.exe -fmake/comp.mak -r -R COMPONENT=$* ... $(strip $(COMPLOGDIR))/$*.log
@if /I %OS% EQU WINDOWS_NT /
  (if /I $(BM_NEW) EQU TRUE /
  (XGConsole /command="tools/make.exe -fmake/comp.mak -k -r -R $(strip $(CMD_ARGU)) COMPONENT=$* > $(strip $(COMPLOGDIR))/$*.log 2>&1" /NOLOGO /profile="tools/XGConsole.xml")  /
  else /
  (XGConsole /command="tools/make.exe -fmake/comp.mak -r -R $(strip $(CMD_ARGU)) COMPONENT=$* > $(strip $(COMPLOGDIR))/$*.log 2>&1" /NOLOGO /profile="tools/XGConsole.xml")  /
  ) /
else /
  (if /I $(BM_NEW) EQU TRUE /
  (tools/make.exe -fmake/comp.mak -k -r -R $(strip $(CMD_ARGU)) COMPONENT=$* > $(strip $(COMPLOGDIR))/$*.log) /
  else /
  (tools/make.exe -fmake/comp.mak -r -R $(strip $(CMD_ARGU)) COMPONENT=$* > $(strip $(COMPLOGDIR))/$*.log) /
  )
@type $(strip $(COMPLOGDIR))/$*.log >> $(LOG)
@perl ./tools/chk_lib_err_warn.pl $(strip $(COMPLOGDIR))/$*.log

2.tools工具夹里面加入 XGConsole.xml
内容为
<?xml version="1.0" encoding="UTF-8" standalone="no" ?>
<Profile FormatVersion="1">
<Tools>
<Tool Filename="perl" AllowRemote="true" />
<Tool Filename="make" AllowIntercept="true" />
<Tool Filename="tcc" AllowRemote="true" />
<Tool Filename="tcpp" AllowRemote="true" />
<Tool Filename="armcc" AllowRemote="true" />
<Tool Filename="armcpp" AllowRemote="true" />
<Tool Filename="strcmpex" AllowRemote="true" />
<Tool Filename="warp" AllowRemote="true" />
<Tool Filename="armar" AllowRemote="false" />
<Tool Filename="formelf" AllowRemote="false" />
</Tools>
</Profile>

3.tools工具夹里面的make2.pl修改以下几行
if (($action eq "update") || ($action eq "remake") || ($action eq "new") || ($action eq "bm_new") ||
    ($action eq "c,r") || ($action eq "c,u")) {
  if ($ENV{"NUMBER_OF_PROCESSORS"} > 1) {
    if ($fullOpts eq "") {
      $fullOpts = "CMD_ARGU=-j$ENV{/"NUMBER_OF_PROCESSORS/"}";
    } else {
      $fullOpts .= ",-j$ENV{/"NUMBER_OF_PROCESSORS/"}";
    }
  }
}
改为
if (($action eq "update") || ($action eq "remake") || ($action eq "new") || ($action eq "bm_new") ||
    ($action eq "c,r") || ($action eq "c,u")) {
  if ($ENV{"NUMBER_OF_PROCESSORS"} >= 1) {
    if ($fullOpts eq "") {
      $fullOpts = "CMD_ARGU=-j$ENV{/"NUMBER_OF_PROCESSORS/"}"."0";
    } else {
      $fullOpts .= ",-j$ENV{/"NUMBER_OF_PROCESSORS/"}"."0";
    }
  }
}

$ENV{"NUMBER_OF_PROCESSORS"} = 10;  //修改为你想要的进程数

4.把tools里面的make.exe换成多任务的文件

二、驱动配置

驱动程序主要分散于两个目录
$PROJECT/custom/drv
$PROJECT/drv

很明显，第一个目录是客户化项目的驱动程序，第二目录就是主要的驱动,是比较相对独立的模块。编译时，custom 是个作为一个独立的模块。
当然，还有一些接口定义的目录，它们在
$PROJECT/interface/hwdrv
$PROJECT/interface/drv_def

运用程序 $PROJECT/custom/drv/Drv_Tool/DrvGen.exe 可以对 GPIO,GPO,ENIT,ADC,KEYPAD进行定制设置.
有个默认文件$PROJECT/custom/drv/misc_drv/$PROJECT_NAME/codegen/codegen.dws
可以用DrvGen直接打开它，然后进行修改，生成的*.h *.c文件与codegen.dws在同一目录下.
驱动代码里，一个很显著的宏，就是 __CUST_NEW__ ,常常碰到
#ifndef __CUST_NEW__
// the default settings
else
// user customize
#endif

就是由DrvGen产生的代码段. 如果对硬件足够了解，可以从原理图 和PCB板图对照直接改代码。

驱动离不开操作系统的支持，我们知道,MTK的 kal对 nucleus os 进行了封装，那么KAL相关的定义的头文件kal_release.h 就不能错过了，驱动直接调用系统提供的函数。

最后，总结一下，手机启动过程如下：
开机 -> 初始化硬件 -> 初始化软件（读取NV,保存为全局变量） -> 开机动画，搜寻网络，Sim卡等 -> Idle界面。

三、批处理脚本

个人认为，自动化脚本是提高程序员生活质量的重要工具之一。在本贴记录下IncrediBuild的命令行调用：

BuildConsole是IncrediBuild的命令行接口，介绍下它主要的参数（更详细、更多介绍尽在IncrediBuild的帮助）：

/prj ：要编译什么工程，工程名用逗号隔开，支持*和?通配符

/build ：就是编译

/rebuild：就是clean & build

/OpenMonitor：会把编译过程窗口打开

/cfg：编译条件选择

bat例子：

rem =======

rem ==编译test1.dsw中的指定工程

BuildConsole test1.dsw /prj="prj1,prj2,prj3" /build /OpenMonitor /cfg="Win32 Debug"

rem 如果联合编译发生失败则暂停，这样可以根据Monitor界面知道具体的编译失败原因

IF %ERRORLEVEL% NEQ 0 pause

rem =======

rem ==编译test2.dsw中的所有工程

BuildConsole test2.dsw /prj="*" /build /OpenMonitor /cfg="Win32 Debug"

IF %ERRORLEVEL% NEQ 0 pause

四、加速原理

虽然现在计算机的运算速度不断提高, 但大型软件的编译速度仍然是个漫长的过程,我所在的项目, 软件大小约为200K行, 在VC6下的编译时间为3分钟(P4 1.8G, 512M), 在交叉编译时更慢, 提高编译速度将能够直接提高前期调测的效率. 本文将介绍提高编译速度的有效方法之一 - 分布式编译.
分布式编译的原理很简单, 就是将编译的整个工作量通过分布计算的方法分配到多个计算机上执行, 这样可以获得极大的效率提升. 由于分布式计算的技术相对成熟, 现在可以见到的分布式编译软件也较多. 一般来说, 一个分布式编译软件不是一个编译器, 而是附着在某个编译器上的分布计算管理软件, 使得对于特定的编译器可以实现分布式编译.
常见的分布式编译器通常是对应于特定的C/C++编译器, 如Gcc, Visual C++, 因为这些编译器使用相当广泛且开放度高. 因而实现分布式编译的意义更大. 下面分别以Visual C++和Gcc为例说明两个典型的分布式编译软件:
1)IncrediBuild
这 是一个对应Visual C++ 的分布式编译软件, 通过Visual C++强大的IDE扩展功能, 它有着非常友好的界面, 可以将整个分布式编译过程直观的展现给用户, 并且它通过一个"虚拟机"的技术, 使能编译的参与者可以与编译发起者有着不同的系统配置(Windows操作系统版本, 库文件等), 甚至无需在参与者机器上安装Visual C++.
IncrediBuild 需要一个特定的计算机做仲裁者, 其他的所有计算机作为客户, 有了仲裁者的好处是, 可以有它来统一安排所有客户端所发起的编译请求, 一旦某个客户发起编译请求, 则仲裁者会根据其他客户的CPU空闲情况而安排分布式编译, 当多个客户同时发起编译请求时, 仲裁者会自动平衡分布计算负担,使得编译参与者不会占用过多的CPU.
在我们的项目中, 使用IncrediBuild的结果如下:
未使用: 3分钟
5客户: 40秒
10客户: 25秒
可见IncrediBuild对编译性能的巨大提升, 并且在取得如此性能提升的同时, 仲裁者和编译参与者的CPU占用率很低. 保持相当高的可用性, 这是很难得的.
IncridiBuild的缺点是目前仅支持Visual C++ 6编译器和.Net编译器, 也仅适用于Windows平台. 适用范围相对较窄.

2)DistCC
这是一个GNU的分布式C++编译器, 适用于一切Gcc兼容的C++编译器, DistCC也具有很好的跨平台特性, 支持Linux, XFree86, CygWin等平台. 使用范围相当广泛.
DistCC和IncrediBuild的差别在与DistCC不使用仲裁者, 直接由客户端对其他客户端发起编译请求. 所以每个客户端都需要知道其他客户端的位置, 并且当多个客户发起编译请求时不易做平衡处理.

五、编译过程

本文详解MTK的编译过程，并会根据我的理解来更新。阅读上文对本文的一些文件和术语会有很好的帮助。

导读：
　　Comp.mak 完成模块编译连接，生成bin
　　Gsm2.mak 主编译文件，完成clean,remake,new等工作
　　XXX_GPRS.mak 客户私有的配置，根据客户的不同，而设定不同的配置文件
　　Option.mak 工程中的基本配置及宏定义文件
　　Verno_XXX.bld 版本文件
　　Custom.bld 要保证在客户版本中都使用相同的配置的地方要写在这里，这个里面的一些文件不能被改变
　　第一步：
　　1.Make.bat命令首先调用ChgFileMode.bat，将编译过程中需要用到的文件的只读属性修改为可读写，再调用make2.pl。
　　2.Make2.pl的主要工作就是匹配gsm2.mak的参数，然后通过命令
　　system("${makeCmd} -f${makeFolder}${myMF} -r -R CUSTOMER=$custom PROJECT=$project $action");来调用gsm2.mak。
　　具体解析出来就是
　　make -f make/gsm2.mak -r –R CUSTOMER=工程名 PROJECT=gprs new|update|remake
　　第二步：整个过程如图
　　Gsm2.mak
　　Option.mak
　　XXX_GPRS.mak
　　REL_CR_MMI_GPRS.mak
　　USER_SPECIFIC.mak
　　
　　1.在Gsm2.mak文件的开始处调用了option.mak文件。
　　2.Option.mak又将make/$(strip $(CUSTOMER))_$(strip$(PROJECT)).mak文件包含进来，这个模式匹配结果为：make目录下，工程名称_GPRS.mak，如K500GSD_GPRS.mak。
　 　3.在$(strip $(CUSTOMER))_$(strip$(PROJECT)).mak文件中又调用了 REL_CR_MMI_$(strip$(PROJECT)).mak文件，这个文件模式具体被解析为make目录下的 REL_CR_MMI_GPRS.mak文件。
　　REL_CR_MMI_GPRS.mak这个文件定义了哪些文件需要加入到编译目录中。
　　其中定义了MMI部分的编译目录为MMIDIR = plutommi。
　　在变量CUS_REL_BASE_COMP中定义了资源的编译目录：
　　CUS_REL_BASE_COMP += $(strip $(MMIDIR))/mmi $(strip $(MMIDIR))/mtkapp $(strip$(MMIDIR))/tool $(MMIDIR)/WIN32FS
　　CUS_REL_BASE_COMP += $(strip$(MMIDIR))/Customer/CustomerInc /
　　$(strip $(MMIDIR))/Customer/Customize /
　　$(strip $(MMIDIR))/Customer/CustResource/$(strip $(MMI_VERSION))/
　　$(strip $(MMIDIR))/Customer/debug /
　　$(strip $(MMIDIR))/Customer/Images/GameImages /
　　$(strip $(MMIDIR))/Customer/Images/decoder /
　　$(strip $(MMIDIR))/Customer/Res_MMI /
　　$(strip $(MMIDIR))/Customer/ResGenerator /
　　$(strip $(MMIDIR))/Customer/ResourceDLL /
　　$(strip $(MMIDIR))/Customer/Resources /
　　$(strip $(MMIDIR))/Customer/Audio
　　客户的资源需要编译如下文件：CUS_REL_SRC_COMP += mmiresource mtkapp gdi_arm plutommi vendorapp
　　图片名称为：CUS_REL_BASE_COMP += $(strip$(MMIDIR))/Customer/Images/$(strip $(MMI_PROJ))$(strip$(MAIN_LCD_SIZE))，可解析为如：
　　plutommi/customer/images/K500GSD176X220
　　
　　REL_CR_MMI_$(strip $(PROJECT)).mak
　　其中CUS_REL_OBJ_LIST这个变量存储了连接过程中所需要的文件名称
　　
　　4．make/$(strip $(CUSTOMER))_$(strip$(PROJECT)).mak文件的功能。
　　CUSTOM_OPTION定义了所有需要编译进去的功能模块的宏。
　　COMPLIST变量的功能：
　　ifeq ($(strip $(RTOS)),NUCLEUS)
　　COMPLIST = nucleus nucleus_int nucleus_ctrl_code nucleus_critical_data
　　Endif
　　如果操作系统为NUCLEUS，那么COMPLIST为后面的值，COMPLIST为所要编译的文件列表，里面存放了很多*.inc文件，展开后就变为
　　config/include
　　stacklib/include
　　adaptation/include
　　kal/include等等
　　
　　5． option.mak文件的在后面调用了make/USER_SPECIFIC.mak
　　如果使用CPU为ARM，则编译工具目录为如下定义
　　ifeq ($(strip $(COMPILER)),ADS)
　　DIR_ARM = c:/progra~1/arm/adsv1_2
　　DIR_ARM := $(strip $(DIR_ARM))
　　DIR_TOOL = $(DIR_ARM)/bin
　　DIR_ARMLIB = $(DIR_ARM)/lib
　　DIR_ARMINC = $(DIR_ARM)/include
　　Endif
　　连接打包工具等为如下几个：
　　DIR_TOOL := $(strip $(DIR_TOOL))
　　LINK = $(DIR_TOOL)/armlink.exe # Linker
　　ASM = $(DIR_TOOL)/armasm.exe # ARM assembler
　　LIB = $(DIR_TOOL)/armar.exe # Library tool
　　BIN_CREATE = $(DIR_TOOL)/fromelf.exe # Binary tool
　　下面这段代码告诉我们需要用什么编译工具来编译
　　ifeq ($(strip $(COMPILER)),ADS)
　　ifeq ($(strip $(COMPILE_MODE)),INST16)
　　CC = $(DIR_TOOL)/tcc.exe # Thumb Mode(16bits), use tcc
　　CC32 = $(DIR_TOOL)/armcc.exe # ARM Mode(32bits), use armcc
　　CPPC = $(DIR_TOOL)/tcpp.exe # Thumb Mode(16bits), use tcc
　　CPPC32 = $(DIR_TOOL)/armcpp.exe # ARM Mode(32bits), use armcc
　　else
　　ifeq ($(strip $(COMPILE_MODE)),INST32)
　　CC = $(DIR_TOOL)/armcc.exe # ARM Mode(32bits), use armcc
　　CPPC = $(DIR_TOOL)/armcpp.exe # ARM Mode(32bits), use armcc
　　else
　　CC = $(DIR_TOOL)/tcc.exe # Default tcc
　　CC32 = $(DIR_TOOL)/armcc.exe # ARM Mode(32bits), use armcc
　　CPPC = $(DIR_TOOL)/tcpp.exe # Thumb Mode(16bits), use tcc
　　CPPC32 = $(DIR_TOOL)/armcpp.exe # ARM Mode(32bits), use armcc
　　endif
　　endif
　　endif
　　
　　ifeq ($(strip $(PLATFORM)),MT6223P)
　　AFLAGS := -g -littleend -cpu ARM7EJ-S
　　Endif
　　
　　COMMINCDIRS变量在先包含了基本功能模块的inc目录后再包含如下文件
　　COMMINCDIRS += $(DIR_ARMINC) $(CUSTOM_COMMINC)，
　　
　　6．Option.mak中定义了一些附加功能模块的编译模式（是否被编译，被编译成什么样的结果），比如说蓝牙，UART3，WIFI，USB，WAP等等，还有一些编译器的设置。
　　我们的版本号和Scat文件被定义在这个变量中：5056L
　　SCATTERFILE = custom/system/$(strip$(BOARD_VER))/scat$(strip $(PLATFORM)).txt
　　VERNOFILE = make/Verno_$(CUSTOMER).bld
　　.bin文件的名称设置在这个变量TARGNAME = $(CUSTOMER)_$(strip$(SUB_BOARD_VER))_$(PROJECT)_$(strip $(PLATFORM))_$(strip$(CHIP_VER))
　　TST_DB := $(strip $(TSTDIR))/database_classb
　　然后被包含到Option.mak文件中来，include $(strip$(VERNOFILE))。
　　
　　7．Gsm2.mak文件中new执行的指令
　　new : cleanall cmmgen mmi_feature_check asngen codegen asnregen operator_check_lite update
　　
　　update所执行的指令
　　update : cleanlog cleanbin mcddll_update codegen resgen cksysdrv remake
　　
　　remake所执行的指令
　　remake : mcp_check cleanlog cleanbin genverno libs $(BIN_FILE) done
　　
　　resgen用来编译资源文件：Res_XXX.c
　　
　 　(echo CUSTOM_OPTION = $(foreach def,$(BOARD_VER) $(PLATFORM) $(LCD_MODULE) $(EXT_CAM_MODULE)$(CMOS_SENSOR),-D "$(def)") />$(MMIDIR)/customer/resGenerator/custom_option.txt)
　　首先将CUSTOM_OPTION重定向到custom_option.txt中
　　
　　(type make/~cus_opt.tmp >>$(MMIDIR)/customer/resGenerator/custom_option.txt)
　　使用tools/strcmpex.exe生成~cus_opt.tmp, ~tgt_opt.tmp,~inc.tmp三个文件
　　将~cus_opt.tmp 重定向到custom_option.txt中
　　
　　(@del $(MMIDIR)/mmi/TargetOption.txt) &/
　　(copy /Y make/~tgt_opt.tmp $(MMIDIR)/MMI/TargetOption.txt)
　　再将TargetOption.txt更新一下，将~tgt_opt.tmp重定向到TargetOption.txt中
　　
　　(type make/~inc.tmp >$(MMIDIR)/customer/resGenerator/custom_include.tmp)
　　再将~inc.tmp重定向到custom_include.tmp中，
　　
　　执行replace_project_name.pl文件，编译Res_XXX.c
　　再执行ResGenerator_HW.bat，编译资源文件。
　　
　　8．Remake中的编译过程是在libs中完成的
　　目标依赖：libs: cleanlib startbuildlibs $(COMPLIBLIST)
　　Cleanlib在这个依赖中做的动作是清掉上次生成的.bin，.elf，.lis等文件，接着清掉需要重新来生成的.lib文件。$(COMPLIBLIST)这个依赖就是我们需要重新生成的.lib文件。
　　.lib文件的依赖关系：%.lib:
　　在这个依赖关系中所做的动作是设置编译器，链接器以及这个过程的参数等其他信息，然后将这些信息输出到：~compbld.tmp临时文件中。
　　
　　(tools/make.exe -fmake/comp.mak -k -r -R $(strip $(CMD_ARGU)) COMPONENT=$* >$(strip $(COMPLOGDIR))/$*.log) /
　　调用了make命令来执行comp.mak文件，并且可以看到> $(strip$(COMPLOGDIR))/$*.log
　　该语句将执行comp.mak文件时产生的信息存放在当前编译部分的.log文件中，通常看编译信息的比如custom.log等就是该中类型的文件。
　　
　　依赖关系：update_lib: $(TARGLIB)
　　$(TARGLIB) : $(COBJS) $(CPPOBJS) $(AOBJS) $(ARMOBJS)
　　$(TARGLIB)依赖很多.c和.obj
　　.c.obj:
　　@echo Compiling $< ...
　　@tools/strcmpex.exe $(ACTION) remake e $(*F).via $(CINTWORK) -c $(CFLAGS) $(CDEFS) $(CINCDIRS) -o $(COMPOBJS_DIR)/$@$<
　 　@tools/strcmpex.exe $(ACTION) remake n $(*F).via $(CINTWORK) -c $(CFLAGS) $(CDEFS) $(CINCDIRS) $(MD) -o$(COMPOBJS_DIR)/$@ $<
　　@if exist $(*F).via tools/warp.exe $(*F).via
　　@if exist $(*F).via $(CMPLR) $(VIA) $(*F).via
　 　@if not $(ACTION)==remake if exist $(FIXPATH)/$(*F).d perl./tools/pack_dep.pl $(FIXPATH)/$(*F).d >$(RULESDIR)/$(COMPONENT)_dep/$(*F).det
　　@if not $(ACTION)==remake if exist $(FIXPATH)/$(*F).d del /f /q$(FIXPATH)/$(*F).d >nul
　　@if exist $(*F).via del /f /q $(*F).via
　　要生成.o依赖于.c文件，如果我的.c文件经过更新，那么该.o就需要重新生成，该.c就需要重新来编译。
　　@tools/strcmpex.exe $(ACTION) remake e$(*F).via $(CINTWORK) -c $(CFLAGS) $(CDEFS)$(CINCDIRS) -o $(COMPOBJS_DIR)/$@ $<
　 　@tools/strcmpex.exe $(ACTION) remake n $(*F).via $(CINTWORK) -c $(CFLAGS) $(CDEFS) $(CINCDIRS) $(MD) -o$(COMPOBJS_DIR)/$@ $<
　　有两个编译环节，针对不同的编译动作，两者的不同点在于中间有个$(MD)编译选项，在有该选项的时间编译的时候就会生成依赖关系文件.d。
　 　@if not $(ACTION)==remake if exist $(FIXPATH)/$(*F).d perl./tools/pack_dep.pl $(FIXPATH)/$(*F).d >$(RULESDIR)/$(COMPONENT)_dep/$(*F).det
　　在这个的语句中有$(FIXPATH)/$(*F).d >$(RULESDIR)/$ (COMPONENT)_dep/$(*F).det该动作又将.d文件作为.pl文件的参数，执行该perl文件后将结果输出放在.det文件中。
　　@if not $(ACTION)==remake if exist $(FIXPATH)/$(*F).d del /f /q$(FIXPATH)/$(*F).d >nul
　　然后又执行这个语句，将.d文件删除。
　　在make文件中可以看到-include$(RULESDIR)/$(COMPONENT).dep
　　在查看各个.o的依赖关系的时间要查看该.dep文件来决定是否需要来重新编译生成该.o。
　　如果新添加了.h文件又没有来更新.dep文件就可能导致该.o查找依赖时没有依赖该.h。不去更新该.o。
　　@if exist $(FIXPATH)/$(CUS_MTK_LIB)/$(COMPONENT).lib /
　　(copy /z $(FIXPATH)/$(CUS_MTK_LIB)/$(COMPONENT).lib $(subst/,/,$(TARGLIB))) &/
　　($(LIB) -r $(TARGLIB) $(COMPOBJS_DIR)/*.obj) /
　　else /
　　($(LIB) -create $(TARGLIB) $(COMPOBJS_DIR)/*.obj)
　　在生成了.o文件后在.lib的依赖中可以看到($(LIB) -r$(TARGLIB) $(COMPOBJS_DIR)/*.obj)
　　该语句将生成的.o文件打包成.lib库文件。
　　
　　连接过程：$(BIN_FILE)：
　　最后完成编译：done:
　　# -----------------------------
　　# Clean temporary files in make directory
　　# -----------------------------
　　@echo Cleaning make/~*.tmp files ...
　　@if exist make/~*.tmp /
　　del make/~*.tmp
　　@echo Done.
　　@perl tools/time.pl -n
　　清掉临时文件，打出done信息，最后打出时间标签。