时时勤拂拭,勿使惹尘埃

TOC

Categories

IoT(八)ubi文件系统挂载&解包


0x1 UBI文件系统简介

UBI文件系统是linux-2.6.27后内核新加入的flash文件系统,开发环境主机要求至少是在linux2.6.27后的内核,且已经有nandsim,ubi等相关模块。
UBI没有FLASH转换层(FTL,Flash Translation Layer),只能工作在裸的flash,因此它不能用于消费类FLASH如MMC, RS-MMC, eMMC, SD, mini-SD, micro-SD, CompactFlash, MemoryStick等,但UBI在嵌入式设备中被广泛使用。
UBI文件系统不能直接挂载,而是要用 nandsim 模拟出一个 mtd 设备,而且这个 mtd 设备要与 ubi 镜像的参数保存一致,否则后面的挂载会失败。
这些参数包括 mtd 设备的物理块擦除大小 (Physical Erase Block, PEB) 和 页大小 (Page Size)。
ubi 镜像有多个 PEB 组成,每个 PEB 包括以下三部分内容
[ UBI_EC_HDRUBI_VID_HDRDATA (LEB) ]
这是 ubi 镜像的头部,从 ubi-header.h 中可以了解到这个头部各个字节的含义:
ubi-header.h
struct ubi_ec_hdr {
  uint32_t magic;  //红色,#define UBI_EC_HDR_MAGIC  0x55424923
  uint8_t  version;
  uint8_t  padding1[3];
  uint64_t ec; /* Warning: the current limit is 31-bit anyway! */
  uint32_t vid_hdr_offset;   //蓝色,偏移为0x800=2KB
  uint32_t data_offset;     //黄色,偏移为0x1000=4KB
  uint8_t  padding2[36];
  uint32_t hdr_crc;
} __attribute__ ((packed));
通常UBI_EC_HDRUBI_VID_HDR 要么在每个 PEB 的头部各占一页大小,要么都在第一页。若第一种,则页大小为2KB;若第二种页大小为4KB。nand flash 常见的页大小是 512byte 和 2KB,4KB 比较少见,故先推测为2KB。
通过检索UBI_EC_HDR_MAGIC0x55424923,可以确定本次镜像PEB大小为0x20000=128KB,那么 LEB (Logical Erase Block) =PEB-data_offset=128-4=124KB

0x2 挂载方式

UBI文件系统的挂载方式,可以参考Linux mtd使用文档
1,创建一个需要被挂在的目录
# mkdir /mnt/loop
2,载入mtd模块
# modprobe mtdblock
3,载入ubi模块(前提你的linux环境以支持ubi模块)
# modprobe ubi
4,载入nandsim来模拟nand设备
# modprobe nandsim first_id_byte=0x2c second_id_byte=0xf1 third_id_byte=0x80 fourth_id_byte=0x95   
// disk size=128MB, page size=2048 bytes,block size=128KB
nandsim指定的参数需要根据镜像的闪存芯片来选择,以下图某设备为例,存储芯片型号为29F1G08ABAEA,通过检索可知为Micron镁光1Gb=128MB容量闪存:
重点阅读 Read ID 部分,nandsim 后面跟的 4 个参数是 nand flash 芯片的 ID,前三个参数为厂商ID、芯片ID等不太关键的参数,而第 4 个参数决定了生成的 mtd 设备的 PEB 和 页大小。
5,检查加入模块的环境
# cat /proc/mtd
dev: size erasesize name
mtd0: 08000000 00020000 "NAND simulator partition 0"
//即镜像大小size=128MB,PEB=erasesize=128KB
# ls -la /dev/mtd*
crw-rw---- 1 root root 90, 0 2013-08-17 20:02 /dev/mtd0
crw-rw---- 1 root root 90, 1 2013-08-17 20:02 /dev/mtd0ro
brw-rw---- 1 root disk 31, 0 2013-08-17 20:03 /dev/mtdblock0 
# mtdinfo /dev/mtd0
mtd0
Name:                           NAND simulator partition 0
Type:                           nand
Eraseblock size:                131072 bytes, 128.0 KiB
Amount of eraseblocks:          1024 (134217728 bytes, 128.0 MiB)
Minimum input/output unit size: 2048 bytes
Sub-page size:                  512 bytes
OOB size:                       64 bytes
Character device major/minor:   90:0
Bad blocks are allowed:         true
Device is writable:             true
6,将 ubi 与 /dev/mtd0 关联
# modprobe ubi mtd=0
7,把rootfs.ubi加载到mtd的块设备,在这里需要安装mtd-utils工具箱(ubuntu下 直接apt-get install mtd-utils)
# apt install mtd-utils
# ubidetach /dev/ubi_ctrl -m 0     // 格式化前先解绑定
# ubiformat /dev/mtd0 -s 2048 -f rootfs.ubi -O 2048   
ubiformat: mtd0 (nand), size 134217728 bytes (128.0 MiB), 1024 eraseblocks of 131072 bytes (128.0 KiB), min. I/O size 2048 bytes
libscan: scanning eraseblock 1023 -- 100 % complete  
ubiformat: 1024 eraseblocks are supposedly empty
...
ubiformat: flashing eraseblock 208 -- 100 % complete  
ubiformat: formatting eraseblock 1023 -- 100 % complete 
// 指令功能类似于`dd if=rootfs.ubi of=/dev/mtdblock0 bs=2048`
//-O参数用来指定VID header offset,默认是512,本次镜像从上文分析得知为2048
遇到的坑
  • ubiformat: error!: file “rootfs.ubi” (size 27267072 bytes) is not multiple of eraseblock size (131072 bytes)
    • 如果确定文件rootfs.ubi块大小正确,可以详细检查文件,如下图,某设备镜像就修改了最后一个块的位置,将之修改回正确地址0x1a00000(删掉前面0x12个FF)
    • 修改完成后继续ubiformat,此时提示最后一个修改的块CRC校验错误
      • ubiformat: flashing eraseblock 208 — 100 % complete ubiformat: error!: bad CRC 0xa092c947, should be 0x350fcaaa
      • 0x350fcaaa是原始值,将之修改为提示的0xa092c947即可ubiformat成功

        ubiformat: 208 eraseblocks have valid erase counter, mean value is 3
        ubiformat: 1 eraseblocks are supposedly empty
        ubiformat: 815 corrupted erase counters
        ubiformat: warning!: only 208 of 1024 eraseblocks have valid erase counter
        ubiformat: erase counter 0 will be used for all eraseblocks
        ubiformat: note, arbitrary erase counter value may be specified using -e option
        ubiformat: continue? (y/N) y
        ubiformat: use erase counter 0 for all eraseblocks
        ubiformat: flashing eraseblock 208 -- 100 % complete  
        ubiformat: formatting eraseblock 1023 -- 100 % complete
        
8,将ubi模块与已载入了rootfs.ubi的mtd模块关联
# ubiattach /dev/ubi_ctrl -m 0 -O 2048
UBI device number 0, total 1024 LEBs (130023424 bytes, 124.0 MiB), available 1000 LEBs (126976000 bytes, 121.1 MiB), LEB size 126976 bytes (124.0 KiB)
-m指定挂在在mtd0上
-O参数用来指定VID header offset,默认是512,本次镜像从上文分析得知为2048
到这里,模块载入成功,从输出信息可以知道rootfs.ubi镜像大小为124MB、共1024个块,每个LEB (Logical Erase Block) 大小为124KB
9,创建ubi分卷
# ubimkvol /dev/ubi0 -N ubifs_0 -m
10,挂载该模块到指定目录就OK
# mount -t ubifs ubi0:ubifs_0 /mnt/loop/
# ls -ahl /mnt/loop/
总用量 4.0K
drwxr-xr-x 22 root root 1.5K 4月  17  2018 .
drwxr-xr-x  6 root root 4.0K 12月 29 02:51 ..
drwxr-xr-x  2 root root 7.7K 4月  17  2018 bin
drwxr-xr-x  2 root root  160 4月  11  2018 boot
drwxr-xr-x  3 root root  224 4月  17  2018 data
drwxr-xr-x  2 root root  160 4月  11  2018 dev
drwxr-xr-x 24 root root 4.7K 4月  17  2018 etc
drwxr-xr-x  3 root root  224 4月  17  2018 home
drwxr-xr-x  6 root root  504 4月  11  2018 lib
drwxr-xr-x  5 root root 5.0K 4月  11  2018 lib64
drwxr-xr-x  2 root root  160 4月  11  2018 media
drwxr-xr-x  2 root root  160 4月  11  2018 mnt
drwxr-xr-x  2 root root  160 4月  11  2018 proc
drwxr-xr-x  2 root root  160 4月  11  2018 run
drwxr-xr-x  2 root root 4.1K 4月  17  2018 sbin
drwxr-xr-x  2 root root  160 4月  11  2018 sys
drwxr-xr-x  3 root root  224 4月  17  2018 temp
drwxr-xr-x  7 root root  504 4月  17  2018 test
drwxrwxrwt  2 root root  160 4月  11  2018 tmp
drwxr-xr-x 11 root root  736 4月  17  2018 usr
drwxr-xr-x  8 root root  808 4月  17  2018 var
drwxr-xr-x  3 root root  232 4月  17  2018 vendor
遇到的坑
  • mount: /mnt/loop: unknown filesystem type ‘ubifs’.
    • mount之前先创建ubi分卷即可
11,解挂载&绑定
$ sudo umount /mnt/ubi
$ sudo ubidetach /dev/ubi_ctrl -m 0
查看内核错误信息
如果遇到其他错误可以通过dmesg | tail -20来查看内核错误信息

0x3 ubi解包

上述通过挂载方式读取ubi文件的过程较为繁琐,其实已经有现成开源的解包工具可用。

0x31 ubi_reader

ubi_reader工具地址为:https://github.com/jrspruitt/ubi_reader
可以直接通过pip安装:
//安装依赖
$ sudo apt-get install liblzo2-dev
$ sudo pip install python-lzo
//安装ubi_reader
$ sudo pip install ubi_reader
ubi_reader工具提供了四个脚本:
ubireader_display_info   //获取UBI信息以及布局块等信息
ubireader_extract_images  //提取镜像
ubireader_extract_files  //提取文件内容
bireader_utils_info  //分析UBI镜像并创建shell脚本和UBI配置文件
ubi_reader工具的使用也很简单,可以不需要参数,如下提取镜像里面的文件,输出会保存到./ubifs-root/目录里:
$ ubireader_extract_files rootfs.ubi
$ ls -ahl ./ubifs-root/1726319237/rootfs 
total 0
drwxr-xr-x   22 nirva  staff   704B Dec 29 18:26 .
drwxr-xr-x    3 nirva  staff    96B Dec 29 18:26 ..
drwxr-xr-x  114 nirva  staff   3.6K Apr 17  2018 bin
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 boot
drwxr-xr-x    3 nirva  staff    96B Apr 17  2018 data
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 dev
drwxr-xr-x   69 nirva  staff   2.2K Apr 17  2018 etc
drwxr-xr-x    3 nirva  staff    96B Apr 17  2018 home
drwxr-xr-x    7 nirva  staff   224B Apr 11  2018 lib
drwxr-xr-x   68 nirva  staff   2.1K Apr 11  2018 lib64
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 media
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 mnt
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 proc
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 run
drwxr-xr-x   60 nirva  staff   1.9K Apr 17  2018 sbin
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 sys
drwxr-xr-x    3 nirva  staff    96B Apr 17  2018 temp
drwxr-xr-x    7 nirva  staff   224B Apr 17  2018 test
drwxr-xr-x    2 nirva  staff    64B Apr 11  2018 tmp
drwxr-xr-x   11 nirva  staff   352B Apr 17  2018 usr
drwxr-xr-x   12 nirva  staff   384B Apr 17  2018 var
drwxr-xr-x    3 nirva  staff    96B Apr 17  2018 vendor
遇到的坑
  • ubi_reader工具对于ubi文件要求较为严格,必须补齐每一个块内容,如下当最后一个块内容没填充满,会提示块空间大于文件:
    read Error: Block ends at 27394048 which is greater than file size 27267072
    extract_blocks Fatal: PEB: 208: Bad Read Offset Request
    
    根据PEB块大小,补齐00即可,如下将该块(size=0x20000)用00填充满

0x32 ubidump

相对于ubi_reader,ubidump工具就更为简单,无需对齐块,应该是直接检索块头magic进行提取,该工具地址为:https://github.com/nlitsme/ubidump
ubidump工具只是一个python2的脚本,无需安装,但需要安装依赖:
$ sudo pip install python-lzo
$ sudo pip install crcmod
使用也比较简单:
//查看image.ubi镜像里面的某个文件内容
$ python ubidump.py  -c /etc/passwd  image.ubi
//显示image.ubi镜像内容
$ python ubidump.py  -l  image.ubi
//提取镜像,该指令会在指定目录下生成`rootfs`目录
$ python ubidump.py  -s .  image.ubi
$ ls -ahl ./rootfs
total 0
drwxr-xr-x  11 nirva  staff   352B Dec 29 20:32 .
drwx------  20 nirva  staff   640B Dec 29 20:32 ..
drwxr-xr-x  53 nirva  staff   1.7K Dec 29 20:32 bin
drwxr-xr-x   3 nirva  staff    96B Dec 29 20:32 data
drwxr-xr-x  62 nirva  staff   1.9K Dec 29 20:32 etc
drwxr-xr-x   5 nirva  staff   160B Dec 29 20:32 lib
drwxr-xr-x  38 nirva  staff   1.2K Dec 29 20:32 lib64
drwxr-xr-x  15 nirva  staff   480B Dec 29 20:32 sbin
drwxr-xr-x   3 nirva  staff    96B Dec 29 20:32 temp
drwxr-xr-x   8 nirva  staff   256B Dec 29 20:32 usr
drwxr-xr-x   3 nirva  staff    96B Dec 29 20:32 vendor
不过对比 ubi_reader和ubidump工具的输出结果,可以发现ubi_reader提取的内容更为完整,而且也保留了文件的时间戳信息,而时间戳信息对取证等分析很有帮助:

2 条评论: