qemu-virt-riscv介紹

簡(jiǎn)介

Virt板是一個(gè)不對(duì)應(yīng)于任何真實(shí)硬件的平臺(tái)；它是為虛擬機(jī)設(shè)計(jì)的。如果你只是想運(yùn)行Linux等客戶(hù)機(jī)，而不關(guān)心重現(xiàn)真實(shí)世界硬件的特殊性和局限性，那么它是推薦的板卡類(lèi)型。

內(nèi)存空間布局(包括外設(shè)地址)

static const MemMapEntry virt_memmap[] = {
[VIRT_DEBUG] = { 0x0, 0x100 },
[VIRT_MROM] = { 0x1000, 0xf000 },
[VIRT_TEST] = { 0x100000, 0x1000 },
[VIRT_RTC] = { 0x101000, 0x1000 },
[VIRT_CLINT] = { 0x2000000, 0x10000 },
[VIRT_ACLINT_SSWI] = { 0x2F00000, 0x4000 },
[VIRT_PCIE_PIO] = { 0x3000000, 0x10000 },
[VIRT_PLIC] = { 0xc000000, VIRT_PLIC_SIZE(VIRT_CPUS_MAX * 2) },
[VIRT_APLIC_M] = { 0xc000000, APLIC_SIZE(VIRT_CPUS_MAX) },
[VIRT_APLIC_S] = { 0xd000000, APLIC_SIZE(VIRT_CPUS_MAX) },
[VIRT_UART0] = { 0x10000000, 0x100 }, / 串口設(shè)備 /
[VIRT_VIRTIO] = { 0x10001000, 0x1000 },
[VIRT_FW_CFG] = { 0x10100000, 0x18 },
[VIRT_FLASH] = { 0x20000000, 0x4000000 },
[VIRT_IMSIC_M] = { 0x24000000, VIRT_IMSIC_MAX_SIZE },
[VIRT_IMSIC_S] = { 0x28000000, VIRT_IMSIC_MAX_SIZE },
[VIRT_PCIE_ECAM] = { 0x30000000, 0x10000000 },
[VIRT_PCIE_MMIO] = { 0x40000000, 0x40000000 },
[VIRT_DRAM] = { 0x80000000, 0x0 }, / DDR空間 /
};

rt-smart針對(duì)virt board的ddr空間規(guī)劃

參考鏈接腳本

bspqemu-virt64-riscvlink.lds

以及board.h中的相關(guān)定義

bspqemu-virt64-riscvdriverboard.h

得到ddr的空間規(guī)劃如下

rt-smart針對(duì)virt board的初始化

整體初始化

rt_hw_board_init定義了與qemu-virt-riscv相關(guān)的板級(jí)初始化的全部?jī)?nèi)容，包括內(nèi)存系統(tǒng)，plic中斷子系統(tǒng)，定時(shí)器系統(tǒng)以及串口設(shè)備等。它由rtthread_startup調(diào)用，完整的調(diào)用路徑如下。

(libcpurisc-vvirt64startup_gcc.S)_start->primary_cpu_entry->entry->rtthread_startup->rt_hw_board_init

源碼如下

void rt_hw_board_init(void)
{
#ifdef RT_USING_USERSPACE
rt_page_init(init_page_region);
/* init mmu_info structure */
rt_hw_mmu_map_init(&mmu_info, (void *)(USER_VADDR_START - IOREMAP_SIZE), IOREMAP_SIZE, (rt_size_t )MMUTable, 0);
// this API is reserved currently since PLIC etc had not been porting completely to MMU version
rt_hw_mmu_kernel_map_init(&mmu_info, 0x00000000UL, 0x80000000);
/ setup region, and enable MMU /
rt_hw_mmu_setup(&mmu_info, platform_mem_desc, NUM_MEM_DESC);
#endif
#ifdef RT_USING_HEAP
/ initialize memory system /
rt_system_heap_init(RT_HW_HEAP_BEGIN, RT_HW_HEAP_END);
#endif
plic_init();
rt_hw_interrupt_init();
rt_hw_uart_init();
#ifdef RT_USING_CONSOLE
/ set console device /
rt_console_set_device(RT_CONSOLE_DEVICE_NAME);
#endif / RT_USING_CONSOLE /
rt_hw_tick_init();
#ifdef RT_USING_COMPONENTS_INIT
rt_components_board_init();
#endif
#ifdef RT_USING_HEAP
rt_kprintf("heap: [0x%08x - 0x%08x]n", (rt_ubase_t)RT_HW_HEAP_BEGIN, (rt_ubase_t)RT_HW_HEAP_END);
#endif / RT_USING_HEAP */
}
rt_page_init

rt-smart中使用了buddy算法管理了一部分內(nèi)存區(qū)域，系統(tǒng)使用page_alloc來(lái)向buddy管理的內(nèi)存區(qū)域申請(qǐng)內(nèi)存資源，像linux一樣每個(gè)page是4k的大小。

rt-smart采用buddy算法將系統(tǒng)中部分可用的物理內(nèi)存頁(yè)面按照每1個(gè)頁(yè)面、2個(gè)頁(yè)面、4個(gè)頁(yè)面等等劃分為了不同的單元。

void rt_page_init(rt_region_t reg)
{
int i;
LOG_D("split 0x%08x 0x%08xn", reg.start, reg.end);
reg.start += ARCH_PAGE_MASK;
reg.start &= ~ARCH_PAGE_MASK;
reg.end &= ~ARCH_PAGE_MASK;
{
int nr = ARCH_PAGE_SIZE / sizeof(struct page);
int total = (reg.end - reg.start) >> ARCH_PAGE_SHIFT;
int mnr = (total + nr) / (nr + 1);
LOG_D("nr = 0x%08xn", nr);
LOG_D("total = 0x%08xn", total);
LOG_D("mnr = 0x%08xn", mnr);
RT_ASSERT(mnr < total);
page_start = (struct page*)reg.start;
reg.start += (mnr << ARCH_PAGE_SHIFT);
page_addr = (void*)reg.start;
page_nr = (reg.end - reg.start) >> ARCH_PAGE_SHIFT;
}

這里rt-smart直接將一部分頁(yè)表空間分配給struct page去使用，有可能會(huì)造成頁(yè)面的浪費(fèi)。例如當(dāng)total=7，
nr=5時(shí)，mnr=2，也就是倆個(gè)頁(yè)表用于存儲(chǔ)page，五個(gè)頁(yè)表是真正可以被alloc_page申請(qǐng)的。但實(shí)際上五個(gè)頁(yè)表只需要一個(gè)頁(yè)表的空間就可以存放page結(jié)構(gòu)體了，相當(dāng)于浪費(fèi)了一個(gè)頁(yè)表。

rt_hw_mmu_map_init
#define USER_VADDR_START 0x100000000UL
#define IOREMAP_SIZE (1ul << 30)
int rt_hw_mmu_map_init(rt_mmu_info *mmu_info, void *v_address, rt_size_t size, rt_size_t *vtable, rt_size_t pv_off)
{
/ 代碼省略 /
mmu_info->vtable = vtable;
mmu_info->vstart = va_s;
mmu_info->vend = va_e;
mmu_info->pv_off = pv_off;
return 0;
}
mmu_info是一個(gè)全局變量，在調(diào)用rt_hw_mmu_map_init后，（USER_VADDR_START - IOREMAP_SIZE） ~ USER_VADDR_START 這片虛擬地址空間將來(lái)專(zhuān)門(mén)提供給ioremap來(lái)使用。也就是ioremap返回的虛擬地址區(qū)間就是
0xc0000000 ~ 0xFFFFFFFF

rt_hw_mmu_kernel_map_init
void rt_hw_mmu_kernel_map_init(rt_mmu_info *mmu_info, rt_size_t vaddr_start, rt_size_t size)
{
rt_size_t paddr_start = __UMASKVALUE(VPN_TO_PPN(vaddr_start, mmu_info->pv_off), PAGE_OFFSET_MASK);
rt_size_t va_s = GET_L1(vaddr_start);
rt_size_t va_e = GET_L1(vaddr_start + size - 1);
rt_size_t i;
for (i = va_s; i <= va_e; i++)
{
mmu_info->vtable[i] = COMBINEPTE(paddr_start, PAGE_ATTR_RWX | PTE_G | PTE_V);
paddr_start += L1_PAGE_SIZE;
}
rt_hw_cpu_tlb_invalidate();
}

這里將0x0 ~ 0x80000000的物理地址空間做了offset為0的一比一映射，且只使用了一級(jí)頁(yè)表。之后0x80000000之下的地址CPU都可以直接訪問(wèn)了。從頁(yè)表的屬性配置上看，這片區(qū)域是nocache的。

rt_hw_mmu_setup
#define KERNEL_VADDR_START 0x80000000
#define PV_OFFSET 0
struct mem_desc platform_mem_desc[] = {
{KERNEL_VADDR_START, KERNEL_VADDR_START + 0x10000000 - 1, KERNEL_VADDR_START + PV_OFFSET, NORMAL_MEM},
};
void rt_hw_mmu_setup(rt_mmu_info *mmu_info, struct mem_desc *mdesc, int desc_nr)
{
void *err;
for (size_t i = 0; i < desc_nr; i++)
{
size_t attr;
switch (mdesc->attr)
{
case NORMAL_MEM:
attr = MMU_MAP_K_RWCB;
break;
case NORMAL_NOCACHE_MEM:
attr = MMU_MAP_K_RWCB;
break;
case DEVICE_MEM:
attr = MMU_MAP_K_DEVICE;
break;
default:
attr = MMU_MAP_K_DEVICE;
}
rt_kprintf("vaddr start:%lx paddr_start:%lxn", mdesc->vaddr_start, mdesc->paddr_start);
err = _rt_hw_mmu_map(mmu_info, (void *)mdesc->vaddr_start, (void *)mdesc->paddr_start,
mdesc->vaddr_end - mdesc->vaddr_start + 1, attr);
mdesc++;
}
rt_hw_mmu_switch((void *)MMUTable);
}

這里首先將0x80000000 ~ 0x90000000這片區(qū)域做了offset為0的線(xiàn)性映射，映射使用的是三級(jí)頁(yè)表一頁(yè)一頁(yè)映射的，相當(dāng)于page的區(qū)域也被映射好了。之后調(diào)用rt_hw_mmu_switch配置SATP配置MMU的地址翻譯模式為SV39。STAP的mode被配置后，MMU就相當(dāng)于開(kāi)啟了。

將rtconfig.h中的PV_OFFSET改為非0值后系統(tǒng)無(wú)法啟動(dòng)，對(duì)比bsp/qemu-vexpress-a9中board.c里關(guān)于頁(yè)表的配置這塊兒應(yīng)該還是有問(wèn)題的。

rt_hw_tick_init
int rt_hw_tick_init(void)
{
/* Read core id /
// unsigned long core_id = current_coreid();
unsigned long interval = 1000/RT_TICK_PER_SECOND;
/ Clear the Supervisor-Timer bit in SIE /
clear_csr(sie, SIP_STIP);
/ calculate the tick cycles /
// tick_cycles = interval * sysctl_clock_get_freq(SYSCTL_CLOCK_CPU) / CLINT_CLOCK_DIV / 1000ULL - 1;
tick_cycles = 40000;
/ Set timer /
sbi_set_timer(get_ticks() + tick_cycles);
/ Enable the Supervisor-Timer bit in SIE */
set_csr(sie, SIP_STIP);
return 0;
}

這里使用的是riscv中的mtime。mtime是riscv中定義的一個(gè)64位的系統(tǒng)計(jì)時(shí)器，它被要求工作在常開(kāi)的時(shí)鐘域下。這里使用以下指令讀取mtime的值

static uint64_t get_ticks()
{
asmvolatile (
"rdtime %0"
: "=r"(time_elapsed));
return time_elapsed;
}
補(bǔ)充知識(shí)，在qemu中這個(gè)時(shí)鐘的獲取來(lái)源如下

static inline int64_t get_clock_realtime(void)
{
struct timeval tv;
gettimeofday(&tv, NULL);
return tv.tv_sec * 1000000000LL + (tv.tv_usec * 1000);
}

sbi_set_timer并不是設(shè)置timer本身的值，而是設(shè)置機(jī)器模式計(jì)時(shí)器比較值寄存器MTIMECMPH, MTIMECMPL的值，
當(dāng)系統(tǒng)計(jì)時(shí)器的值小于等于 {M/STIMECMPH[31:0],M/STIMECMPL[31:0]}的值時(shí)不產(chǎn)生中斷；當(dāng)系統(tǒng)計(jì)時(shí)器的值大于 {M/STIMECMPH[31:0],M/STIMECMPL[31:0]} 的值時(shí) CLINT產(chǎn)生對(duì)應(yīng)的計(jì)時(shí)器中斷。

它的配置過(guò)程為rt-smart將比較寄存器的配置按規(guī)則組織為sbi_call的指令，將指令類(lèi)型指令參數(shù)等放入cpu的a0~a7的寄存器，然后調(diào)用ecall指令使cpu陷入M態(tài)。

sbi_set_timer->SBI_CALL1(SBI_SET_TIMER, 0, val)->sbi_call

static __inline struct sbi_ret
sbi_call(uint64_t arg7, uint64_t arg6, uint64_t arg0, uint64_t arg1,
uint64_t arg2, uint64_t arg3, uint64_t arg4)
{
struct sbi_ret ret;
register uintptr_t a0 __asm("a0") = (uintptr_t)(arg0);
register uintptr_t a1 __asm("a1") = (uintptr_t)(arg1);
register uintptr_t a2 __asm("a2") = (uintptr_t)(arg2);
register uintptr_t a3 __asm("a3") = (uintptr_t)(arg3);
register uintptr_t a4 __asm("a4") = (uintptr_t)(arg4);
register uintptr_t a6 __asm("a6") = (uintptr_t)(arg6);
register uintptr_t a7 __asm("a7") = (uintptr_t)(arg7);
__asm __volatile(
"ecall"
: "+r"(a0), "+r"(a1)
: "r"(a2), "r"(a3), "r"(a4), "r"(a6), "r"(a7)
: "memory");
ret.error = a0;
ret.value = a1;
return (ret);
}

CPU陷入M態(tài)后，opensbi會(huì)處理這個(gè)ecall產(chǎn)生的異常。獲取內(nèi)核放到寄存器中參數(shù)，把新的值賦值給比較值寄存器，并清除計(jì)時(shí)器中斷

void sbi_timer_event_start(u64 next_event)
{
if (timer_dev && timer_dev->timer_event_start)
timer_dev->timer_event_start(next_event);
csr_clear(CSR_MIP, MIP_STIP);
csr_set(CSR_MIE, MIP_MTIP);
}

其他

之后的初始化都是原先rt-thread中的內(nèi)容了，感興趣的讀者可以自行查閱rt-thread官方的《RT-THREAD 編程指南》手冊(cè)來(lái)學(xué)習(xí)。另外需要注意的點(diǎn)在plic_init中，plic的寄存器的基地址沒(méi)有使用ioremap就直接使用了，這是因?yàn)樯厦婷枋龅?x0 ~ 0x80000000的物理地址空間被做了offset為0的一比一映射。

rt-smart的ioremap實(shí)現(xiàn)
void *rt_ioremap(void *paddr, size_t size)
{
return _ioremap_type(paddr, size, MM_AREA_TYPE_PHY);
}
void *rt_ioremap_nocache(void *paddr, size_t size)
{
return _ioremap_type(paddr, size, MM_AREA_TYPE_PHY);
}
void *rt_ioremap_cached(void *paddr, size_t size)
{
return _ioremap_type(paddr, size, MM_AREA_TYPE_PHY_CACHED);
}

rt-smart中的ioremap實(shí)際上只分了倆種映射方式，分別是cache和nocache。在當(dāng)前的qemu-virt64-riscv里，cache的屬性沒(méi)有配置到頁(yè)表中，我也沒(méi)有查qemu的頁(yè)表支不支持配置cache，感興趣的讀者請(qǐng)參考C906的相關(guān)代碼
libcpu/risc-v/t-head/c906/riscv_mmu.h

/* C-SKY extend /
#define PTE_SEC (1UL << 59) / Security /
#define PTE_SHARE (1UL << 60) / Shareable /
#define PTE_BUF (1UL << 61) / Bufferable /
#define PTE_CACHE (1UL << 62) / Cacheable /
#define PTE_SO (1UL << 63) / Strong Order */
#define MMU_MAP_K_DEVICE (PAGE_ATTR_RWX | PTE_V | PTE_G | PTE_SO | PTE_BUF | PTE_A | PTE_D)
#define MMU_MAP_K_RWCB (PAGE_ATTR_RWX | PTE_V | PTE_G | PTE_SHARE | PTE_BUF | PTE_CACHE | PTE_A | PTE_D)
static void *_ioremap_type(void *paddr, size_t size, int type)
{
void *v_addr = NULL;
size_t attr;
switch (type)
{
case MM_AREA_TYPE_PHY:
attr = MMU_MAP_K_DEVICE;
break;
case MM_AREA_TYPE_PHY_CACHED:
attr = MMU_MAP_K_RWCB;
break;
default:
return v_addr;
}
rt_mm_lock();
v_addr = rt_hw_mmu_map(&mmu_info, 0, paddr, size, attr);
if (v_addr)
{
int ret = lwp_map_area_insert(&k_map_area, (size_t)v_addr, size, type);
if (ret != 0)
{
_iounmap_range(v_addr, size);
v_addr = NULL;
}
}
rt_mm_unlock();
return v_addr;
}

__ioremap_type中會(huì)記錄頁(yè)表要配置的屬性然后調(diào)用rt_hw_mmu_map進(jìn)行映射。之后會(huì)將映射得到的虛擬地址插入到k_map_area中。

void *_rt_hw_mmu_map(rt_mmu_info *mmu_info, void *v_addr, void *p_addr, rt_size_t size, rt_size_t attr)
{
/ 代碼省略 /
if (v_addr)
{
/ 代碼省略 /
}
else
{
vaddr = find_vaddr(mmu_info, pages);
}
if (vaddr)
{
ret = __rt_hw_mmu_map(mmu_info, (void *)vaddr, p_addr, pages, attr);
if (ret == 0)
{
rt_hw_cpu_tlb_invalidate();
return (void *)(vaddr | GET_PF_OFFSET((rt_size_t)p_addr));
}
}
return 0;
}

ioremap傳入的虛擬地址是0，所以這里先需要調(diào)用find_vaddr得到一個(gè)可用的虛擬地址。另一個(gè)傳入find_vaddr的參數(shù)pages代表要要映射的物理內(nèi)存區(qū)域需要多少個(gè)page(4K).

static size_t find_vaddr(rt_mmu_info *mmu_info, int pages)
{
size_t loop_pages;
size_t va;
size_t find_va = 0;
int n = 0;
size_t i;
loop_pages = (mmu_info->vend - mmu_info->vstart) ? (mmu_info->vend - mmu_info->vstart) : 1;
loop_pages <<= (ARCH_INDEX_WIDTH * 2);
va = mmu_info->vstart;
va <<= (ARCH_PAGE_SHIFT + ARCH_INDEX_WIDTH * 2);
for (i = 0; i < loop_pages; i++, va += ARCH_PAGE_SIZE) {
if (_rt_hw_mmu_v2p(mmu_info, (void *)va)) {
n = 0;
find_va = 0;
continue;
}
if (!find_va) {
find_va = va;
}
n++;
if (n >= pages) {
return find_va;
}
}
return 0;
}

這里會(huì)從mmu_info->vstart的虛擬地址開(kāi)始找，這個(gè)地址就是最前面提到的0xC0000000。從0XC0000000開(kāi)始一個(gè)page一個(gè)page的去找，看對(duì)應(yīng)的虛擬地址有沒(méi)有被映射。如果沒(méi)有，那么將va賦值給find_va。

之后會(huì)繼續(xù)往后查找看能不能找到連續(xù)的虛擬內(nèi)存空間大小可以滿(mǎn)足ioremap需要的大小。如果滿(mǎn)足大小最終就返回找到的虛擬地址?？偨Y(jié)這個(gè)過(guò)程就是尋找一塊連續(xù)的沒(méi)有被映射的大小滿(mǎn)足的虛擬地址空間。