C++内存映射文件居然是这样?!

Wesley13
• 阅读 532

内存映射文件大家都时不时听过,但它到底是个什么?赶紧来看看吧

C++内存映射文件居然是这样?!

内存映射文件到底是干嘛的呢?让我们先来思考下面几个问题:

如果您想读的内容大于系统分配的内存块怎么办?如果您想搜索的字符串刚好超过内存块的边界又该如何处理?对于第一个问题,您也许会说,只要不断地读就不解决了吗。至于第二个问题,您又会说在内存块的边界处做一些特别的处理,譬如放上一些标志位就可以了。原理上确实是行得通,但是这随问题复杂程度加深而显得非常难以处理。其中的第二个问题是有名的边界判断问题,程序中许许多多的错误都是由此引起。想一想,如果我们能够分配一个能够容纳整个文件的大内存块该多好啊,这样这两个问题不都迎刃而解了吗?是的,WIN32的内存映射文件确实允许我们分配一个装得下现实中可能存在的足够大的文件的内存。

#include <iostream>
#include <fcntl.h>
#include <io.h>
#include <afxwin.h>
using namespace std;

int main()
{
    /开始
    //获得文件句柄
    HANDLE hFile=CreateFile(
        "c:\\test.dat",   //文件名
        GENERIC_READ|GENERIC_WRITE, //对文件进行读写操作
        FILE_SHARE_READ|FILE_SHARE_WRITE,
        NULL,     
        OPEN_EXISTING,  //打开已存在文件
        FILE_ATTRIBUTE_NORMAL,   
        0);  

    //返回值size_high,size_low分别表示文件大小的高32位/低32位
    DWORD size_low,size_high;
    size_low= GetFileSize(hFile,&size_high); 

    //创建文件的内存映射文件。   
    HANDLE hMapFile=CreateFileMapping(  
        hFile,     
        NULL,   
        PAGE_READWRITE,  //对映射文件进行读写
        size_high,    
        size_low,   //这两个参数共64位,所以支持的最大文件长度为16EB
        NULL);   
    if(hMapFile==INVALID_HANDLE_VALUE)   
    {   
        AfxMessageBox("Can't create file mapping.Error%d:\n",   GetLastError());   
        CloseHandle(hFile);
        return 0;   
    }  

    //把文件数据映射到进程的地址空间
    void* pvFile=MapViewOfFile(
        hMapFile, 
        FILE_MAP_READ|FILE_MAP_WRITE, 
        0,
        0,
        0);  
    unsigned char *p=(unsigned char*)pvFile; 

    //至此,就获得了外部文件test.dat在内存地址空间的映射,
    //下面就可以用指针p"折磨"这个文件了
    CString s;
    p[size_low-1]='!'; 
    p[size_low-2]='X'; //修改该文件的最后两个字节(文件大小<4GB高32位为0)
    s.Format("%s",p);
    //读文件的最后3个字节
    AfxMessageBox(s);


    //结束
    //UnmapViewOfFile(pvFile); //撤销映射
    //CloseHandle(hFile); //关闭文件

    return 0;
}

#include <iostream>
#include <fcntl.h>
#include <io.h>
#include <afxwin.h>
using namespace std;
 
int main()
{
    //开始
    //获得文件句柄
    HANDLE hFile=CreateFile(
        "c:\\test.dat",   //文件名
        GENERIC_READ|GENERIC_WRITE, //对文件进行读写操作
        FILE_SHARE_READ|FILE_SHARE_WRITE,
        NULL,     
        OPEN_EXISTING,  //打开已存在文件
        FILE_ATTRIBUTE_NORMAL,   
        0);  
 
    //返回值size_high,size_low分别表示文件大小的高32位/低32位
    DWORD size_low,size_high;
    size_low= GetFileSize(hFile,&size_high); 
 
    //创建文件的内存映射文件。   
    HANDLE hMapFile=CreateFileMapping(  
        hFile,     
        NULL,   
        PAGE_READWRITE,  //对映射文件进行读写
        size_high,    
        size_low,   //这两个参数共64位,所以支持的最大文件长度为16EB
        NULL);   
    if(hMapFile==INVALID_HANDLE_VALUE)   
    {   
        AfxMessageBox("Can't create file mapping.Error%d:\n",   GetLastError());   
        CloseHandle(hFile);
        return 0;   
    }  
 
    //把文件数据映射到进程的地址空间
    void* pvFile=MapViewOfFile(
        hMapFile, 
        FILE_MAP_READ|FILE_MAP_WRITE, 
        0,
        0,
        0);  
    unsigned char *p=(unsigned char*)pvFile; 
 
    //至此,就获得了外部文件test.dat在内存地址空间的映射,
    //下面就可以用指针p"折磨"这个文件了
    CString s;
    p[size_low-1]='!'; 
    p[size_low-2]='X'; //修改该文件的最后两个字节(文件大小<4GB高32位为0)
    s.Format("%s",p);
    //读文件的最后3个字节
    AfxMessageBox(s);
 
 
    //结束
    //UnmapViewOfFile(pvFile); //撤销映射
    //CloseHandle(hFile); //关闭文件
 
    return 0;
}

往小了说,只要你把这几个API函数搞定了,一般的内存映射问题就可以解决了。。

利用内存映射文件您可以认为操作系统已经为您把文件全部装入了内存,然后您只要移动文件指针进行读写即可了。这样您甚至不需要调用那些分配、释放内存块和文件输入/输出的API函数,另外您可以把这用作不同的进程之间共享数据的一种办法。运用内存映射文件实际上没有涉及实际的文件操作,它更象为每个进程保留一个看得见的内存空间。

至于把内存映射文件当成进程间共享数据的办法来用,则要加倍小心,因为您不得不处理数据的同步问题,否则您的应用程序也许很可能得到过时或错误的数据甚至崩溃。本课中我们将主要讲述内存映射文件,将不涉及进程间的同步。WIN32中的内存映射文件应用非常广泛,譬如:即使是系统的核心模块—PE格式文件装载器也用到了内存映射文件,因为PE格式的文件并不是一次性加载到内存中来的,譬如他它在首次加载时只加载必需加载的部分,而其他部分在用到时再加载,这正好可以利用到内存映射文件的长处。实际中的大多数文件存取都和PE加载器类似,所以您在处理该类问题时也应该充分利用内存映射文件。

以下介绍如何使用CreateFileMapping,MapViewOfFile创建内存映射文件,如何向内存映射文件中写入数据,读取数据。

#include <iostream>
#include <assert.h>
 
#include <Windows.h>
#include <WinBase.h>
 
#define BAD_POS 0xFFFFFFFF // returned by SetFilePointer and GetFileSize
#define SUCCESS 0
using namespace std;
 
 
typedef DWORD mmf_share_mode;
typedef DWORD mmf_access_mode;
typedef DWORD mmf_flags;
 
 
int main(){
    cout<<"create memorymapfile..."<<endl;
    const char* shared_name = "testMmf";
    const char* file_name = "d:\\testMmf.mmf";
    const DWORD mmf_size = 512*1024;
    //存取模式
    mmf_access_mode access_mode = (GENERIC_READ|GENERIC_WRITE);
    //共享模式
    mmf_share_mode share_mode = FILE_SHARE_READ | FILE_SHARE_WRITE;
    //文件属性
    mmf_flags flags = FILE_FLAG_SEQUENTIAL_SCAN;//|FILE_FLAG_WRITE_THROUGH|FILE_FLAG_NO_BUFFERING;
    DWORD error_code;
     
    //创建文件
    HANDLE mmHandle =
        CreateFile(file_name,
             access_mode, 
             share_mode, 
             NULL, 
             OPEN_ALWAYS,
             flags,
             NULL);
 
    if (mmHandle == INVALID_HANDLE_VALUE) {
        error_code = GetLastError();
        cout<<"创建mmf失败:"<<error_code<<endl;
    }else{
        DWORD high_size;
        DWORD file_size = GetFileSize(mmHandle, &high_size);
        if (file_size == BAD_POS && (error_code = GetLastError()) != SUCCESS) {
            CloseHandle(mmHandle);            
            cout<<"error:"<<error_code<<endl;
        }
        cout<<"create mmf sucessfully"<<endl;
 
        //assert(file_size == 0);
 
        DWORD size_high = 0;
        //创建文件映射,如果要创建内存页面文件的映射,第一个参数设置为INVALID_HANDLE_VALUE
        HANDLE mmfm = CreateFileMapping(mmHandle,
            NULL,
            PAGE_READWRITE,
            size_high, 
            mmf_size, 
            shared_name);
 
        error_code = GetLastError();
        if(SUCCESS != error_code){
            cout<<"createFileMapping error"<<error_code<<endl;
        }else{
            if(mmfm == NULL){
                if(mmHandle != INVALID_HANDLE_VALUE){
                    CloseHandle(mmHandle);
                }
            }else{
                //char write_chars[] = "hello chars";
                //size_t position = 0;
                //DWORD written = 0;
                //const size_t write_chars_size = sizeof(write_chars);
                //WriteFile(mmHandle,write_chars,write_chars_size,&written,NULL);
                size_t view_size = 1024*256;
                DWORD view_access = FILE_MAP_ALL_ACCESS;
 
                //获得映射视图
                char* mmfm_base_address = (char*)MapViewOfFile(mmfm,view_access,0,0,view_size);
                if(mmfm_base_address == NULL){
                    error_code = GetLastError();
                    if(error_code != SUCCESS){
                        cout<<"error code "<<error_code<<endl;
                    }
                }else{
                    char write_chars[] = "hello chars";
                    const size_t write_chars_size = sizeof(write_chars);
                    //向内存映射视图中写数据
                    CopyMemory((PVOID)mmfm_base_address, write_chars, write_chars_size);
 
                    //memcpy(mmfm_base_address,write_chars,write_chars_size);
                     
                    size_t position = 0;
                    char read_chars[write_chars_size];
 
                    //读数据
                    memcpy(read_chars,mmfm_base_address,write_chars_size);
                    cout<<"read chars "<<read_chars<<endl;
                     
                    //卸载映射
                    UnmapViewOfFile(mmfm_base_address);
                    //关闭内存映射文件
                    CloseHandle(mmfm);
                    //关闭文件
                    CloseHandle(mmHandle);
                }
            }
        }
    }
 
     
 
    system("pause");
    exit(0);
    return EXIT_SUCCESS;
}

内存映射文件本身还是有一些局限性的,譬如一旦您生成了一个内存映射文件,那么您在那个会话期间是不能够改变它的大小的。所以内存映射文件对于只读文件和不会影响其大小的文件操作是非常有用的。当然这并不意味着对于会引起改变其大小的文件操作就一定不能用内存影射文件的方法,您可以事先估计操作后的文件的可能大小,然后生成这么大小一块的内存映射文件,然后文件的长度就可以增长到这么一个大小。

#include <iostream>
#include <assert.h>
 
#include <Windows.h>
#include <WinBase.h>
 
#define BAD_POS 0xFFFFFFFF // returned by SetFilePointer and GetFileSize
#define SUCCESS 0
using namespace std;
 
 
typedef DWORD mmf_share_mode;
typedef DWORD mmf_access_mode;
typedef DWORD mmf_flags;
 
 
int main(){
    cout<<"create memorymapfile..."<<endl;
    const char* shared_name = "testMmf";
    const char* file_name = "d:\\testMmf.mmf";
    const DWORD mmf_size = 512*1024;
    //存取模式
    mmf_access_mode access_mode = (GENERIC_READ|GENERIC_WRITE);
    //共享模式
    mmf_share_mode share_mode = FILE_SHARE_READ | FILE_SHARE_WRITE;
    //文件属性
    mmf_flags flags = FILE_FLAG_SEQUENTIAL_SCAN;//|FILE_FLAG_WRITE_THROUGH|FILE_FLAG_NO_BUFFERING;
    DWORD error_code;
     
    //创建文件
    HANDLE mmHandle =
        CreateFile(file_name,
             access_mode, 
             share_mode, 
             NULL, 
             OPEN_ALWAYS,
             flags,
             NULL);
 
    if (mmHandle == INVALID_HANDLE_VALUE) {
        error_code = GetLastError();
        cout<<"创建mmf失败:"<<error_code<<endl;
    }else{
        DWORD high_size;
        DWORD file_size = GetFileSize(mmHandle, &high_size);
        if (file_size == BAD_POS && (error_code = GetLastError()) != SUCCESS) {
            CloseHandle(mmHandle);            
            cout<<"error:"<<error_code<<endl;
        }
        cout<<"create mmf sucessfully"<<endl;
 
        //assert(file_size == 0);
 
        DWORD size_high = 0;
        //创建文件映射,如果要创建内存页面文件的映射,第一个参数设置为INVALID_HANDLE_VALUE
        HANDLE mmfm = CreateFileMapping(mmHandle,
            NULL,
            PAGE_READWRITE,
            size_high, 
            mmf_size, 
            shared_name);
 
        error_code = GetLastError();
        if(SUCCESS != error_code){
            cout<<"createFileMapping error"<<error_code<<endl;
        }else{
            if(mmfm == NULL){
                if(mmHandle != INVALID_HANDLE_VALUE){
                    CloseHandle(mmHandle);
                }
            }else{
                //char write_chars[] = "hello chars";
                //size_t position = 0;
                //DWORD written = 0;
                //const size_t write_chars_size = sizeof(write_chars);
                //WriteFile(mmHandle,write_chars,write_chars_size,&written,NULL);
                size_t view_size = 1024*256;
                DWORD view_access = FILE_MAP_ALL_ACCESS;
 
                //获得映射视图
                char* mmfm_base_address = (char*)MapViewOfFile(mmfm,view_access,0,0,view_size);
                if(mmfm_base_address == NULL){
                    error_code = GetLastError();
                    if(error_code != SUCCESS){
                        cout<<"error code "<<error_code<<endl;
                    }
                }else{
                    char write_chars[] = "hello chars";
                    const size_t write_chars_size = sizeof(write_chars);
                    //向内存映射视图中写数据
                    CopyMemory((PVOID)mmfm_base_address, write_chars, write_chars_size);
 
                    //memcpy(mmfm_base_address,write_chars,write_chars_size);
                     
                    size_t position = 0;
                    char read_chars[write_chars_size];
 
                    //读数据
                    memcpy(read_chars,mmfm_base_address,write_chars_size);
                    cout<<"read chars "<<read_chars<<endl;
                     
                    //卸载映射
                    UnmapViewOfFile(mmfm_base_address);
                    //关闭内存映射文件
                    CloseHandle(mmfm);
                    //关闭文件
                    CloseHandle(mmHandle);
                }
            }
        }
    }
 
     
 
    system("pause");
    exit(0);
    return EXIT_SUCCESS;
}

最后还是要推荐下小编的C/C++学习群:710520381,邀请码(柳猫),不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的C/C++和0基础入门教程,欢迎初学和进阶中的小伙伴。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这