城市直播房产教育博客汽车
投稿投诉
汽车报价
买车新车
博客专栏
专题精品
教育留学
高考读书
房产家居
彩票视频
直播黑猫
投资微博
城市上海
政务旅游

深入剖析虚拟文件系统

3月3日 断龙塔投稿
  1。前言
  Linux采用VirtualFilesystem(VFS)的概念,通过内核在物理存储介质上的文件系统和用户之间建立起一个虚拟文件系统的软件抽象层,使得Linux能够支持目前绝大多数的文件系统,不论它是windows、unix还是其他一些系统的文件系统,都可以挂载在Linux上供用户使用。
  VFS,VirtualFileSystem虚拟文件系统,也称为虚拟文件系统开关(VirtualFilesystemSwitch),就是采用标准的Linux系统调用读写位于不同物理介质上的不同文件系统,即为各类文件系统提供了一个统一的操作界面和应用编程接口,VFS是一个内核软件层。
  VFS是一个可以让open()、read()、write()等系统调用不用关心底层的存储介质和文件系统类型就可以工作的抽象层:
  2。VFS结构
  这里以Ext4文件系统示例
  VFS中包含着向物理文件系统转换的一系列数据结构,如VFS超级块(SuperBlock)、VFS的Inode、各种操作函数的转换入口等。Linux中VFS依靠四个主要的数据结构来描述其结构信息,分别为超级块、索引结点、目录项和文件对象,这些数据结构大都会与磁盘上的对应上。
  VFS对每种类型的对象都定义了一组必须实现的操作。这些类型的每一个对象都包含了一个指向函数表的指针。函数表列出了实际上实现特定对象的操作函数。超级块(SuperBlock):超级块对象表示一个文件系统。它存储一个已安装的文件系统的控制信息,包括文件系统名称(比如Ext2)、文件系统的大小和状态、块设备的引用和元数据信息(比如空闲列表等等)。超级块与磁盘上文件系统的超级块对应。所有超级块对象都以双向循环链表的形式链接在一起,对象的自旋锁(sblock)保护链表免受多处理器系统上的同时访问。索引结点(Inode):索引结点对象存储文件的相关元数据信息,例如:文件大小、设备标识符、用户标识符、用户组标识符等等。Inode分为两种:一种是VFS的Inode,一种是具体文件系统的Inode。前者在内存中,后者在磁盘中。所以每次其实是将磁盘中的Inode调进填充内存中的Inode,这样才是算使用了磁盘文件Inode。当创建一个文件的时候,就给文件分配了一个Inode。一个Inode只对应一个实际文件,一个文件也会只有一个Inode(UnixLinux系统中目录也是一种文件,打开目录实际上就是打开目录文件。目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:所包含文件的文件名,以及该文件名对应的inode号码)。从文件的角度来看,目录就是一个特殊的文件目录项(Dentry):引入目录项对象的概念主要是出于方便查找文件的目的。不同于前面的两个对象,目录项对象只存在于内存中,实际对应的是磁盘的目录innode对象。VFS在查找的时候,根据一层一层的目录项找到对应的每个目录项的Inode,那么沿着目录项进行操作就可以找到最终的文件。文件对象(File):文件对象描述的是进程已经打开的文件。因为一个文件可以被多个进程打开,所以一个文件可以存在多个文件对象,但多个文件对象其对应的索引节点和目录项对象肯定是惟一的2。1SuperBlock
  SuperBlock表示特定加载的文件系统,用于描述和维护文件系统的状态,由VFS定义,但里面的数据根据具体的文件系统填充。每个SuperBlock代表了一个具体的磁盘分区,里面包含了当前磁盘分区的信息,如文件系统类型、剩余空间等。SuperBlock的一个重要成员是链表slist,包含所有修改过的INode,使用该链表很容易区分出来哪个文件被修改过,并配合内核线程将数据写回磁盘。SuperBlock的另一个重要成员是sop,定义了针对其INode的所有操作方法,例如标记、释放索引节点等一系列操作。https:elixir。bootlin。comlinuxv6。0sourceincludelinuxfs。hL1451结构体已删减structsuperblock{指向链表的指针设备标识符以字节为单位的块大小文件大小上限文件系统类型SuperBlock操作函数,writeinode、putinode等磁盘限额函数根目录}
  2。2DEntry和INode
  Linux文件系统会为每个文件都分配两个数据结构,目录项(DEntry,DirectoryEntry)和索引节点(INode,IndexNode)。
  DEntry用来保存文件路径和INode之间的映射,从而支持在文件系统中移动。DEntry由VFS维护,所有文件系统共享,不和具体的进程关联。dentry对象从根目录开始,每个dentry对象都会持有自己的子目录和文件,这样就形成了文件树。举例来说,如果要访问homeccsa。txt文件并对他操作,系统会解析文件路径,首先从根目录的dentry对象开始访问,然后找到home目录,其次是ccs,最后找到a。txt的dentry结构体,该结构体里面dinode字段就对应着该文件。https:elixir。bootlin。comlinuxv6。0sourceincludelinuxdcache。hL81结构体已删减structdentry{父目录文件名称关联的父目录中的子目录和文件当前目录中的子目录和文件}
  每一个dentry对象都持有一个对应的inode对象,表示Linux中一个具体的目录项或文件。INode包含管理文件系统中的对象所需的所有元数据,以及可以在该文件对象上执行的操作。https:elixir。bootlin。comlinuxv6。0sourceincludelinuxfs。hL593结构体已删减structinode{文件权限及类型inode操作函数,如create,mkdir,lookup,rename等所属的SuperB文件大小文件最后访问时间文件最后修改时间文件元数据最后修改时间(包括文件名称)文件操作函数,open、write等文件系统的私有数据}
  虚拟文件系统维护了一个DEntryCache缓存,用来保存最近使用的DEntry,加速查询操作。当调用open()函数打开一个文件时,内核会第一时间根据文件路径到DEntryCache里面寻找相应的DEntry,找到了就直接构造一个file对象并返回。如果该文件不在缓存中,那么VFS会根据找到的最近目录一级一级地向下加载,直到找到相应的文件。期间VFS会缓存所有被加载生成的dentry。
  INode存储的数据存放在磁盘上,由具体的文件系统进行组织,当需要访问一个INode时,会由文件系统从磁盘上加载相应的数据并构造INode。一个INode可能被多个DEntry所关联,即相当于为某一文件创建了多个文件路径(通常是为文件建立硬链接)。对于inode结构而言,可能有三种主要情况:
  存在内存中,未关联到任何文件,也不处于活动使用状态;
  存在内存中,正在由一个或多个进程使用,正在由一个或多个进程使用,通常表示一个文件。两个计数器(icount和inlink)的值都必须大于0。文件内容和inode元数据都与底层块设备上的信息相同。也就是表示从上一次与介质同步依赖,该inode没有改变过;
  处于活动使用状态。其数据内容已经改变,与存储介质上的内容不同。这种状态的inode被称作脏的。
  2。3fd与file
  每个进程都持有一个fd〔〕数组,数组里面存放的是指向file结构体的指针,同一进程的不同fd可以指向同一个file对象;
  file是内核中的数据结构,表示一个被进程打开的文件,和进程相关联。当应用程序调用open()函数的时候,VFS就会创建相应的file对象。它会保存打开文件的状态,例如文件权限、路径、偏移量等等。https:elixir。bootlin。comlinuxv6。0sourceincludelinuxfs。hL940结构体已删减structfile{}https:elixir。bootlin。comlinuxv6。0sourceincludelinuxpath。hL8structpath{}3。抽象层VFS到实现层文件系统3。1挂载
  VFS可以管理各种文件系统,那么VFS和文件系统怎么关联的呢?给用户如何展示的呢?通过挂载。
  如下图所示,该系统根文件系统是Ext3文件系统,而在其mnt目录下面又分别挂载了Ext4文件系统和XFS文件系统。最后形成了一个由多个文件系统组成的文件系统树。
  挂载是在用户态发起的命令,也就是我们使用的mount命令,该命令执行的时候需要指定文件系统的类型(这里假设是Ext2)和文件系统数据的位置(也就是device)。通过这些关键信息,VFS就可以完成Ext2文件系统的初始化,并将其关联到当前已经存在的文件系统当中,也就是建立起上面所示的文件系统树。
  挂载的过程中,最重要的数据结构就是vfsmount,vfsmount代表的是一个挂载点。其次再是dentry和inode,这两个都是对文件的表示,且都会缓存在哈希表中以提高查找的效率。
  其中inode是对磁盘上文件的唯一表示,其中包含文件的元数据(管理数据)和文件数据等内容,但不含文件名称。而dentry则是为了Linux内核中查找文件方便虚拟出来的一个数据结构,其中包含文件名称、子目录(如果存在的话)和关联的inode等信息。
  dentry结构体最为关键,其维护了内核中的文件目录树。其中里面比较重要的几个结构体分别是dname、dhash和dsubdirs。其中dname代表一个路径节点的名称(文件夹名称)、dhash则用于构建哈希表,dsubdirs则是下级目录(或文件)的列表。这样,通过dentry就可以形成一个非常复杂的目录树。3。2文件处理流程
  文件处理流程包括两步:我们在访问一个文件之前首先要打开它(open)文件访问,然后进行文件的读写操作(read或者write)。
  我们知道,在用户态打开一个文件是返回的是一个文件描述符,其实也就是一个整数值;同时,访问文件也是通过这个文件描述符进行的。那么操作系统是怎么通过这个整数值实现不同类型文件系统的访问呢?不同文件系统的差异其实就是inode中初始化的函数指针的差异。
  在Linux操作系统中,文件的打开必须要与进程(或者线程)关联,也就是说一个打开的文件必须隶属于某个进程。
  在linux内核当中一个进程通过taskstruct结构体描述,而打开的文件则用file结构体描述,打开文件的过程也就是对file结构体的初始化的过程。在打开文件的过程中会将inode部分关键信息填充到file中,特别是文件操作的函数指针。在taskstruct中保存着一个file类型的数组,而用户态的文件描述符其实就是数组的下标。这样通过文件描述符就可以很容易到找到file,然后通过其中的函数指针访问数据。
  我们以Ext2文件系统的写数据为例来看看文件处理流程和各个层级之间的关系,如下图。
  在调用用户态的写数据接口的时候,需要传入文件描述符。内核根据文件描述符找到file,然后调用函数接口(filefopwrite)文件磁盘数据。其中file结构体的fop指针就是在打开文件的时候通过inode初始化的。4。总结
  虚拟文件系统是操作系统中非常重要的一层抽象,其主要作用在于让上层的软件,能够用统一的方式,与底层不同的文件系统沟通。在操作系统与底层的各类文件系统之间,虚拟文件系统提供了标准的操作接口,让操作系统能够很快地支持新的文件系统。也因为VFS的支持,众多不同的实际文件系统才能在Linux中共存,跨文件系统的操作才能实现。
  附上一张各组件交互图吧
  参考资料:
  《深入理解Linux内核》第三版
  《Linux虚拟文件系统》
投诉 评论 转载

我被申通快递给耍了今天遇到一件事情很蹊跷。10月31日我从京东商城上订购了两张靠背椅子,抱着对现在成熟电商的信任,没太关注到货情况,就是过了7天了(从10月31日至11月6日)居然毫无任何消息(……中国与缅甸交界的边境小村(乡愁)我家乡在祖国遥远的滇西中缅边境腾冲的一个小镇,离省会昆明700公里,这里山高云低,气候四季如春。高耸入云的高黎贡山贯穿全境,被喻腾冲人民的神山。野香蕉这里物产丰富,……深秋穿越华州少华山五峰穿越少华五峰突如其来的疫情,让整个城市都静止了,一觉醒来,全城戒严了。刚刚和鹰队说好的下周见变成了一个不知何时才能兑现的承诺。乖乖的呆在家里,每天按时的去做核酸是我能回馈……空瓶和无限回购的产品!郑明明金致焕颜淡纹系列好用吗?对于正在热火团购的双十一来说,囤货对于精致护肤人来说是一件势在必得的事情。我大概自从去年冬天用了金致焕颜套组以后,有一种要盲目成为郑明明金致焕颜系列粉丝的倾向。而今天,只想发自……42投22中,三分28中14!难怪他敢拒绝太阳4年6000万42投22中,三分28中14!难怪他敢拒绝太阳4年6000万,这就是底气北京时间11月2日,NBA常规赛继续火热进行,在此前结束的一场西部强强对话中,坐镇主场的菲尼克斯太……米切尔38123竟无缘今日最佳?因为东契奇今日一战创造七项纪一场比赛的输赢在绝大部分情况下都取决于球队当家球星能否有出色的发挥。今天NBA照常进行了多场精彩的比赛,经过一番鏖战,就有诸多球星打出了绝佳的表现,锡安、乐福、普尔、库里、康宁……刷爆热搜!iPhone13升级iOS16。2beta3,系统昨天苹果发布了最新的iOS16。2beta3版本,经过前面两个版本的升级迭代后,带来了重大更新优化,体验也是越来越好了,那么iPhone13升级ios16。2beta3体验到底……柴油全部被纳入危化品管理市场影响几何?本报记者陈家运北京报道11月7日,应急管理部联合工业和信息化部、公安部、生态环境部、交通运输部、农业农村部、卫生健康委、市场监管总局、铁路局、民航局发布2022年第8号文……想要得到好运气其实很简单头条创作挑战赛我们都在希望自己能得到好运气,事事顺心如意。都觉得很难,其实想要得到好运气其实也很简单!只要你的付出足够让人肯定你的价值,你就一定能比那些吝于付出的人得到更……苹果借郑州富士康转移矛盾?更深层的矛盾反倒裸露了出来据媒体报道,近期苹果公司公告称,因富士康郑州工厂产能减少,其手机产品出货量将低于预期,引发市场争议。此前有媒体报道,苹果手机销量下滑,而为避免对中国产能的过度依赖,这些年来苹果……深入剖析虚拟文件系统1。前言Linux采用VirtualFilesystem(VFS)的概念,通过内核在物理存储介质上的文件系统和用户之间建立起一个虚拟文件系统的软件抽象层,使得Linux能……李在镕正式出任三星电子会长华为发布前三季度经营业绩李在镕正式出任三星电子会长。库克表示苹果已放慢招聘步伐。华为因侵害发明专利权起诉亚马逊。马斯克称不打算在接管推特后裁员75。福特大众投资自动驾驶初创公司宣布倒闭。欧盟达成协议将……
创业者该如何进行产品推广和项目招商明代端午女儿节习俗浅谈企业财务审计存在的问题及完善策略职业病的鉴定标准是什么二战德国人口损失多少人口减少多少鹤唳华亭顾逢恩结局最后死了吗心里再委屈聪明女人也不和外人说的家庭隐欧阳修游大字院记原文及鉴赏火山分布最多的是哪个国家瘦西湖三月迎客超百万宜游城市魅力彰显论中国股市的现状小清新女生个性网名戏曲人物六年级美术教案我不想长大年第号台风黑格比几月几号几点几分登陆弹古筝的小姑娘写人记叙文省民造句用省民造句大全一张导图几个图表分析报告二六个方法爱上晨练何道峰:走在一带一路的中资企业,社会责任之路无可回避为什么要引产(佛说胎儿几个月有灵魂)以春天在我心中为题的400字作文海外华商拥抱机遇韭菜怎么做好吃法大全这10种做法好吃的没话讲

友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找江西南阳嘉兴昆明铜陵滨州广东西昌常德梅州兰州阳江运城金华广西萍乡大理重庆诸暨泉州安庆南充武汉辽宁