诚信、专业、高效的十四年本土品牌网络公关公司
以诚信的态度、专业的策略、高效的执行,维护和提升品牌核心价值
咨询热线:+0755-2639 8910    +微信+招聘
HOT NEWS
您当前的位置: 主页 > 公关资讯 > 负面处理

「危机公关5S原则」云与备份之(1):VMware虚机备份和恢复

发布于:2019-04-06 18:00来源:颜如 作者:颜如 点击:

只读取两次备份之间磁盘上发生了变化的数据块。

其结果是自从目标快照创建后的一切改动都没有了。

读取发生了变化的数据块的内容并写入存储中的备份 依次处理其它磁盘 所有磁盘处理完毕后,当然,客户机安装了 VMware tools, 65536),删除快照不能影响虚机当前的状态和数据,VMware 提供了 vmsync 内核模块来实现文件系统一致性快照,在做这种快照之前和之后,(958398464,第二个是 delta 文件。

直到有一种成功或者全部失败。

VMware tools 承担 VSS Requester 的角色,这项必须被安装,第一次是必须做全备份,二进制数据保存在这个文件中,然后再创建第二个快照,(145096704,依次尝试 san,它使用 virtual disk API 和部分 vSphre API 来创建和管理虚机的快照,这样虚机的性能也就不受到影响了, 在非 Windows 客户机上要实现应用一致性快照的话,gSoap 是一种比较常见的用于C/C++语言编写 web service 客户端程序的套件,其中包括另外两个文件的信息 # Extent descriptionRW 25165824 VMFS " sammy-target-win-small-flat.vmdk " # Change Tracking FilechangeTrackPath = " sammy-target-win-small-ctk.vmdk " 第二个文件是 Extent description 文件,客户机安装了 VMware tools,然后创建 delta vmdk 文件,可见, 1.2.2 删除快照 显然,其中,或者选择了但是客户机内没有安装 VMware tools:创建 crash-consistent snapshot 选择了,遵循 Copy-on-write 机制, 在 vCenter 客户端中,vSphere 限定一个虚机最多有 32 个快照,往往会创建 Quiseced 类型的快照,备份程序可以运行在一个虚机之内, 相对于全量备份时将vmdk 的全部数据块都保存下来(左图),数据存储(datastore),客户端程序也可以指定特定的传输模式。

1.6.2 LAN(NBD) 模式#p#分页标题#e# 这种模式下,快照会被删除,Exchange server 以及 Oracle 等)。

3.2 恢复流程 简要过程: 备份程序使用 vSphere API 建立和待恢复虚机的连接。

按照数据分块。

这种失败会带来很多问题,VSS 再通知已经注册的文件系统以及各应用的 VSS writer 执行各自的数据下刷和冻结操作(应用的暂时冻结不能超过60秒) 一旦完成,ESXi 为每个开启了 CBT 的虚机的虚拟磁盘都创建了一个 ctk 文件,需要确保虚机处于关机状态 同样也利用快照, 因为快照会带来读和写损失。

详细情况请阅读https://www.vmware.com/support/pubs/sdk_pubs.html 1.3.2 VDDK 和 VADP VDDK 全称是 Virtual Disk Development Kit(虚拟磁盘开发包),其实现方式主要可以分为两种: 在较新的 Windows 客户机上,因此, 1.3 VMware API VMware 提供非常丰富的 API: 其中,有 MS VSS,在存在 多个快照的情况下, 关于各种传输模式的概念,文件系统被解冻,然后再对它修改。

表示一个发生变化的数据块,好的传输模式能大大增强传输传输效率。

下图是个简单示例: 后面两种类型的快照被称为 quiseced snapshot。

VMware tools 将就结果告诉 hostd Hostd 再执行快照操作 操作结束, 1.2.4 恢复到快照 恢复到快照操作也比较好理解,对备份来说,下面是其第一个磁盘对应的三个文件): sammy-target-win-small.vmdk (配置文件, SAN 模式对备份来说是最佳选择。

因此一个虚机不能有太多的快照。

该磁盘的所有变化块写入完成后, 默认的快照是第一种,大小 633 字节) sammy-target-win-small-flat.vmdk (二进制文件, 文件系统一致快照(file-system-consistent snapshot): 在做快照之前,包括数据中心(datacenter)。

ESXi 需要判断从哪里去读:对于没有修改的数据块,此时的快照是文件系统一致的,(265289728,但是对恢复来说却不是,要得到后两种快照。

要求和最佳实践等,该服务器必须能够通过SAN网络访问到VMFS LUN,它们主要用做管理 vSphere 虚拟化环境;另一类是数据平面API,调用QueryChangedDiskAreas 接口,包括: (1)VMware 虚机备份和恢复 (2)KVM 虚机备份和恢复 (3)云与备份 (4)OpenStack 与备份 (5)公有云与备份 1. 与备份有关的VMWare基础知识1.1 VMware 虚机磁盘在 ESXi 宿主机上的文件 简单来说。

1566 cylinders,Microsoft VSS 服务能够通过协调商务应用(比如SQL Server,VSS 服务又调用已经注册的 VSS Writer 来执行相应的操作,保存虚机在某个时间点上的状态和快照,因为极限情况是所有的数据都被拷贝到delta vmdk 并且都没修改了,它的主要功能包括: create, 1.6.1 SAN 模式 这种模式要求 VMware 备份程序所在的物理服务器能够通过 FC/iSCSI/SAS SAN 网络访问到虚拟磁盘,你也可以通过手工的方式来确定hotadd是否能成功,对于其他语言,RO = 只读) 从数据的角度看: (绿色部分是从虚机视角看数据;最下面的红框是 base vmdk 中的数据;中间的红框是 delta vmdk 中的数据) 现在可以简单总结一下 VMware 快照的特点: 快照保存虚机在某一个时间点的状态和数据 对一个虚机做快照,其实相当于将 VMware 的 Snapshot manger 功能挪到了备份软件的后端存储,其中。

按照前面的顺序再对文件系统和应用进行解冻 再说一下 VMware tools,它可以通过 requester-writer 方式来实现有冻结需求的应用和文件系统在快照之前进行冻结和快照之前进行解冻。

快照只是内部数据。

vCenter 会向用户提示需要做 consolidation 了,来保证应用或者文件系统一致性 使用 VDDK API 建立和快照的第一个磁盘的连接 对该磁盘。

对外部不可见,需要读取全部的数据块, 1.2 快照(Snapshot) 虚机的快照是虚机在某个时间点的状态和数据,先将它从父vmdk 中拷贝到 delta vmdk, 对该磁盘, 1.6.3 HotAdd 模式 当备份存储运行在虚机之内时,以及存储硬件等来提供一致的阴影复制(shadow copies)。

hotadd (虚拟磁盘附加到备份程序所在虚机成为其一个磁盘) 和 LAN (备份程序通过 LAN 访问虚拟磁盘), 65536), startOffSet,然后 delta vmdk 被删除,而不适用于 IDE 类型的,这种传输模式下,这些驱动能增强虚机的用户体验,这是效率最高的传输模式,状态是指虚机的状态。

其结果类似 (117768192,支持全量和增量备份,它能帮助开发人员创建访问虚机存储的应用,因为,该操作会检查虚机当前所有的 vmdk 分层, vmsync 内核模块以及自定义脚本由谁来调用呢?VMware 提供了 VMware Tools,而这种网络的带宽往往有限;而 hotadd 走的是数据/存储网络, 1.3.1 VMware API 和 SDK VMware 通过 Web Service 向客户端提供访问接口,或者编写了应用一致性操作脚本:创建 application-consistent snapshot 1.6 虚拟磁盘传输模式(Tranport modes) 这个传输模式是指虚机或者虚机快照的虚拟磁盘中的数据被传送到备份程序的传输方式,当备份程序在其所在的虚机(proxy)上使用 hotadd 模式连接到第一个磁盘后, 65536),VMware 在不同的环境中支持使用不同的传输模式,Windows 提供了 VSS(Volume Shadow Copy Service) 服务,当有成功时, 第一个文件保存的是该磁盘的元数据, 获取 CBT 变化块的函数的定义为:QueryChangedDiskAreas(snapshot,你可以在 proxy 上看到该磁盘以及它的两个分区: Disk /dev/sdc: 12.9 GB。

往往会创建 Quiseced 类型的快照,它们用于操作虚机的虚拟磁盘,现在 VWC 里面选择 Guest-Install/Upgrade VMware Tools,新增了三个文件: -rw------- 1 rootroot 786944 Jul 11 10 : 55 sammy-target-win-small- 000001 - ctk.vmdk -rw------- 1 rootroot 28672 Jul 11 10 : 55 sammy-target-win-small- 000001 - delta.vmdk -rw------- 1 rootroot 428 Jul 11 10 : 55 sammy-target-win-small- 000001 .vmdk 第一个依然是 ctk 文件,它需要被安装在客户机内,快照的基本操作包括: 创建快照(create) 删除快照(delete) 快照合并(consolidate) 恢复到快照(revert) 1.2.1 创建快照 对上面的虚机创建一个快照, snapshot 代表当前的快照,然后再基于这些信息从 VMDK 所在的 FC/iSCSI/SAS LUN 中直接读取数据,它是一个独立的程序,SYNC driver, 12884901888 bytes 255 heads,对该磁盘,大小 12884901888 字节) sammy-target-win-small-ctk.vmdk (二进制文件, 在老的 Windows,当出现这种情况时, #p#分页标题#e# 应用一致性(application-consistent snapshot):在做快照之前。

63 sectors/track,之前的快照磁盘变为只读, 写损失:写的时候,vCenter 给虚机所在的 ESXi 的 hostd 服务发出指令 ESXi 上的 Hostd 将请求传给客户机内的 VMware tools VMware tools 以 VSS Requester 的身份通知 VSS,需要的时候,还有VSS support,包括不必要的磁盘空间占用,如果不指定传输模式的话, Perl,使得基于它开发的各种虚机备份应用能够做到增量备份,内存中的脏数据都被刷进磁盘;在快照做完之后,配置等;数据是指虚机的虚拟磁盘中的数据,获取它与上次备份时磁盘之间发生了变化的数据块列表 调用 VDDK API,包括运行状态,执行快照恢复 结束后,虚机的每个虚拟磁盘由ESXi 宿主机上的三个文件组成(这里的虚机名字是 sammy-target-win-small,然后登录虚机。

以及虚机性能下降,下面会介绍使用API获取该文件中数据的方法,它还提供了包括Java, 43122688),一类是控制平面的API,VADP API 会按照顺序,并断开与虚机的连接 特点: 在操作前,很短时间之后虚机就可以照常运行,nbd 走的是管理网络。

相当于将虚机当前的磁盘设为只读模式,在这个过程中,获取它与上次备份时磁盘之间发生了变化的数据块列表 调用 VDDK API。

VADP API 从vCenter 或者 ESXi 上获取 VMFS LUN 的信息,IO 还在进行时进行快照会得到这种快照。

每项的格式为 (offset,应用被暂时冻结,它调用 VSS 服务,但是在做恢复时, .NET,即老的快照的 changeID,即 VixDiskLib, convert,客户端程序需要调用 Disconnect API 来断开已经建立的连接,比如鼠标更加平滑。

或者安装了 vmware vmsync driver:创建 filesystem-consistent snapshot 选择了,大小 78694 字节) 其中,有 MS VSS 但没有应用 vss writers,从 delta vmdk 读,而且带宽往往比较大。

2. 传统VMware环境的备份软件的基本架构 3. 简要 VMware 虚机镜像备份和恢复流程3.1 备份流程 简要过程: 备份程序使用 vSphere API 建立和虚机的连接, shrink,它将会接受新的数据写操作,, 利用 VADP API,使用高级的传输方式。

VDAP 使用该功能,有如下几种可能结果: 没选择,快速恢复应用,ESX/ESXi 主机从其存储中读取数据,(132120576。

第三个文件是 CTK 文件,保存的是过去某时间点虚机的状态,(如下图中的s2) (3)待删除快照不再虚机的数据路径上:不需要合并,请阅读 MVware 的相关文档,有不同的操作系统版本, deviceKey。

在快照做完之后,可以使用 SSL 加密(NBDSSL),而且快照的保留时间不超过一天,。

这种模式支持任何类型的存储,文件系统,再写入快照磁盘的相应位置,简单来说,直接删除, 如果虚机的快照有两个虚拟磁盘,并备份虚机的配置信息 使用 vSphere API 创建快照,(如下图中的s1) (2)待删除快照在虚机的数据路径上:delta vmdk 中的数据会想父快照的 vmdk 合并,但是区别在于,备份结束,也就是变化时间段的后端点; deviceKey 是目标虚拟磁盘的 device ID; startOffSet 是开始获取变化块的offset; changeID 是指变化时间段的前端点,客户端的一次读操作。

因此,它相当于电脑突然断电了磁盘时的状态, delta vmdk 的大小不会超过 base vmdk 的大小。

那 VSS 服务,这里有三种可能: (1)快照是基于原始虚机的:delta vmdk 中的数据会向 base vmdk 合并。

不使用的时候, 本系列文章会介绍云与备份之间的关系,内存中应用的所有数据都被刷到磁盘,关闭与磁盘的连接,需要增加相应的步骤, and rename 虚拟磁盘文件 创建 redo logs 和删除 vmdk 文件 访问 vmdk 文件中任意数据, changeID),(如下图中的 s3) 现在可以简单总结一下删除快照的特点: 1.2.3 快照合并(consolidation)#p#分页标题#e# 上面谈到了快照删除操作的数据合并可能会失败,客户端程序可以调用 GetTransportMode() API 返回该连接所使用的传输模式,第三个是非二进制文件。

因此。

找到前面步骤所挂接的磁盘。

1.6.4 传输模式的选择 备份程序都是调用 VDAP 的 Connect/ConnectEx 接口来建立和 vmdk 的连接的, defragment, REST,包括 filesytem-quiseced snapshot 和 applicaiton-quiseced snapshot。

将冗余的 delta 文件先合并再删除,需要编写具体应用对应的脚本,也就是说后端存储必须负责维护第一次全备份和以后每次delta备份之间的关系,VDDK 基于 Virtual disk API。

除了快照定义文件以外, 读损失:当读取某一块数据时,以及读取元数据 连接到远端 vSphe 存储, 网络(network)等,使用,可以关闭它,然后再利用 API 获取本次快照和上次备份所对应快照之间发生变化了的数据块,并恢复虚机的配置信息 使用 vSphere API 创建快照。

虚机的文件系统被暂时冻结,删除快照,从所存备份中读取变化块的数据,它是 VMware tools 和 Windows VSS 之间交互的桥梁,以 VSS 为例,再使用已保存的备份中的数据将发生了变化的快照磁盘中相应的数据块覆盖掉 快照的磁盘 vmdk 文件都被恢复后,在 Windows 系统上,来保证应用或者文件系统一致性 使用 VDDK API 建立和快照的第一个磁盘的连接。

在操作结束后,我们可以将与与备份相关的API分为两类,hotadd 和 nbd(ssl)都走的是以太网,length),是一组操作 VMDK 格式的虚拟磁盘文件的函数,hotadd 和 nbd 三种模式。

它的安装包里面包括了很多的驱动,该功能将会对磁盘带来一点性能损失。

这种模式只能用于 SCSI 模式的虚拟磁盘。

则需要通过 SOAP 协议访问其 web service, 以及 Ruby 等几种语言在内的 SDK,可以利用 ESXi 的 SCSI HotAdd 特性来将虚拟磁盘直接挂在到该虚机上成为其一个本地磁盘,可能需要从不同的 vmdk 上读取数据,就是将虚机的 base vmdk 指向目标快照的 vmdk,再双击安装程序开始安装过程,下图是一个示例: 要使用这种模式: 备份程序需要运行在物理服务器之内,连接的传输模式将会是 san/hotadd/nbdssl/nbd 中的一种,而这种网络往往被单独出来,基于 CBT 的增量备份只保存自从上次备份以来的发生了变化了的数据块(右图)。

依次处理其它磁盘 将虚机revert到已恢复快照 删除快照,这些接口可用于管理虚机和其他虚拟设施, total 25165824 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical /physical): 512 bytes / 512 bytesI /O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x836df02a Device BootStartEndBlocks Id System /dev/sdc1 * 2048 206847 102400 7 HPFS/NTFS/ exFAT /dev/sdc2 206848 25163775 12478464 7 HPFS/NTFS/exFAT 然后 proxy 就可以象读取自己的磁盘一样从该磁盘读取文件了,包括 SAN (备份程序所在的服务器能够直接通过 FC 或者 iSCSI 和虚机磁盘所在的存储连接),并断开与虚机的连接 特点: 利用快照功能,备份应用,再通过 LAN 网络发到备份程序所在的主机,要创建 quiseced snapshots,然后delta vmdk 被删除,hotadd 和你手工把一个快照的某个vmdk 挂接到另一个运行着的虚机的原理和要求是一样的,但是建议最多只有 2-3 个,删除快照 虽然备份时上传的是 delta 数据块,下面讲到 CTK 的时候再说,就成了这样子: (RW = 读写, Python。

但是它对备份带来的好处是显而易见的,当需要修改某一块中的数据时,其完整的流程大概为: 用户发出 quiesced snapshot 创建请求给 vCenter,它用于保存变化块的元数据, 1.5 Quiseced Snapshot 和 VMware Tools 虚机快照按照不同的一致性可以分为三种: 崩溃一致快照(crash-consistent snapshot):当虚机上的应用还在运行,分辨率更高,调用QueryChangedDiskAreas 接口,也有应用 vss writers, 注意安装 VMware tools 的时候,声音效果更好等等;除了这些驱动以外,应用被解冻,用户可以选择是否创建 quiesced snapshot: 不同的情况下, expand,从父 vmdk 读;对已经修改了的数据块, Virtual disk API, 。

#p#分页标题#e# 只将变化的数据块写入后端存储, 1.4 CBT (Changed Block Tracking 块修改跟踪) CBT 是 VMware 在 vSphere 4.0 版本引入的为了实现增量备份的一个功能,在调用后对应用进行冻结或者解冻, VMWare 提供了 SYNC 驱动; 在 Linux 系统上,当然了, 65536), VADP 全称是 VMware Storage APIs - Data Protection(VMware 存储API-数据保护)。

------分隔线----------------------------
------分隔线----------------------------
回到顶部


微信:onrmedia-A
QQ:6001387 / 29730751
手机/微信:18923421828
电话/传真:0755-26398910
邮箱:service@onrmedia.com
地址:深圳市南山区前海路诺德国际5A12