Transcription
P ROXMOX VE A DMINISTRATION G UIDER ELEASE 7.2May 4, 2022Proxmox Server Solutions Gmbhwww.proxmox.com
Proxmox VE Administration GuideCopyright 2022 Proxmox Server Solutions GmbhPermission is granted to copy, distribute and/or modify this document under the terms of the GNU FreeDocumentation License, Version 1.3 or any later version published by the Free Software Foundation; withno Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.A copy of the license is included in the section entitled "GNU Free Documentation License".ii
Proxmox VE Administration GuideiiiContents1 Introduction11.1 Central Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21.2 Flexible Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31.3 Integrated Backup and Restore. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31.5 Flexible Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41.6 Integrated Firewall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41.7 Hyper-converged Infrastructure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41.7.1 Benefits of a Hyper-Converged Infrastructure (HCI) with Proxmox VE . . . . . . . . . .41.7.2 Hyper-Converged Infrastructure: Storage . . . . . . . . . . . . . . . . . . . . . . . .51.8 Why Open Source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.9 Your benefits with Proxmox VE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.10 Getting Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.10.1 Proxmox VE Wiki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.10.2 Community Support Forum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.10.3 Mailing Lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.10.4 Commercial Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.10.5 Bug Tracker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.11 Project History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61.12 Improving the Proxmox VE Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . .71.13 Translating Proxmox VE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71.13.1 Translating with git . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81.13.2 Translating without git . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81.13.3 Testing the Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81.13.4 Sending the Translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91.4 High Availability Cluster
Proxmox VE Administration Guideiv2 Installing Proxmox VE102.1 System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.1 Minimum Requirements, for Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.2 Recommended System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . 112.1.3 Simple Performance Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.1.4 Supported Web Browsers for Accessing the Web Interface . . . . . . . . . . . . . . . 112.2 Prepare Installation Media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.1 Prepare a USB Flash Drive as Installation Medium. . . . . . . . . . . . . . . . . . . 122.2.2 Instructions for GNU/Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.3 Instructions for macOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.2.4 Instructions for Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3 Using the Proxmox VE Installer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3.1 Advanced LVM Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . 212.3.2 Advanced ZFS Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . 222.3.3 ZFS Performance Tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.4 Install Proxmox VE on Debian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 Host System Administration243.1 Package Repositories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.1.1 Repositories in Proxmox VE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.1.2 Proxmox VE Enterprise Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263.1.3 Proxmox VE No-Subscription Repository . . . . . . . . . . . . . . . . . . . . . . . . . 263.1.4 Proxmox VE Test Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263.1.5 Ceph Pacific Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273.1.6 Ceph Pacific Test Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273.1.7 Ceph Octopus Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273.1.8 Ceph Octopus Test Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.1.9 SecureApt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.2 System Software Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.3 Network Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.3.1 Apply Network Changes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.3.2 Naming Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303.3.3 Choosing a network configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303.3.4 Default Configuration using a Bridge . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.3.5 Routed Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.3.6 Masquerading (NAT) with iptables . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Proxmox VE Administration Guidev3.3.7 Linux Bond . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.3.8 VLAN 802.1Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373.3.9 Disabling IPv6 on the Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393.4 Time Synchronization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403.4.1 Using Custom NTP Servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403.5 External Metric Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413.5.1 Graphite server configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.5.2 Influxdb plugin configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.6 Disk Health Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433.7 Logical Volume Manager (LVM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433.7.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.7.2 Bootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.7.3 Creating a Volume Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.7.4 Creating an extra LV for /var/lib/vz. . . . . . . . . . . . . . . . . . . . . . . . 453.7.5 Resizing the thin pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453.7.6 Create a LVM-thin pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463.8 ZFS on Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463.8.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473.8.2 Installation as Root File System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473.8.3 ZFS RAID Level Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.8.4 Bootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493.8.5 ZFS Administration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503.8.6 Configure E-Mail Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523.8.7 Limit ZFS Memory Usage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533.8.8 SWAP on ZFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533.8.9 Encrypted ZFS Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543.8.10 Compression in ZFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553.8.11 ZFS Special Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563.8.12 ZFS Pool Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573.9 BTRFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573.9.1 Installation as Root File System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583.9.2 BTRFS Administration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593.10 Proxmox Node Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.10.1 Wake-on-LAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.10.2 Task History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Proxmox VE Administration Guidevi3.10.3 Bulk Guest Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.10.4 First Guest Boot Delay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.10.5 Bulk Guest Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.11 Certificate Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.11.1 Certificates for Intra-Cluster Communication . . . . . . . . . . . . . . . . . . . . . . . 633.11.2 Certificates for API and Web GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.11.3 Upload Custom Certificate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.11.4 Trusted certificates via Let’s Encrypt (ACME). . . . . . . . . . . . . . . . . . . . . . 643.11.5 ACME HTTP Challenge Plugin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.11.6 ACME DNS API Challenge Plugin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.11.7 Automatic renewal of ACME certificates . . . . . . . . . . . . . . . . . . . . . . . . . 673.11.8 ACME Examples with pvenode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673.12 Host Bootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703.12.1 Partitioning Scheme Used by the Installer . . . . . . . . . . . . . . . . . . . . . . . . 713.12.2 Synchronizing the content of the ESP with proxmox-boot-tool . . . . . . . . . . 713.12.3 Determine which Bootloader is Used . . . . . . . . . . . . . . . . . . . . . . . . . . . 733.12.4 Grub. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743.12.5 Systemd-boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753.12.6 Editing the Kernel Commandline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753.12.7 Override the Kernel-Version for next Boot . . . . . . . . . . . . . . . . . . . . . . . . 763.13 Kernel Samepage Merging (KSM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773.13.1 Implications of KSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773.13.2 Disabling KSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774 Graphical User Interface784.1 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784.2 Login . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.3 GUI Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.3.1 Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804.3.2 My Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814.3.3 Resource Tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814.3.4 Log Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824.4 Content Panels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824.4.1 Datacenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834.4.2 Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 844.4.3 Guests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854.4.4 Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874.4.5 Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Proxmox VE Administration Guidevii5 Cluster Manager895.1 Requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895.2 Preparing Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905.3 Create a Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905.3.1 Create via Web GUI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915.3.2 Create via the Command Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915.3.3 Multiple Clusters in the Same Network . . . . . . . . . . . . . . . . . . . . . . . . . . 915.4 Adding Nodes to the Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925.4.1 Join Node to Cluster via GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925.4.2 Join Node to Cluster via Command Line . . . . . . . . . . . . . . . . . . . . . . . . . 935.4.3 Adding Nodes with Separated Cluster Network. . . . . . . . . . . . . . . . . . . . . 945.5 Remove a Cluster Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 945.5.1 Separate a Node Without Reinstalling . . . . . . . . . . . . . . . . . . . . . . . . . . 965.6 Quorum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975.7 Cluster Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975.7.1 Network Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985.7.2 Separate Cluster Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985.7.3 Corosync Addresses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015.8 Corosync Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025.8.1 Adding Redundant Links To An Existing Cluster . . . . . . . . . . . . . . . . . . . . . 1025.9 Role of SSH in Proxmox VE Clusters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1045.10 Corosync External Vote Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1045.10.1 QDevice Technical Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1055.10.2 Supported Setups. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1055.10.3 QDevice-Net Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1065.10.4 Frequently Asked Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1075.11 Corosync Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1075.11.1 Edit corosync.conf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1075.11.2 Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1085.11.3 Corosync Configuration Glossary5.12 Cluster Cold Start. . . . . . . . . . . . . . . . . . . . . . . . . . . . 109. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1095.13 Guest VMID Auto-Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1095.14 Guest Migration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1095.14.1 Migration Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1105.14.2 Migration Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Proxmox VE Administration Guide6 Proxmox Cluster File System (pmxcfs)viii1126.1 POSIX Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1126.2 File Access Rights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1136.3 Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1136.4 File System Layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1136.4.1 Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1136.4.2 Symbolic links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1146.4.3 Special status files for debugging (JSON) . . . . . . . . . . . . . . . . . . . . . . . . 1146.4.4 Enable/Disable debugging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156.5 Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156.5.1 Remove Cluster Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156.5.2 Recovering/Moving Guests from Failed Nodes . . . . . . . . . . . . . . . . . . . . . . 1157 Proxmox VE Storage1177.1 Storage Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1177.1.1 Thin Provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1187.2 Storage Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1187.2.1 Storage Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1197.2.2 Common Storage Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1197.3 Volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.3.1 Volume Ownership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.4 Using the Command Line Interface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.4.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.5 Directory Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237.5.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247.5.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247.5.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1257.6 NFS Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1257.6.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1267.6.2 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1267.6.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1277.7 CIFS Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1277.7.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1277.7.2 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1287.7.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Proxmox VE Administration Guideix7.8 Proxmox Backup Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.8.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.8.2 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1307.8.3 Encryption. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1307.8.4 Example: Add Storage over CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1317.9 GlusterFS Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1317.9.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.9.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.9.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.10 Local ZFS Pool Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1327.10.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1337.10.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1337.10.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1347.10.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1357.11 LVM Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1357.11.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1357.11.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1367.11.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1367.11.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1367.12 LVM thin Backend. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1367.12.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.12.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.12.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.12.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1387.13 Open-iSCSI initiator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1387.13.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1387.13.2 File naming conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1387.13.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.13.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.14 User Mode iSCSI Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.14.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.14.2 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.15 Ceph RADOS Block Devices (RBD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1407.15.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1407.15.2 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Proxmox VE Administration Guidex7.15.3 Ceph client configuration (optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1427.15.4 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1427.16 Ceph Filesystem (CephFS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1427.16.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1437.16.2 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1447.16.3 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1447.17 BTRFS Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.17.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.17.2 Snapshots. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.18 ZFS over ISCSI Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.18.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1467.18.2 Storage Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1488 Deploy Hyper-Converged Ceph Cluster1498.1 Precondition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1508.2 Initial Ceph Installation & Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1528.2.1 Using the Web-based Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1528.2.2 CLI Installation of Ceph Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1548.2.3 Initial Ceph configuration via CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1548.3 Ceph Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1558.3.1 Create Monitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1558.3.2 Destroy Monitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1568.4 Ceph Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1568.4.1 Create Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1568.4.2 Destroy Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1568.5 Ceph OSDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1578.5.1 Create OSDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1578.5.2 Destroy OSDs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1598.6 Ceph Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1608.6.1 Create and Edit Pools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1608.6.2 Erasure Coded Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1628.6.3 Destroy Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1648.6.4 PG Autoscaler. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1648.7 Ceph CRUSH & device classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1658.8 Ceph Client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1678.9 CephFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Proxmox VE Administration Guidexi8.9.1 Metadata Server (MDS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1688.9.2 Create CephFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1698.9.3 Destroy CephFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1708.10 Ceph maintenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1708.10.1 Replace OSDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1708.10.2 Trim/Discard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718.10.3 Scrub & Deep Scrub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718.11 Ceph Monitoring and Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1719 Storage Replication1739.1 Supported Storage Types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1739.2 Schedule Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1749.3 Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1749.3.1 Possible issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1749.3.2 Migrating a guest in case of Error9.3.3 Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . 174. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1749.4 Managing Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1759.5 Command Line Interface Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17610 Qemu/KVM Virtual Machines17710.1 Emulated devices and paravirtualized devices . . . . . . . . . . . . . . . . . . . . . . . . . . 17710.2 Virtual Machines Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17810.2.1 General Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17810.2.2 OS Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.2.3 System Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.2.4 Hard Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18010.2.5 CPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18210.2.6 M
PROXMOX VE ADMINISTRATION GUIDE RELEASE 7.1 November 15, 2021 Proxmox
