示例：

  $ cat /etc/isulad/daemon.json
  {
      "group": "isulad",
      "graph": "/var/lib/isulad",
      "state": "/var/run/isulad",
      "engine": "lcr",
      "log-level": "ERROR",
      "pidfile": "/var/run/isulad.pid",
      "log-opts": {
          "log-file-mode": "0600",
          "log-path": "/var/lib/isulad",
          "max-file": "1",
          "max-size": "30KB"
      },
      "log-driver": "stdout",
      "hook-spec": "/etc/default/isulad/hooks/default.json",
      "start-timeout": "2m",
      "storage-driver": "overlay2",
      "storage-opts": [
          "overlay2.override_kernel_check=true"
      ],
      "registry-mirrors": [
          "docker.io"
      ],
      "insecure-registries": [
          "rnd-dockerhub.huawei.com"
      ],
      "pod-sandbox-image": "",
      "image-opt-timeout": "5m",
      "native.umask": "secure",
      "network-plugin": "",
      "cni-bin-dir": "",
      "cni-conf-dir": "",
      "image-layer-check": false,
      "use-decrypted-key": true,
      "insecure-skip-verify-enforce": false
  }

须知：

默认配置文件/etc/isulad/daemon.json仅供参考，请根据实际需要进行配置

存储说明

约束限制

• 高并发场景（并发启动 200 容器）下，glibc 的内存管理机制会导致内存空洞以及虚拟内存较大（例如 10 GB ）的问题。该问题是高并发场景下 glibc 内存管理机制的限制，而不是内存泄露，不会导致内存消耗无限增大。可以通过设置 MALLOC_ARENA_MAX 环境变量来减少虚拟内存的问题，而且可以增大减少物理内存的概率。但是这个环境变量会导致 iSulad 的并发性能下降，需要用户根据实际情况做配置。

  参考实践情况，平衡性能和内存，可以设置 MALLOC_ARENA_MAX 为 4。（在 arm64 服务器上面对 iSulad 的性能影响在 10% 以内）
  
  配置方法：
  1. 手动启动 iSulad 的场景，可以直接 export MALLOC_ARENA_MAX=4，然后再启动 iSulad 即可。
  2. systemd 管理 iSulad 的场景，可以修改 /etc/sysconfig/iSulad，增加一条 MALLOC_ARENA_MAX=4 即可。
  

• 为 daemon 指定各种运行目录时的注意事项

  以 –root 为例，当使用 /new/path/ 作为 daemon 新的 Root Dir 时，如果 /new/path/ 下已经存在文件，且目录或文件名与 isulad 需要使用的目录或文件名冲突（例如：engines、mnt 等目录）时，isulad 可能会更新原有目录或文件的属性，包括属主、权限等为自己的属主和权限。

  所以，用户需要明白重新指定各种运行目录和文件，会对冲突目录、文件属性的影响。建议用户指定的新目录或文件为 isulad 专用，避免冲突导致的文件属性变化以及带来的安全问题。

• 日志文件管理：

  须知：

  日志功能对接： iSulad 由 systemd 管理，日志也由 systemd 管理，然后传输给 rsyslogd。rsyslog 默认会对写日志速度有限制，可以通过修改 /etc/rsyslog.conf 文件，增加 ”$imjournalRatelimitInterval 0” 配置项，然后重启 rsyslogd 的服务即可。

• 命令行参数解析限制

  使用 iSulad 命令行接口时，其参数解析方式与 docker 略有不同，对于命令行中带参数的 flag，不管使用长 flag 还是短 flag，只会将该 flag 后第一个空格或与 flag 直接相连接的 ’=‘ 后的字符串作为 flag 的参数，具体如下：

  1. 使用短 flag 时，与 “-” 连接的字符串中的每个字符都被当作短 flag（当有 = 号时，= 号后的字符串当成 = 号前的短 flag 的参数）。

     isula run -du=root busybox 等价于 isula run -du root busybox 或 isula run -d -u=root busybox 或 isula run -d -u root busybox ，当使用 isula run -du:root 时，由于-: 不是有效的短 flag，因此会报错。前述的命令行也等价于 isula run -ud root busybox，但不推荐这种使用方式，可能带来语义困扰。

  2. 使用长 flag 时，与 “–” 连接的字符串作为一个整体当成长 flag，若包含 = 号，则 = 号前的字符串为长 flag，= 号后的为参数。

     isula run --user=root busybox
     

     等价于

     isula run --user root busybox
     

• 启动一个 isulad 容器，不能够以非 root 用户进行 isula run -i/-t/-ti 以及 isula attach/exec 操作。

DAEMON 多端口的绑定

描述

daemon 端可以绑定多个 unix socket 或者 tcp 端口，并在这些端口上监听，客户端可以通过这些端口和 daemon 端进行交互。

接口

用户可以在 /etc/isulad/daemon.json 文件的 hosts 字段配置一个或者多个端口。当然用户也可以不指定 hosts。

{
    "hosts": [
        "unix:///var/run/isulad.sock",
        "tcp://localhost:5678",
        "tcp://127.0.0.1:6789"
    ]
}

用户也可以在 /etc/sysconfig/iSulad 中通过 -H 或者 –host 配置端口。用户同样可以不指定 hosts。

OPTIONS='-H unix:///var/run/isulad.sock --host tcp://127.0.0.1:6789'

如果用户在 daemon.json 文件及 iSulad 中均未指定 hosts，则 daemon 在启动之后将默认监听 unix:///var/run/isulad.sock 。

限制

• 用户不可以在 /etc/isulad/daemon.json 和 /etc/sysconfig/iSuald 两个文件中同时指定 hosts，如果这样做将会出现错误，isulad 无法正常启动；

  unable to configure the isulad with file /etc/isulad/daemon.json: the following directives are specified both as a flag and in the configuration file: hosts: (from flag: [unix:///var/run/isulad.sock tcp://127.0.0.1:6789], from file: [unix:///var/run/isulad.sock tcp://localhost:5678 tcp://127.0.0.1:6789])
  

• 若指定的 host 是 unix socket，则必须是合法的 unix socket，需要以 ”unix://“ 开头，后跟合法的 socket 绝对路径；

• 若指定的 host 是 tcp 端口，则必须是合法的 tcp 端口，需要以 ”tcp://“ 开头，后跟合法的 IP 地址和端口，IP地址可以为 localhost；

• 可以指定至多 10 个有效的端口，超过 10 个则会出现错误，isulad 无法正常启动。

配置 TLS 认证与开启远程访问

描述

iSulad 采用 C/S 模式进行设计，在默认情况，iSulad 守护进程 isulad 只侦听本地 /var/run/isulad.sock，因此只能在本地通过客户端 isula 执行相关命令操作容器。为了能使 isula 可以远程访问容器，isulad 守护进程需要通过 tcp:ip 的方式侦听远程访问的端口。然而，仅通过简单配置 tcp ip:port 进行侦听，这样会导致所有的 ip 都可以通过调用 isula -H tcp://:port 与 isulad 通信，容易导致安全问题，因此推荐使用较安全版本的 TLS (Transport Layer Security - 安全传输层协议）方式进行远程访问。

生成TLS证书

• 明文私钥和证书生成方法示例

  #!/bin/bash
  set -e
  echo -n "Enter pass phrase:"
  read password
  echo -n "Enter public network ip:"
  read publicip
  echo -n "Enter host:"
  read HOST
  
  echo " => Using hostname: $publicip, You MUST connect to iSulad using this host!"
  
  mkdir -p $HOME/.iSulad
  cd $HOME/.iSulad
  rm -rf $HOME/.iSulad/*
  
  echo " => Generating CA key"
  openssl genrsa -passout pass:$password -aes256 -out ca-key.pem 4096
  echo " => Generating CA certificate"
  openssl req -passin pass:$password -new -x509 -days 365 -key ca-key.pem -sha256 -out ca.pem -subj "/C=CN/ST=zhejiang/L=hangzhou/O=Huawei/OU=iSulad/CN=iSulad@huawei.com"
  echo " => Generating server key"
  openssl genrsa -passout pass:$password -out server-key.pem 4096
  echo " => Generating server CSR"
  openssl req -passin pass:$password -subj /CN=$HOST -sha256 -new -key server-key.pem -out server.csr
  echo subjectAltName = DNS:$HOST,IP:$publicip,IP:127.0.0.1 >> extfile.cnf
  echo extendedKeyUsage = serverAuth >> extfile.cnf
  echo " => Signing server CSR with CA"
  openssl x509 -req -passin pass:$password -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem -extfile extfile.cnf
  echo " => Generating client key"
  openssl genrsa -passout pass:$password -out key.pem 4096
  echo " => Generating client CSR"
  openssl req -passin pass:$password -subj '/CN=client' -new -key key.pem -out client.csr
  echo " => Creating extended key usage"
  echo extendedKeyUsage = clientAuth > extfile-client.cnf
  echo " => Signing client CSR with CA"
  openssl x509 -req -passin pass:$password -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile-client.cnf
  rm -v client.csr server.csr extfile.cnf extfile-client.cnf
  chmod -v 0400 ca-key.pem key.pem server-key.pem
  chmod -v 0444 ca.pem server-cert.pem cert.pem
  

• 加密私钥和证书请求文件生成方法示例

  #!/bin/bash

  echo -n "Enter public network ip:"
  read publicip
  echo -n "Enter pass phrase:"
  read password

  # remove certificates from previous execution.
  rm -f *.pem *.srl *.csr *.cnf


  # generate CA private and public keys
  echo 01 > ca.srl
  openssl genrsa -aes256 -out ca-key.pem -passout pass:$password 2048
  openssl req -subj '/C=CN/ST=zhejiang/L=hangzhou/O=Huawei/OU=iSulad/CN=iSulad@huawei.com' -new -x509 -days $DAYS -passin pass:$password -key ca-key.pem -out ca.pem

  # create a server key and certificate signing request (CSR)
  openssl genrsa -aes256 -out server-key.pem -passout pass:$PASS 2048
  openssl req -new -key server-key.pem -out server.csr -passin pass:$password -subj '/CN=iSulad'

  echo subjectAltName = DNS:iSulad,IP:${publicip},IP:127.0.0.1 > extfile.cnf
  echo extendedKeyUsage = serverAuth >> extfile.cnf
  # sign the server key with our CA
  openssl x509 -req -days $DAYS -passin pass:$password -in server.csr -CA ca.pem -CAkey ca-key.pem -out server-cert.pem -extfile extfile.cnf

  # create a client key and certificate signing request (CSR)
  openssl genrsa -aes256 -out key.pem -passout pass:$password 2048
  openssl req -subj '/CN=client' -new -key key.pem -out client.csr -passin pass:$password

  # create an extensions config file and sign
  echo extendedKeyUsage = clientAuth > extfile.cnf
  openssl x509 -req -days 365 -passin pass:$password -in client.csr -CA ca.pem -CAkey ca-key.pem -out cert.pem -extfile extfile.cnf

  # remove the passphrase from the client and server key
  openssl rsa -in server-key.pem -out server-key.pem -passin pass:$password
  openssl rsa -in key.pem -out key.pem -passin pass:$password

  # remove generated files that are no longer required
  rm -f ca-key.pem ca.srl client.csr extfile.cnf server.csr

接口

{
    "tls": true,
    "tls-verify": true,
    "tls-config": {
        "CAFile": "/root/.iSulad/ca.pem",
        "CertFile": "/root/.iSulad/server-cert.pem",
        "KeyFile":"/root/.iSulad/server-key.pem"
    }
}

限制

服务端支持的模式如下：

• 模式 1（验证客户端）：tlsverify，tlscacert，tlscert，tlskey。
• 模式 2（不验证客户端）：tls，tlscert，tlskey。

客户端支持的模式如下:

• 模式 1（使用客户端证书进行身份验证，并根据给定的CA验证服务器）：tlsverify，tlscacert，tlscert，tlskey。
• 模式 2（验证服务器）：tlsverify，tlscacert。

如果需要采用双向认证方式进行通讯，则服务端采用模式 1，客户端采用模式 1；

如果需要采用单向认证方式进行通讯，则服务端采用模式 2，客户端采用模式 2。

须知：

• 采用 RPM 安装方式时，服务端配置可通过 /etc/isulad/daemon.json 以及 /etc/sysconfig/iSulad 配置修改。
• 相比非认证或者单向认证方式，双向认证具备更高的安全性，推荐使用双向认证的方式进行通讯。
• GRPC开 源组件日志不由 iSulad 进行接管，如果需要查看 GRPC 相关日志，请按需设置 GRPC_VERBOSITY 和 GRPC_TRACE 环境变量。

示例

服务端：

 isulad -H=tcp://0.0.0.0:2376 --tlsverify --tlscacert ~/.iSulad/ca.pem --tlscert ~/.iSulad/server-cert.pem --tlskey ~/.iSulad/server-key.pem

客户端：

 isula version -H=tcp://$HOSTIP:2376 --tlsverify --tlscacert ~/.iSulad/ca.pem --tlscert ~/.iSulad/cert.pem --tlskey ~/.iSulad/key.pem

卸载

卸载 iSulad 的操作步骤如下：

1. 卸载 iSulad 及其依赖软件包

   • 若使用 yum方式安装，卸载的参考命令如下：

     $ sudo dnf remove iSulad
     

   • 若使用 rpm 方式安装，需卸载 iSulad 及其依赖包，卸载单个 RPM 包的参考命令如下：

     sudo rpm -e iSulad-xx.xx.xx-YYYYmmdd.HHMMSS.gitxxxxxxxx.aarch64.rpm
     

2. 镜像、容器、volumes 以及相关配置文件不会自动删除，需要手动删除。参考命令如下：

   $ sudo rm -rf /var/lib/iSulad