harbor安装配置

# https://github.com/goharbor/harbor
# https://goharbor.io

# 建议阅读概览：
    https://github.com/goharbor/harbor/wiki/Architecture-Overview-of-Harbor
# 概念：
    一种开源可信云本机注册表项目，用于存储，签名和扫描内容。
# 特征
    云本机注册表：Harbour 支持容器映像和Helm图表，可作为容器运行时和业务流程平台等云本机环境的注册表。
    基于角色的访问控制：用户和存储库通过“项目”进行组织，用户可以对项目下的图像或Helm图表拥有不同的权限。
    基于策略的复制：可以基于具有多个过滤器（存储库，标记和标签）的策略在多个注册表实例之间复制（同步）图像和图表。如果遇到任何错误，Harbor会自动重试复制。非常适合负载平衡，高可用性，多数据中心，混合和多云场景。
    漏洞扫描：Harbor定期扫描图像并警告用户漏洞。
    LDAP / AD支持：Harbor与现有企业LDAP / AD集成以进行用户身份验证和管理，并支持将LDAP组导入Harbor并为其分配适当的项目角色。
    OIDC支持：Harbour利用OpenID Connect（OIDC）来验证由外部授权服务器或身份提供商进行身份验证的用户的身份。可以启用单点登录以登录Harbor门户。
    图像删除和垃圾收集：可以删除图像，并可以回收它们的空间。
    公证人：可以确保图像的真实性。
    图形用户门户：用户可以轻松浏览，搜索存储库和管理项目。
    审计：跟踪存储库的所有操作。
    RESTful API：适用于大多数管理操作的RESTful API，易于与外部系统集成。嵌入式Swagger UI可用于探索和测试API。
    轻松部署：提供在线和离线安装程序。此外，Helm Chart可用于在Kubernetes上部署Harbor。
# installation guide
    https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md
    # 安装docker，安装docker compose
    # 安装harbor offline
        # downalod offline tar
            cd /opt/
            wget https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-offline-installer-v1.8.2.tgz
            tar xvf harbor-offline-installer-v1.8.2.tgz
            cd harbor
        # 自签ssl证书 https://github.com/goharbor/harbor/blob/master/docs/configure_https.md
            # Getting Certificate Authority
                openssl genrsa -out ca.key 4096
                openssl req -x509 -new -nodes -sha512 -days 3650 -subj "/C=CN/CN=guojingyi.cn" -key ca.key -out ca.crt
            # Getting Server Certificate
                # 创建自己的私钥：
                    openssl genrsa -out guojingyi.cn.key 4096
                # 生成证书签名请求：
                    # 如果您使用像guojingyi.cn这样的FQDN连接注册表主机，那么您必须使用guojingyi.cn作为CN（通用名称）。
                    openssl req -sha512 -new -subj "/C=CN/CN=guojingyi.cn" -key guojingyi.cn.key -out guojingyi.cn.csr
                # 生成harbor server所在主机的证书：
                    # 无论您是使用类似guojingyi.cn的 FQDN 还是IP来连接注册表主机，请运行此命令以生成符合主题备用名称（SAN）和x509 v3扩展要求的注册表主机证书：
                        cat > v3.ext <<EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth 
subjectAltName = @alt_names

[alt_names]
DNS.1=guojingyi.cn
DNS.2=reg.guojingyi.cn
EOF
                    # 签名生成crt
                        openssl x509 -req -sha512 -days 3650 -extfile v3.ext -CA ca.crt -CAkey ca.key -CAcreateserial -in guojingyi.cn.csr -out guojingyi.cn.crt
            # 配置和安装
                # 配置harbor服务端的证书和密钥
                    # 获取guojingyi.cn.crt和guojingyi.cn.key文件后，您可以将它们放入以下目录/opt/harbor/cert：
                        mkdir -pv /opt/harbor/cert/
                        \cp -f guojingyi.cn.crt /opt/harbor/cert/
                        \cp -f guojingyi.cn.key /opt/harbor/cert/
                # 为Docker客户端配置服务证书、密钥和CA，用来访问harbor服务.
                    # Docker守护程序将.crt文件解释为CA证书，将.cert文件解释为客户端证书。
                        # 需要转换guojingyi.cn.crt为guojingyi.cn.cert：
                        openssl x509 -inform PEM -in guojingyi.cn.crt -out guojingyi.cn.cert
                    # Delpoy guojingyi.cn.cert，guojingyi.cn.key和ca.crtDocker：(https://docs.docker.com/engine/security/certificates/)
                        mkdir -pv /etc/docker/certs.d/guojingyi.cn/
                        \cp -f guojingyi.cn.cert /etc/docker/certs.d/guojingyi.cn/
                        \cp -f guojingyi.cn.key /etc/docker/certs.d/guojingyi.cn/
                        \cp -f ca.crt /etc/docker/certs.d/guojingyi.cn/
                    # 以下说明了使用自定义证书的配置：
                        /etc/docker/certs.d/
                            └── guojingyi.cn:port
                                ├── guojingyi.cn.cert  <-- Server certificate signed by CA
                                ├── guojingyi.cn.key   <-- Server key signed by CA
                                └── ca.crt               <-- Certificate authority that signed the registry certificate
        # Configure harbor.yml
            # 按需修改harbor.yml：
                修改域名
                修改/data为/opt/harbor/data
                开启https访问配置
        # install
            chmod u+x install.sh
            ./install.sh
            # 安装完毕
                # 配置数据基本存放在/opt/harbor
                # 日志存放在/var/log/harbor/
                    # core.log  jobservice.log  portal.log  postgresql.log  proxy.log  redis.log  registryctl.log  registry.log
        # 将dns/ip对应解析写入/etc/hosts
            echo "192.168.1.249 guojingyi.cn reg.guojingyi.cn" >> /etc/hosts
        # web访问
            https://reg.guojingyi.cn admin/admin # 密码等在harbor.yml中设置
            系统管理——用户管理——新建user01
            项目——新建test01项目,并分配该项目的user01的角色权限（私有项目需要docker login，公共项目不需要）
        # 登录测试使用
            docker pull nginx
            docker images
            docker tag nginx:latest guojingyi.cn/test01/nginx:latest
            docker login guojingyi.cn # url需要跟/etc/docker/certs.d/下的domain名称一致,登录的用户可以使用web新建用户，也可以先使用超级管理员admin
                Username: user01
                Password: 
                WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
                Configure a credential helper to remove this warning. See
                https://docs.docker.com/engine/reference/commandline/login/#credentials-store
                Login Succeeded
            docker push guojingyi.cn/test01/nginx:latest
            docker logout guojingyi.cn
            # 登录web查验刚push的镜像
                项目——test01——已经有刚才push的镜像了
        # harbor服务管理
            # 启停服务
                docker-compose stop
                docker-compose start
            # 如果修改harbor.yml配置，并生效，则流程如下：
                docker-compose down -v
                vim harbor.yml
                prepare
                docker-compose up -d
        # 重装
            # 先进行清理
                docker-compose down -v
                rm -rf /etc/docker/certs.d/guojingyi.cn/
                rm -rf /opt/harbor/
                rm -rf /var/log/harbor/
            # 然后进行重新安装流程
                yield
# 升级harbor和管理harbor数据
    cd /opt/harbor
    docker-compose down
    # 备份harbor和数据库
        # 全备
            mv /opt/harbor /backupdir/ # 因为我修改了默认harbor.yml中的data_volum路径，data目录也在此目录下
            # 如果data目录在其他路径，记得备份data目录
                \cp -r /data/Database /backupdir/
    # 下载最新harbor最新安装包
        https://github.com/goharbor/harbor/releases
    # 迁移
        docker pull goharbor/harbor-migrator:[tag]
        # 将harbor.cfg升级为harbor.yml
            docker run -it --rm -v ${harbor_cfg}:/harbor-migration/harbor-cfg/harbor.yml -v ${harbor_yml}:/harbor-migration/harbor-cfg-out/harbor.yml goharbor/harbor-migrator:[tag] --cfg up
            # NOTE: The schema upgrade and data migration of Database is performed by core when Harbor starts, if the migration fails, please check the log of core to debug.
    # 安装
        sh install.sh or ./install.sh
    # 回滚
        cd /opt/harbor
        docker-compose down
        cd /opt && rm -rf /opt/harbor/
        cp -rf /backupdir/harbor/ /opt/ # 如果data目录在其他路径，记得备份data目录 cp -rf /backupdir/database/ /data/
        cd /opt/harbor/
        sh install.sh or ./install.sh
# harbor高可用方案：
    # 双主复制
        # 主从同步
            # harbor官方默认提供主从复制的方案来解决镜像同步问题，通过复制的方式，我们可以实时将测试环境harbor仓库的镜像同步到生产环境harbor，类似于如下流程：
                git——CI系统——开发registry——测试registry——staging registry——生产registry
            # 在实际生产运维的中，往往需要把镜像发布到几十或上百台集群节点上。这时，单个Registry已经无法满足大量节点的下载需求，因此要配置多个Registry实例做负载均衡。手工维护多个Registry实例上的镜像，将是十分繁琐的事情。Harbor可以支持一主多从的镜像发布模式，可以解决大规模镜像发布的难题
        # 双主复制
            # 所谓的双主复制其实就是复用主从同步实现两个harbor节点之间的双向同步，来保证数据的一致性，然后在两台harbor前端顶一个负载均衡器将进来的请求分流到不同的实例中去，只要有一个实例中有了新的镜像，就是自动的同步复制到另外的的实例中去，这样实现了负载均衡，也避免了单点故障，在一定程度上实现了Harbor的高可用性
                                    ——harbor master01——master01存储
                请求——LB（负载均衡）     复制||复制
                                    ——harbor master02——master02存储
        # 实际缺点
            # 这个方案有一个问题就是有可能两个Harbor实例中的数据不一致。假设如果一个实例A挂掉了，这个时候有新的镜像进来，那么新的镜像就会在另外一个实例B中，后面即使恢复了挂掉的A实例，Harbor实例B也不会自动去同步镜像，这样只能手动的先关掉Harbor实例B的复制策略，然后再开启复制策略，才能让实例B数据同步，让两个实例的数据一致。
            # 在实际生产使用中，主从复制十分的不靠谱。
    # 多实例共享后端存储（较推荐）
        # 共享后端存储算是一种比较标准的方案，就是多个Harbor实例共享同一个后端存储，任何一个实例持久化到存储的镜像，都可被其他实例中读取。通过前置LB进来的请求，可以分流到不同的实例中去处理，这样就实现了负载均衡，也避免了单点故障
                                    ——harbor instance01
            请求——LB（负载均衡） redis（高可用）||mysql(高可用)  ——共享存储
                                    ——harbor instance02
        # 方案要考虑的三个问题：
            1、共享存储的选取，Harbor的后端存储目前支持AWS S3、Openstack Swift, Ceph等，
            2、Session在不同的实例上共享，这个现在其实已经不是问题了，在最新的harbor中，默认session会存放在redis中，我们只需要将redis独立出来即可。可以通过redis sentinel或者redis cluster等方式来保证redis的可用性。在我们的实验环境里，仍然使用单台redis
            3、Harbor多实例数据库问题，这个也只需要将harbor中的数据库拆出来独立部署即可。让多实例共用一个外部数据库，数据库的高可用也可以通过数据库的高可用方案保证。

# kubernetes helm方式安装harbor官方教程
    https://github.com/goharbor/harbor-helm

# 开发人员国际化指南
    https://github.com/goharbor/harbor/blob/master/docs/developer_guide_i18n.md

# harbor源码编译指南：
    https://github.com/goharbor/harbor/blob/master/docs/compile_guide.md

# harbor默认为本地仓库，还可以设置成其他仓库的镜像
    # 注意：此设置下，harbor仅充当镜像服务器，不再接受image的推送
    操作步骤：
        # 修改配置
            vi Deploy/templates/registry/config.yml
            # 添加：
                proxy:
                    remoteurl: https://registry-1.docker.io
                # 如果连接docker hub私库，还需提供用户名和密码
                proxy:
                    remoteurl: https://registry-1.docker.io
                    username: [username]
                    password: [password]
                    
        # 重新生效配置
            ./prepare
        # docker使用此harbor镜像仓库
            docker --registry-mirror=https://<my-docker-mirror-host> daemon
            # 或者将registry-mirror添加到daemon.json
            {
                "registry-mirrors": ["https://<my-docker-mirror-host>"]
            }