部署harbor私有镜像仓库

harbor部署

harbor介绍

我们在日常Docker容器使用和管理过程中，渐渐发现部署企业私有仓库往往是很有必要的, 它可以帮助你管理企业的一些敏感镜像, 同时由于Docker Hub的下载速度和GFW的原因, 往往需要将一些无法直接下载的镜像导入本地私有仓库. 而Harbor就是部署企业私有仓库的一个不二之选。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，Harbor主要提供Dcoker Registry管理UI，提供的功能包括：基于角色访问的控制权限管理(RBAC)、AD/LDAP集成、日志审核、管理界面、自我注册、镜像复制和中文支持等。Harbor的目标是帮助用户迅速搭建一个企业级的Docker registry服务。它以Docker公司开源的registry为基础，额外提供了如下功能:
基于角色的访问控制(Role Based Access Control)
基于策略的镜像复制(Policy based image replication)
镜像的漏洞扫描(Vulnerability Scanning)
AD/LDAP集成(LDAP/AD support)
镜像的删除和空间清理(Image deletion & garbage collection)
友好的管理UI(Graphical user portal)
审计日志(Audit logging)
RESTful API
部署简单(Easy deployment)
Harbor的所有组件都在Dcoker中部署，所以Harbor可使用Docker Compose快速部署。需要特别注意：由于Harbor是基于Docker Registry V2版本，所以docker必须大于等于1.10.0版本，docker-compose必须要大于1.6.0版本！

Harbor仓库结构

Harbor依赖的外部组件

1. -> Nginx(即Proxy代理层): Nginx前端代理，主要用于分发前端页面ui访问和镜像上传和下载流量; Harbor的registry,UI,-> Nginx(即Proxy代理层): Nginx前端代理，主要用于分发前端页面ui访问和镜像上传和下载流量; Harbor的registry,UI,token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
2. -> Registry v2: 镜像仓库，负责存储镜像文件; Docker官方镜像仓库, 负责储存Docker镜像，并处理docker push/pull命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token进行解密验证。
3. -> Database(MySQL或Postgresql)：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
4. -> Registry v2: 镜像仓库，负责存储镜像文件; Docker官方镜像仓库, 负责储存Docker镜像，并处理docker push/pull命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token进行解密验证。
5. -> Database(MySQL或Postgresql)：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。

Harbor自有组件

• -> Core services(Admin Server): 这是Harbor的核心功能，主要提供以下服务：
•     -> UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
•     -> webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
•     -> Auth服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
•     -> API: 提供Harbor RESTful API
• -> Replication Job Service：提供多个 Harbor 实例之间的镜像同步功能。
• -> Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析

再来仔细看下Harbor主要组件和数据流走向：

• -> proxy，它是一个nginx前端代理，主要是分发前端页面ui访问和镜像上传和下载流量，上图中通过深蓝色先标识；
• -> ui提供了一个web管理页面，当然还包括了一个前端页面和后端API，底层使用mysql数据库；
• -> registry是镜像仓库，负责存储镜像文件，当镜像上传完毕后通过hook通知ui创建repository，上图通过红色线标识，当然registry的token认证也是通过ui组件完成；
• -> adminserver是系统的配置管理中心附带检查存储用量，ui和jobserver启动时候回需要加载adminserver的配置，通过灰色线标识；
• -> jobsevice是负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log，上图通过紫色线标识；
• -> log是日志汇总组件，通过docker的log-driver把日志汇总到一起，通过浅蓝色线条标识。

Harbor的误区

误区一: Harbor是负责存储容器镜像的 (Harbor是镜像仓库，那么它就应当是存储镜像的)

其实关于镜像的存储，Harbor使用的是官方的docker registry服务去完成，至于registry是用本地存储或者s3都是可以的，Harbor的功能是在此之上提供用户权限管理、镜像复制等功能，提高使用的registry的效率。

误区二：Harbor镜像复制是存储直接复制 (镜像的复制，很多人以为应该是镜像分层文件的直接拷贝)
其实Harbor镜像复制采用了一个更加通用、高屋建瓴的做法，通过docker registry 的API去拷贝，这不是省事，这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有docker registry功能不必重复造轮子，而且可以解决冲突和一致性的问题。

Harbor的部署说明

这里不建议使用kubernetes来部署, 原因是镜像仓库非常重要, 尽量保证部署和维护的简洁性, 因此这里直接使用compose的方式进行部署。官方提供3种部署Harbor的方式:
1）在线安装: 从Docker Hub下载Harbor的镜像来安装, 由于Docker Hub比较慢, 建议Docker配置好加速器。
2）离线安装: 这种方式应对与部署主机没联网的情况使用。需要提前下载离线安装包: harbor-offline-installer-.tgz 到本地
3）OVA安装: 这个主要用vCentor环境是使用

Harbor仓库部署的官方要求的最小系统配置

• -> 2个cpu
• -> 4g内存
• -> 40g硬盘，因为是存储镜像的所以推荐硬盘大点。

安装部署harbor

安装部署docker

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun #失败重新安装，先删除
rm -f /etc/yum.repos.d/local.rep，docker-ce.repo

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum update -y && yum install -y docker-ce

构建镜像的存储目录

mkdir -p /data/docker /etc/docker/
cat  >> /etc/docker/daemon.json << EOF
{  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
 "exec-opts": ["native.cgroupdriver=systemd"],
 "max-concurrent-downloads": 10, 
 "max-concurrent-uploads": 5, 
  "graph": "/data/docker",
    "storage-driver": "overlay2",
     "insecure-registries": ["registry.access.redhat.com","quay.io"],
 "log-opts": {    
  "max-size": "300m",
    "max-file": "2"  
}, 
 "live-restore": true
 } 
EOF

部署及下载镜像

官方地址下载

https://github.com/goharbor/harbor
cd /usr/local/src/
tar xf harbor-online-installer-v2.3.3.tgz
mv harbor /opt/harbor-v2.3.3
ln -s /opt/harbor-v2.3.3 /opt/harbor

创建数据存储及日志文件

mkdir -p /data/harbor/logs
cd /opt/harbor/
cp -pr harbor.yml.tmpl harbor.yml

修改配置文件

hostname: reg.mydomain.com-->hostname: harbor.yn.com 
http.port: 80-->port: 180 
harbor_admin_password: Harbor12345-->harbor_admin_password: Harbor12345 
data_volume: /data-->data_volume: /data/harbor 
log.location: /var/log/harbor-->log.location: /data/harbor/logs

安装docker-compose，harbor依赖docker-compose做单机编排

yum install epel-release -y
yum install python-pip –y
pip --version
pip install --upgrade pip
pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose 
docker-compose version
yum install docker-compose –y

检测是否安装完成

rpm -qa docker-compose

开始安装harbor

cd /opt/harbor/
systemctl start docker.service
./install.sh

检测启动容器

部署nginx 使用nginx反向代理

安装Nginx

yum -y install nginx

nginx新增配置文件

cat  > /etc/nginx/conf.d/harbor.92fuge.com.conf << EOF
server {
        listen 80;
       listen 443 ssl http2;
        server_name  harbor.92fuge.com ;
         access_log  /home/wwwlogs/harbor.92fuge.log  ;
         error_log  /home/wwwlogs/harbor.92fuge.log  ;
        if ($scheme = http ) {
	 return 301 https://$host$request_uri;
	  }
       #ssl on; 这里要注释掉
                                ssl_certificate   /etc/nginx/conf.d/ssl/6758444_harbor.92fuge.com.pem;
                                ssl_certificate_key  /etc/nginx/conf.d/ssl/6758444_harbor.92fuge.com.key;
                                ssl_session_timeout 5m;
                                ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
                                ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
                                ssl_prefer_server_ciphers on;


    #include none.conf;
    location / {
        proxy_pass http://localhost:180;
        client_max_body_size 2000m;    
        client_body_buffer_size 128k; 
        proxy_connect_timeout 90;   
        proxy_read_timeout 90;      
        proxy_buffer_size 4k;       
        proxy_buffers 6 32k;        
        proxy_busy_buffers_size 64k; 
        proxy_temp_file_write_size 64k;
    }

}
EOF

检测nginx并且启动

[root@harbor harbor]# nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@harbor harbor]# nginx

在客户端上操作harbor Web 端

登录后台操作harbor镜像

新建一个项目public

测试一下harbor

docker pull nginx:1.7.9
docker tag nginx:1.7.9  harbor.92fuge.com/public/nginx:v1.7.9
docker login -u admin harbor.92fuge.com
docker push harbor.92fuge.com/public/nginx:v1.7.9

用Harbor私有仓库

在harbor远程别的客户机上登录

[root@k8s-master01 ~]# docker login harbor.92fuge.com
Authenticating with existing credentials...
Stored credentials invalid or expired
Username (admin): admin
Password: 
Error response from daemon: Get "https://harbor.92fuge.com/v2/": unauthorized: authentication required

解决办法：

如下，在/etc/docker/daemon.json文件里添加"insecure-registries"配置。
  "insecure-registries": [
  "registry.access.redhat.com",
  "quay.io",
  "harbor.92fuge.com",
 "172.16.111.105:180",
 "172.16.111.105:1443",
 "harbor.92fuge.com:80",
 "harbor.92fuge.com:443"],

接着再次验证harbor登录，发现就能登录上了

[root@k8s-node01 ~]# docker login harbor.92fuge.com
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

------本页内容已结束，喜欢请分享------

感谢您的来访，获取更多精彩文章请收藏本站。