OpenStack运维介绍及Keystone组件安装

OpenStack简介

OpenStack是一个开源的云计算管理平台项目由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单，可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（Infrastructure as a Service，IaaS）的解决方案，每个服务提供API以进行集成。

下图展示了OpenStack服务之间的关系：

要设计、部署和配置OpenStack、管理员必须了解逻辑体系结构。如上图所示，OpenStack由几个独立的部分组成，成为OpenStack服务。所有服务都是通过身份服务进行身份验证。各个服务通过公共API相互交互，除非需要特权管理员命令。

服务介绍

服务项目名称方法描述
DashboardHorizon提供了一个基于web的自服务门户，与OpenStack底层服务交互，诸如启动一个实例，分配IP地址以及配置访问控制
ComputeNova在OpenStack环境中计算实例的生命周期管理。按需响应包括生成、调度、回收虚拟机等操作。
NetworkingNeutron确保为其它OpenStack服务提供网络连接即服务 “Quantum”–>Neutron
Identity ManagementKeystone为其他OpenStack服务提供认证和授权服务，为所有的OpenStack服务提供一个端点目录。
Object StorageSwift通过一个 RESTful,基于HTTP的应用程序接口存储和任意检索的非结构化数据对象。它拥有高容错机制，基于数据复制和可扩展架构。它的实现并像是一个文件服务器需要挂载目录。在此种方式下，它写入对象和文件到多个硬盘中，以确保数据是在集群内跨服务器的多份复制
Block StorageCinder为运行实例而提供的持久性块存储。它的可插拔驱动架构的功能有助于创建和管理块存储设备
Image ServiceGlance存储和检索虚拟机磁盘镜像，OpenStack计算会在实例部署时使用此服务。
TelemetryCeilometer为OpenStack云的计费、基准、扩展性以及统计等目的提供监测和计量。
Database ServiceTrove提供管理数据库即服务配置关系和非关系数据库引擎节点的Trove相关，同时提供Trove在Horizon中的管理面板
Bare Metal ProvisioningIronic提供裸金属管理服务，Nova Baremetal驱动程序
OrchestrationHeat提供了基于模板来实现云环境中资源的初始化，依赖关系处理，部署等基本操作，也可以解决自动收缩,负载均衡等高级特性。
Data Processing ServiceSahara使用用户能够在Openstack平台上便于创建和管理Hadoop以及其他计算框架集群，

整个OpenStack是由控制节点，计算节点，网络节点，存储节点四大部分组成。（这四个节点也可以安装在一台机器上，单机部署）其中：

  • 控制节点：负责对其余节点的控制，包含虚拟机建立，迁移，网络分配，存储分配等等
  • 计算节点：负责虚拟机运行
  • 网络节点负责对外网络与内网络之间的通信
  • 存储节点负责对虚拟机的额外存储管理

下图显示OpenStack云最常见但不是唯一可能的架构：

我们随着安装随着介绍相关组件！

环境准备

IP名称角色
10.1.1.100master01.boysec.cn控制节点
10.1.1.110node01.boysec.cn计算节点

本次验证环境，使用核心服务和几个实例:

  • 控制节点: 1 处理器, 3 GB 内存, 及20 GB 存储
  • 计算节点: 1 处理器, 3 GB 内存, 及20 GB 存储

配置名称解析

设置节点主机名称

1
2
3
4
5
[root@master01 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.1.1.100 master01 master01.boysec.cn
10.1.1.110 node01 node01.boysec.cn

配置时间同步

1
2
3
4
5
6
7
8
9
10
# 安装chrony
yum -y install chrony
# 编辑“/etc/chrony.conf”文件并在你的环境需要的情况下增加、修改或者删除这些键值：
[root@master01 ~]# cat /etc/chrony.conf
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server ntp0.aliyun.com iburst

# 启动服务
systemctl enable chronyd.service
systemctl start chronyd.service

使用NTP服务器的主机名或者IP地址替换 NTP_SERVER 。配置支持设置多个 server 值。

注解

控制节点默认跟公共服务器池同步时间。但是你也可以选择性配置其他服务器，比如你组织中提供的服务器。

配置OpenStack yum仓库

1
2
3
4
5
subscription-manager repos --enable=rhel-7-server-optional-rpms \
  --enable=rhel-7-server-extras-rpms --enable=rhel-7-server-rh-common-rpms

# 这里可以选择自己需要版本
yum install centos-release-openstack-train

注意

如果是用的阿里云base yum仓库中自带train版，具体地址：阿里云开源镜像站资源目录 (aliyun.com)

安装数据库

  1. 安装软件包

    1
    yum install mariadb mariadb-server python-PyMySQL

  2. 创建并编辑 /etc/my.cnf.d/openstack.cnf，然后完成如下动作：

    • 在[mysqld]中，设置“bind-address”值为控制节点的管理网络IP地址以是的其他节点可以通过管理网络访问访问数据库。设置其他关键字来设置一些有用的选项和UTF-8编码：

      1
      2
      3
      4
      5
      6
      7
      8
      [mysqld]
      bind-address = 10.1.1.100

      default-storage-engine = innodb
      innodb_file_per_table = on
      max_connections = 4096
      collation-server = utf8_general_ci
      character-set-server = utf8

  3. 启动数据库

    1
    2
    systemctl enable mysql.service
    systemctl start mysql.service

消息队列

‎OpenStack 使用‎‎消息队列‎‎来协调服务之间的操作和状态信息。消息队列服务通常在控制器节点上运行。OpenStack支持多种消息队列服务，包括‎‎RabbitMQ，Qpid‎‎和‎‎ZeroMQ。

  1. 安装软件包

    1
    yum install rabbitmq-server

  2. 启动消息队列服务

    1
    2
    systemctl enable rabbitmq-server.service
    systemctl start rabbitmq-server.service

  3. 添加 openstack 用户：

    1
    2
    3
    4
    5
    6
    7
    8
    rabbitmqctl add_user openstack RABBIT_PASS

    # Creating user "openstack" ...
    # 查看用户
    rabbitmqctl list_users
    # Listing users
    # openstack       []
    # guest   [administrator]

    用合适的密码替换 RABBIT_DBPASS。

  4. 给openstack用户配置写和读权限：

    1
    2
    3
    4
    5
    6
    rabbitmqctl set_permissions openstack ".*" ".*" ".*"

    # Setting permissions for user "openstack" in vhost "/" ...
    [root@master01 ~]# rabbitmqctl list_user_permissions openstack
    Listing permissions for user "openstack"
    /       .*      .*      .*

  5. 查看需要启动的服务

    1
    2
    3
    4
    5
    6
    7
    8
    # 查看需要启动的服务
    rabbitmq-plugins list

    # 开启图形化界面
    rabbitmq-plugins enable rabbitmq_management

    # 访问
    http://10.1.1.100:15672/

Memcached安装

各类服务的身份认证机制使用Memcached缓存令牌。缓存服务memecached通常运行在控制节点。在生产部署中，我们推荐联合启用防火墙、认证和加密保证它的安全。

  1. 安装软件包：

    1
    yum install memcached python-memcached

  2. 编辑memched配置文件

    1
    2
    3
    4
    5
    6
    [root@master01 ~]# vim /etc/sysconfig/memcached 
    PORT="11211"
    USER="memcached"
    MAXCONN="1024"
    CACHESIZE="64"
    OPTIONS="-l 127.0.0.1,10.1.1.100"

  3. 启动服务

    1
    2
    systemctl enable memcached.service
    systemctl start memcached.service

认证服务安装（Keystone）

Keystone(OpenStack Identity Service)是 OpenStack 框架中负责管理身份验证、服务规则和服务令牌功能的模块。用户访问资源需要验证用户的身份与权限，服务执行操作也需要进行权限检测，这些都需要通过 Keystone 来处理。Keystone类似一个服务总线， 或者说是整个Openstack框架的注册表， 其他服务通过keystone来注册其服务的Endpoint（服务访问的URL），任何服务之间相互的调用， 需要经过Keystone的身份验证， 来获得目标服务的Endpoint来找到目标服务。

Keystone基本概念介绍

  1. user：User即用户，指的是使用openstack service的用户，可以是人，服务，系统，就是说只要是访问openstack service 的对象都可以称为User

  2. Credentials：是用于确认用户身份的凭证。说白了就是“信物”，可以是：

    • 用户名和密码
    • 用户名跟API Kye（秘钥）　　 # 这俩种是用户第一次确认身份的方法
    • 一个keystone分配的身份的token # 这是用户已经确认身份后的方法 （token是有时间限制）

  3. Authentication：

    • 用户身份验证的过程。keystone服务通过检查用户的Credentials来确定用户的身份
    • 第一次验证身份是使用用户名与密码或者用户名与API Key的形式。当用户的Credentials被验证后，keystone会给用户分配一个Authentication token 供该用户的后续请求操作（返回的token中就包含User的Role列表）

  4. Token

    • 是一串数字字符串，当用户访问资源时需要使用的东西，在keystone中主要是引入令牌机制来保护用户对资源的访问，同时引入PKI、PKIZ、fernet、UUID其中一个随机加密产生一串数字，对令牌加以保护
    • token并不是长久有效的，是有时效性的，在有效的时间内可以访问资源。

  5. Role：

    • 本身是一堆ACL集合，主要用于权限的划分。
    • 可以给User指定Role，是user获得role对应的操作权限。
    • 系统默认使用管理Role的角色 管理员用户：admin 普通用户：member（老版本） user（新版本）
    • user验证的时候必须带有Project。老版本叫（Tenant）

大体流程如下图：

  1. Policy

    • 对于keystone service 来说，Policy就是一个JSON文件，rpm安装默认是在/etc/keyston/policy.json。通过配置这个文件，keystone实现了对User基于Role的权限管理（User <– Role（ACL） <–Policy）
    • Policy就是用来控制User对Project（tenant）中资源的操作权限

  2. Project（Tenant）

    • Project（Tenant）是一个人或服务所拥有的资源集合。不同的Project之间资源是隔离的，资源可以设置配额
    • Project（Tenant）中可以有多个User，每一个User会根据权限的划分来使用Project（Tenant）中的资源
    • User在使用Project（Tenant）的资源前，必须要与这个Project关联，并且制定User在Project下的Role，一个assignment(关联) 即：Project-User-Role

  3. Service　

    • 即服务，如Nova，Glace，等各个组件

  4. Endpoint：

    • 用来通过访问和定位某个openstack service的地址，通常是一个URL
    • 不同的region有不同的Endpoint（region使用与跨地域的云服务，比如像阿里云有华北，华东等等，）
    • 任何服务都访问openstack service中的资源时，都要访问keystone
    • Endpoint分为三类：
      • admin url —>管理员用户使用 Port：35357
      • internal url —>openstack内部组件间互相通信 Port：5000 （组件之间通信基于Restful api）
      • public url —> 其他用户访问地址 Port：5000

  5. Service与Endpoint关系

    • 在openstack中，每一个service中都有三种Endpoint：Admin、Public、Internal（创建完service后需要为其创建API Endpoint）
    • Admin使用者为管理员，能够修改User Project（Tenant）
    • public使用者为客户端，使用者在外网管理自己云服务器
    • internal使用者为内部组件间相互调用
    • 三种Endpoint在网络上开放的权限也不同，Admin通常只能对内网开放，public通常可以对外网开放，internal只能对有安装openstack服务的机器开放

创建Keystone库

1
2
3
4
5
6
mysql -u root -p
CREATE DATABASE keystone;
GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost' \
IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%' \
IDENTIFIED BY '123456';

生成环境中请使用强密码！

安装配置Keystone

  1. 安装软件包

    1
    yum install openstack-keystone apache2-mod_wsgi

  2. 配置keystone

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    [root@master01 ~]# cp /etc/keystone/keystone.conf{,.bak}
    [root@master01 ~]# grep -Ev "^$|#" /etc/keystone/keystone.conf.bak > /etc/keystone/keystone.conf
    [root@master01 ~]# cat /etc/keystone/keystone.conf
    [DEFAULT]
    [application_credential]
    [assignment]
    [auth]
    [cache]
    [catalog]
    [cors]
    [credential]
    [database]
    connection = mysql+pymysql://keystone:123456@master01.boysec.cn/keystone
    [domain_config]
    [endpoint_filter]
    [endpoint_policy]
    [eventlet_server]
    [federation]
    [fernet_receipts]
    [fernet_tokens]
    [healthcheck]
    [identity]
    [identity_mapping]
    [jwt_tokens]
    [ldap]
    [memcache]
    [oauth1]
    [oslo_messaging_amqp]
    [oslo_messaging_kafka]
    [oslo_messaging_notifications]
    [oslo_messaging_rabbit]
    [oslo_middleware]
    [oslo_policy]
    [policy]
    [profiler]
    [receipt]
    [resource]
    [revoke]
    [role]
    [saml]
    [security_compliance]
    [shadow_users]
    [token]
    provider = fernet
    [tokenless_auth]
    [totp]
    [trust]
    [unified_limit]
    [wsgi]

  3. 初始化keystone数据库

    1
    su -s /bin/sh -c "keystone-manage db_sync" keystone

  4. 初始化fernet 密钥存储库(以下命令会生成两个密钥，生成的密钥放于/etc/keystone/目录下，用于加密数据）

    1
    2
    keystone-manage fernet_setup --keystone-user keystone --keystone-group keystone
    keystone-manage credential_setup --keystone-user keystone --keystone-group keystone

  5. 配置bootstrap身份认证服务

    1
    2
    3
    4
    5
    keystone-manage bootstrap --bootstrap-password ADMIN_PASS \
      --bootstrap-admin-url http://master01.boysec.cn:5000/v3/ \
      --bootstrap-internal-url http://master01.boysec.cn:5000/v3/ \
      --bootstrap-public-url http://master01.boysec.cn:5000/v3/ \
      --bootstrap-region-id RegionOne

    bootstrap-region-id RegionOne 指定一个区域名称

    ADMIN_PASS 我设置为keystone

    小贴士：
    此步骤是初始化openstack，会把openstack的admin用户的信息写入到mysql的user表中，以及url等其他信息写入到mysql的相关表中；
    admin-url是管理网(如公有云内部openstack管理网络)，用于管理虚拟机的扩容或删除；如果共有网络和管理网是一个网络，则当业务量大时，会造成无法通过openstack的控制端扩容虚拟机，所以需要一个管理网；
    internal-url是内部网络，进行数据传输，如虚拟机访问存储和数据库、zookeeper等中间件，这个网络是不能被外网访问的，只能用于企业内部访问
    public-url是共有网络，可以给用户访问的(如公有云) #但是此环境没有这些网络，则公用同一个网络
    5000端口是keystone提供认证的端口
    需要在haproxy服务器上添加一条listen
    各种网络的url需要指定master01.boysec.cn节点的域名，一般是haproxy的vip的域名（高可用模式）

配置Apache HTTP服务器

1
echo "ServerName master01.boysec.cn" >> /etc/httpd/conf/httpd.conf

创建配置文件

安装完mod_wsgi包后，会生成 wsgi-keystone.conf 这个文件，文件中配置了虚拟主机及监听了5000端口，mod_wsgi就是python的网关

1
ln -s /usr/share/keystone/wsgi-keystone.conf /etc/httpd/conf.d/

开启服务

1
2
systemctl enable httpd.service
systemctl start httpd.service

配置管理员账户的环境变量

这些环境变量用于创建角色和项目使用，但是创建角色和项目需要有认证信息，所以通过环境变量声明用户名和密码等认证信息，欺骗openstack已经登录且通过认证，这样就可以创建项目和角色；也就是把admin用户的验证信息通过声明环境变量的方式传递给openstack进行验证，实现针对openstack的非交互式操作

1
2
3
4
5
6
7
8
9
10
cat >> ~/.bashrc << EOF
export OS_USERNAME=admin
export OS_PASSWORD=keystone
export OS_PROJECT_NAME=admin
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_DOMAIN_NAME=Default
export OS_AUTH_URL=http://master01.boysec.cn:5000/v3
export OS_IDENTITY_API_VERSION=3
export OS_IMAGE_API_VERSION=2
EOF

通过配置环境变量，可以使用openstack命令进行一些操作

1
2
3
4
5
6
[root@master01 ~]# openstack user list
+----------------------------------+-----------+
| ID                               | Name      |
+----------------------------------+-----------+
| d8cd16895f8d4421975a3e22396af49a | admin     |
+----------------------------------+-----------+