使用 Docker-Compose 快速开始

前提条件

启动 HStream 需要一个内核版本不小于 Linux 4.14 的操作系统。

TIP

如果遇到无法使用 4.14 或以上版本 Linux 内核的情况，可以给 HStore 添加一个 --enable-dscp-reflection=false 选项。

安装

安装 docker

TIP

如果您已经有一安装好的 Docker，可以跳过这一步

浏览查阅 Install Docker Engine，然后安装到您的操作系统上。安装时，请注意检查您的设备是否满足所有的前置条件。

确认 Docker daemon 正在运行：

docker version

TIP

在 Linux，Docker 需要 root 权限。当然，你也可以以非 root 用户的方式运行 Docker，详情可以参考 Post-installation steps for Linux。

安装 docker-compose

TIP

如果您已经有一安装好的 Docker Compose，可以跳过这一步

浏览查阅 Install Docker Compose，然后安装到您的操作系统上。安装时，请注意检查您的设备是否满足所有的前置条件。

docker-compose -v

启动 HStreamDB 服务

WARNING

请不要在生产环境中使用以下配置

创建一个 quick-start.yaml, 可以直接下载或者复制以下内容:

yaml

version: "3.5"

services:
  hserver:
    image: hstreamdb/hstream:v0.16.0
    depends_on:
      - zookeeper
      - hstore
    ports:
      - "127.0.0.1:6570:6570"
    expose:
      - 6570
    networks:
      - hstream-quickstart
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /tmp:/tmp
      - data_store:/data/store
    command:
      - bash
      - "-c"
      - |
        set -e
        /usr/local/script/wait-for-storage.sh hstore 6440 zookeeper 2181 600 \
        /usr/local/bin/hstream-server \
        --bind-address 0.0.0.0 --port 6570 \
        --internal-port 6571 \
        --server-id 100 \
        --seed-nodes "$$(hostname -I | awk '{print $$1}'):6571" \
        --advertised-address $$(hostname -I | awk '{print $$1}') \
        --metastore-uri zk://zookeeper:2181 \
        --store-config /data/store/logdevice.conf \
        --store-admin-host hstore --store-admin-port 6440 \
        --store-log-level warning \
        --io-tasks-path /tmp/io/tasks \
        --io-tasks-network hstream-quickstart

  hstore:
    image: hstreamdb/hstream:v0.16.0
    networks:
      - hstream-quickstart
    volumes:
      - data_store:/data/store
    command:
      - bash
      - "-c"
      - |
        set -ex
        # N.B. "enable-dscp-reflection=false" is required for linux kernel which
        # doesn't support dscp reflection, e.g. centos7.
        /usr/local/bin/ld-dev-cluster --root /data/store \
        --use-tcp --tcp-host $$(hostname -I | awk '{print $$1}') \
        --user-admin-port 6440 \
        --param enable-dscp-reflection=false \
        --no-interactive

  zookeeper:
    image: zookeeper:3.7
    expose:
      - 2181
    networks:
      - hstream-quickstart
    volumes:
      - data_zk_data:/data
      - data_zk_datalog:/datalog

  hserver-init:
    image: hstreamdb/hstream:v0.16.0
    depends_on:
      - hserver
    networks:
      - hstream-quickstart
    command:
      - bash
      - "-c"
      - |
        timeout=60
        until ( \
            /usr/local/bin/hadmin server --host hserver --port 6570 status \
        ) >/dev/null 2>&1; do
            >&2 echo 'Waiting for servers ...'
            sleep 1
            timeout=$$((timeout - 1))
            [ $$timeout -le 0 ] && echo 'Timeout!' && exit 1;
        done; \
        /usr/local/bin/hadmin server --host hserver --port 6570 init

  hstream-exporter:
    depends_on:
      hserver-init:
        condition: service_completed_successfully
    image: hstreamdb/hstream-exporter:v0.2.0
    networks:
      - hstream-quickstart
    command:
      - bash
      - "-c"
      - |
        set -ex
        hstream-exporter --addr hstream://hserver:6570

  gen_prometheus_config:
    image: prom/prometheus
    entrypoint:
      - sh
      - "-c"
      - |
        echo '
        global:
          scrape_interval: 15s
          evaluation_interval: 15s

          external_labels:
            monitor: "hstream-monitor"

        scrape_configs:
          - job_name: "hstream_metrics"
            scrape_interval: 5s
            static_configs:
              - targets:
                  - hstream-exporter:9200
        ' > /prometheus/prometheus.yml
    volumes:
      - data_prom_config:/prometheus

  prometheus:
    image: prom/prometheus
    depends_on:
      gen_prometheus_config:
        condition: service_completed_successfully
    expose:
      - 9090
    networks:
      - hstream-quickstart
    ports:
      - "9090:9090"
    volumes:
      - data_prom_config:/etc/prometheus

  console:
    image: hstreamdb/hstream-console:v1.0.0-beta6
    depends_on:
      hserver-init:
        condition: service_completed_successfully
    expose:
      - 5177
    networks:
      - hstream-quickstart
    environment:
      - SERVER_PORT=5177
      - PROMETHEUS_URL=http://prometheus:9090
      - HSTREAM_PRIVATE_ADDRESS=hserver:6570
    ports:
      - "127.0.0.1:5177:5177"

networks:
  hstream-quickstart:
    name: hstream-quickstart

volumes:
  data_store:
    name: quickstart_data_store
  data_zk_data:
    name: quickstart_data_zk_data
  data_zk_datalog:
    name: quickstart_data_zk_datalog
  data_prom_config:
    name: quickstart_data_prom_config

在同一个文件夹中运行：

docker-compose -f quick-start.yaml up

如果出现如下信息，表明现在已经有了一个运行中的 HServer：

txt

hserver_1    | [INFO][2021-11-22T09:15:18+0000][app/server.hs:137:3][thread#67]************************
hserver_1    | [INFO][2021-11-22T09:15:18+0000][app/server.hs:145:3][thread#67]Server started on port 6570
hserver_1    | [INFO][2021-11-22T09:15:18+0000][app/server.hs:146:3][thread#67]*************************

TIP

当然，你也可以选择在后台启动：

docker-compose -f quick-start.yaml up -d

TIP

可以通过以下命令展示 logs：

docker-compose -f quick-start.yaml logs -f hserver

启动 HStreamDB 的 SQL 命令行界面

docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.16.0 hstream --port 6570 sql

如果所有的步骤都正确运行，您将会进入到命令行界面，并且能看见一下帮助信息：

txt

      __  _________________  _________    __  ___
     / / / / ___/_  __/ __ \/ ____/   |  /  |/  /
    / /_/ /\__ \ / / / /_/ / __/ / /| | / /|_/ /
   / __  /___/ // / / _, _/ /___/ ___ |/ /  / /
  /_/ /_//____//_/ /_/ |_/_____/_/  |_/_/  /_/

Command
  :h                           To show these help info
  :q                           To exit command line interface
  :help [sql_operation]        To show full usage of sql statement

SQL STATEMENTS:
  To create a simplest stream:
    CREATE STREAM stream_name;

  To create a query select all fields from a stream:
    SELECT * FROM stream_name EMIT CHANGES;

  To insert values to a stream:
    INSERT INTO stream_name (field1, field2) VALUES (1, 2);

>

创建一个 stream

首先，我们可以用 CREATE STREAM 语句创建一个名为 demo 的 stream.

sql

CREATE STREAM demo;

对这个 stream 执行一个持久的查询操作

现在，我们可以通过 SELECT 在这个 stream 上执行一个持久的查询。

这个查询的结果将被直接展现在 CLI 中。

以下查询任务会输出所有 demo stream 中具有 humidity 大于 70 的数据。

sql

SELECT * FROM demo WHERE humidity > 70 EMIT CHANGES;

现在看起来好像无事发生。这是因为从这个任务执行开始，还没有数据被写入到 demo 中。接下来，我们会写入一些数据，然后符合条件的数据就会被以上任务输出。

启动另一个 CLI 窗口

我们可以利用这个新的 CLI 来插入数据：

docker exec -it some-hstream-cli hstream --port 6570 sql

向 stream 中写入数据

输入并运行以下所有 INSERT 语句，然后关注我们之前创建的 CLI 窗口。

sql

INSERT INTO demo (temperature, humidity) VALUES (22, 80);
INSERT INTO demo (temperature, humidity) VALUES (15, 20);
INSERT INTO demo (temperature, humidity) VALUES (31, 76);
INSERT INTO demo (temperature, humidity) VALUES ( 5, 45);
INSERT INTO demo (temperature, humidity) VALUES (27, 82);
INSERT INTO demo (temperature, humidity) VALUES (28, 86);

不出意外的话，你将看到以下的结果。

json

{"humidity":{"$numberLong":"80"},"temperature":{"$numberLong":"22"}}
{"humidity":{"$numberLong":"76"},"temperature":{"$numberLong":"31"}}
{"humidity":{"$numberLong":"82"},"temperature":{"$numberLong":"27"}}
{"humidity":{"$numberLong":"86"},"temperature":{"$numberLong":"28"}}

Statements

Functions

使用 Docker-Compose 快速开始

前提条件

安装

安装 docker

安装 docker-compose

启动 HStreamDB 服务

启动 HStreamDB 的 SQL 命令行界面

创建一个 stream

对这个 stream 执行一个持久的查询操作

启动另一个 CLI 窗口

向 stream 中写入数据

使用 Docker-Compose 快速开始 ​

前提条件 ​

安装 ​

安装 docker ​

安装 docker-compose ​

启动 HStreamDB 服务 ​

启动 HStreamDB 的 SQL 命令行界面 ​

创建一个 stream ​

对这个 stream 执行一个持久的查询操作 ​

启动另一个 CLI 窗口 ​

向 stream 中写入数据 ​

使用 Docker-Compose 快速开始

前提条件

安装

安装 docker

安装 docker-compose

启动 HStreamDB 服务

启动 HStreamDB 的 SQL 命令行界面

创建一个 stream

对这个 stream 执行一个持久的查询操作

启动另一个 CLI 窗口

向 stream 中写入数据