Docker - 在服务之间共享本地存储

Docker - Share local storage between services

提问人:Luiscri 提问时间:6/20/2019 最后编辑:Luiscri 更新时间:6/20/2019 访问量:1259

问:

我正在构建一个多容器应用程序。以下是工作目录的整体视图:

MABSED/
|_ docker-compose.yml
|_ ...
|_ streamer/
|  |_ Dockerfile
|  |_ startStreaming.py
|  |_ credentials.py
|_ orchestrator/
   |_ Dockerfile
   |_ requirements.txt
   |_ tasks.py
   |_ my_sched.py
   |_ data/
   |  |_ streaming/
   |  |_ preprocessed/
   |  |_ results/
   |_ detector/
   |_ filter/
   |_ lemmatizer/

My App 有 4 种不同的服务:一个 ElastisSearch 容器、一个仪表板、一个从 Twitter 捕获推文的 Streamer 和一个执行任务并将结果保存在 ElasticSearch 中的 Orchestrator。

此问题仅涉及其中两个服务,即 Streamer 和 Orchestrator。正如我所说,我希望这两个组件共享数据,应用于我的应用程序意味着我希望 Orchestrator 能够访问 Streamer 捕获的推文。此外,我希望这些数据存储在我的计算机本地目录中,而不仅仅是存储在容器中,以防我在停止该过程后需要访问该信息。MABSED/orchestrator/data/

换句话说,当我这样做时,我需要两个容器获取存储的数据并添加相应的文件,以便当 Streamer 向 Orchestrator 添加新文件时可以注意到此更改并将新文件添加到 .docker-compose upMABSED/orchestrator/data/MABSED/orchestrator/data/streaming/MABSED/orchestrator/data/results/

此外,这是 Streamer 服务运行的脚本将数据保存到此相对路径,这在本地工作正常,但我不知道它是否会在 Docker 容器上运行。startStreaming.pyoutput_directory = '../orchestrator/data/streaming'

此时此刻,我的样子是这样的:docker-compose.yml

version: '2'

services:
  dashboard:
    build: demo-dashboard/
    ports:
     - "8080:8080"
    environment:
      - ES_ENDPOINT_EXTERNAL=http://localhost:9200
      - http.cors.enabled=true
      - http.cors.allow-origin=ES_ENDPOINT_EXTERNAL
      - http.cors.allow-headers=Content-Type, Access-Control-Allow-Headers, Authorization, X-Requested-With
      - http.cors.allow-credentials=true
    volumes:
     - ./demo-dashboard:/usr/src/app
    networks:
      - dashboard-network

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.7.0
    environment:
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - http.cors.enabled=true
      - http.cors.allow-origin=http://localhost:8080
      - http.cors.allow-headers=Content-Type, Access-Control-Allow-Headers, Authorization, X-Requested-With
      - http.cors.allow-credentials=true
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    mem_limit: 1g
    cap_add:
      - IPC_LOCK
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    networks:
      - dashboard-network
    ports:
      - 9200:9200

  orchestrator:
    image: orchestrator-mabsed
    build: orchestrator/
    environment:
      ES_HOST: 'elasticsearch'
    tty: true
    volumes:
      - ./orchestrator/data/:/usr/src/app/orchestrator/data

  streamer:
    image: streamer-mabsed
    build: streamer/
    tty: true
    volumes:
      - ./orchestrator/data/:/usr/src/orchestrator/data

volumes:
  esdata1:
    driver: local

networks:
  dashboard-network:
    driver: bridge

我想我需要创建一个卷才能实现这一点,但我对 Docker 相对较新,我不知道如何管理它。

这是我的 Streamer Dockerfile

FROM python:3.6

RUN pip3 install --user tweepy

WORKDIR /usr/src/app/
COPY startStreaming.py /usr/src/app/
COPY credentials.py /usr/src/app/

CMD python startStreaming.py

和我的 Orchestrator Dockerfile

FROM python:3.6

COPY . /usr/src/app/
WORKDIR /usr/src/app/
RUN pip3 install --user -r requirements.txt

CMD python my_sched.py
python docker-compose dockerfile

评论

0赞 David Maze 6/20/2019
与其尝试使用文件系统,不如使用一些外部数据存储;例如,主要将数据存储在 Elasticsearch 中?这样可以避免此问题,使扩展服务变得更加容易,并且在群集环境中可以更好地工作。

答:

1赞 Vineet Palan 6/20/2019 #1

您可以与服务共享同一个本地目录。
只需确保您的代码相应地引用目录(共享路径)即可。
在本例中为 /usr/src/app/orchestrator/data

样本:-

orchestrator:
image: orchestrator-mabsed
build: orchestrator/
environment:
  ES_HOST: 'elasticsearch'
tty: true
volumes:
  - MABSED/orchestrator/data/:/usr/src/app/orchestrator/data

streamer:
 image: streamer-mabsed
 build: streamer/
 tty: true
 volumes:
  - MABSED/orchestrator/data/:/usr/src/app/orchestrator/data

评论

0赞 Luiscri 6/20/2019
我编辑了问题中可以看出的。现在 Streamer 可以工作了,文件在我的本地存储库中生成,尽管在容器中导航,目录 /usr/src/orchestrator/ 不存在,我不知道为什么。但是,Orchestrator 服务不会意识到已创建新文件,因为它仍要求已存在的文件。知道我应该添加什么吗?docker-compose.yml
0赞 Vineet Palan 6/21/2019
在流媒体应用程序中,您可以检查共享目录的路径吗?目前是 - ./orchestrator/data/:/usr/src/orchestrator/data 不应该是 - ./orchestrator/data/:/usr/src/app/orchestrator/data
0赞 Luiscri 6/22/2019
我在该路径中映射了主机目录,因为我的 Streamer 脚本在本地保存文件,并且我希望它在本地和容器中具有一致性。两个容器中的命运路径应该相同,还是只对卷的源路径有影响?@VineetPalan../orchestrator/data/streaming/