提问人:Luiscri 提问时间:6/20/2019 最后编辑:Luiscri 更新时间:6/20/2019 访问量:1259
Docker - 在服务之间共享本地存储
Docker - Share local storage between services
问:
我正在构建一个多容器应用程序。以下是工作目录的整体视图:
MABSED/
|_ docker-compose.yml
|_ ...
|_ streamer/
| |_ Dockerfile
| |_ startStreaming.py
| |_ credentials.py
|_ orchestrator/
|_ Dockerfile
|_ requirements.txt
|_ tasks.py
|_ my_sched.py
|_ data/
| |_ streaming/
| |_ preprocessed/
| |_ results/
|_ detector/
|_ filter/
|_ lemmatizer/
My App 有 4 种不同的服务:一个 ElastisSearch 容器、一个仪表板、一个从 Twitter 捕获推文的 Streamer 和一个执行任务并将结果保存在 ElasticSearch 中的 Orchestrator。
此问题仅涉及其中两个服务,即 Streamer 和 Orchestrator。正如我所说,我希望这两个组件共享数据,应用于我的应用程序意味着我希望 Orchestrator 能够访问 Streamer 捕获的推文。此外,我希望这些数据存储在我的计算机本地目录中,而不仅仅是存储在容器中,以防我在停止该过程后需要访问该信息。MABSED/orchestrator/data/
换句话说,当我这样做时,我需要两个容器获取存储的数据并添加相应的文件,以便当 Streamer 向 Orchestrator 添加新文件时可以注意到此更改并将新文件添加到 .docker-compose up
MABSED/orchestrator/data/
MABSED/orchestrator/data/streaming/
MABSED/orchestrator/data/results/
此外,这是 Streamer 服务运行的脚本将数据保存到此相对路径,这在本地工作正常,但我不知道它是否会在 Docker 容器上运行。startStreaming.py
output_directory = '../orchestrator/data/streaming'
此时此刻,我的样子是这样的:docker-compose.yml
version: '2'
services:
dashboard:
build: demo-dashboard/
ports:
- "8080:8080"
environment:
- ES_ENDPOINT_EXTERNAL=http://localhost:9200
- http.cors.enabled=true
- http.cors.allow-origin=ES_ENDPOINT_EXTERNAL
- http.cors.allow-headers=Content-Type, Access-Control-Allow-Headers, Authorization, X-Requested-With
- http.cors.allow-credentials=true
volumes:
- ./demo-dashboard:/usr/src/app
networks:
- dashboard-network
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.7.0
environment:
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- http.cors.enabled=true
- http.cors.allow-origin=http://localhost:8080
- http.cors.allow-headers=Content-Type, Access-Control-Allow-Headers, Authorization, X-Requested-With
- http.cors.allow-credentials=true
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
mem_limit: 1g
cap_add:
- IPC_LOCK
volumes:
- esdata1:/usr/share/elasticsearch/data
networks:
- dashboard-network
ports:
- 9200:9200
orchestrator:
image: orchestrator-mabsed
build: orchestrator/
environment:
ES_HOST: 'elasticsearch'
tty: true
volumes:
- ./orchestrator/data/:/usr/src/app/orchestrator/data
streamer:
image: streamer-mabsed
build: streamer/
tty: true
volumes:
- ./orchestrator/data/:/usr/src/orchestrator/data
volumes:
esdata1:
driver: local
networks:
dashboard-network:
driver: bridge
我想我需要创建一个卷才能实现这一点,但我对 Docker 相对较新,我不知道如何管理它。
这是我的 Streamer Dockerfile:
FROM python:3.6
RUN pip3 install --user tweepy
WORKDIR /usr/src/app/
COPY startStreaming.py /usr/src/app/
COPY credentials.py /usr/src/app/
CMD python startStreaming.py
和我的 Orchestrator Dockerfile:
FROM python:3.6
COPY . /usr/src/app/
WORKDIR /usr/src/app/
RUN pip3 install --user -r requirements.txt
CMD python my_sched.py
答:
您可以与服务共享同一个本地目录。
只需确保您的代码相应地引用目录(共享路径)即可。
在本例中为 /usr/src/app/orchestrator/data
样本:-
orchestrator:
image: orchestrator-mabsed
build: orchestrator/
environment:
ES_HOST: 'elasticsearch'
tty: true
volumes:
- MABSED/orchestrator/data/:/usr/src/app/orchestrator/data
streamer:
image: streamer-mabsed
build: streamer/
tty: true
volumes:
- MABSED/orchestrator/data/:/usr/src/app/orchestrator/data
评论
docker-compose.yml
../orchestrator/data/streaming/
上一个:绘图添加下拉菜单以图
评论