提问人： 提问时间：9/18/2008 最后编辑：5 revsstephbu 更新时间：9/23/2008 访问量：645
文件复制解决方案
File Replication Solutions
问：
考虑一个 Windows 托管的生成过程，该过程将定期将文件拖放到磁盘，以复制到同一数据中心中的其他几个 Windows Server。其他机器将运行IIS，并将这些文件提供给大众。
总语料库大小将是数百万个文件，100 GB的数据。它必须处理目标服务器上可能出现的争用、潜在链接（例如通过 WAN、冷启动干净服务器）
到目前为止，我考虑过的解决方案：
- 队列系统和守护程序会定期唤醒并复制或作为服务运行。
- SAN - 昂贵、复杂、更昂贵
- ROBOCOPY，定时工作 - 简单但有效。许多内部/不确定状态，例如它在复制中的位置，错误
- 现成的软件 - 比 SAN 便宜，但仍然很贵
- UNC 共享文件夹，没有 repl。更高的延迟，更低的成本 - 仍然需要集群解决方案。
- DFS 复制。
其他人还用过什么？
答：
1赞
Don Neufeld
9/18/2008
#1
我已经使用了 rsync 脚本，在这种类型的工作中取得了很好的成功，在我们的例子中是 1000 台机器。我相信有一个适用于 Windows 的 rsync 服务器，但我没有在 Linux 以外的任何东西上使用它。
0赞
phreakre
9/18/2008
#2
我们在我的组织中使用 ROBOCOPY 来传递文件。它运行得非常无缝，我觉得值得推荐。
此外，你没有做任何太疯狂的事情。如果你也精通perl，我相信你可以写一个快速的脚本来满足你的需求。
评论
0赞
stephbu
9/18/2008
是的，我会把它们都归为一类 - 控制台驱动的爬虫应用程序
1赞
Philippe Grondier
9/19/2008
#3
虽然我们没有数百万千兆的数据需要管理，但我们在一夜之间在我们的主要公司及其国外代理机构之间发送和收集了大量文件。我们使用 allwaysync 已经有一段时间了。它允许文件夹/ftp 同步。它有一个很好的界面，允许文件夹和文件分析和比较，当然可以安排。
1赞
bzlm
9/23/2008
#4
UNC 共享文件夹和无复制有许多缺点，尤其是在 IIS 将使用 UNC 路径作为站点的主目录时。在压力下，由于与共享文件夹的服务器同时进行的会话数，您将遇到 http://support.microsoft.com/default.aspx/kb/810886。此外，您将遇到 IIS 站点启动缓慢的情况，因为 IIS 将需要扫描/索引/缓存（取决于 IIS 版本和 ASP 设置）UNC 文件夹。
我见过DFS的测试非常有前途，没有显示上述限制。
评论