如何将字符串传递到子进程中。Popen(使用 stdin 参数)?

How do I pass a string into subprocess.Popen (using the stdin argument)?

提问人:Daryl Spitzer 提问时间:10/3/2008 最后编辑:sshashank124Daryl Spitzer 更新时间:12/9/2021 访问量:430385

问:

如果我执行以下操作:

import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]

我得到:

Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
    p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'

显然,cStringIO.StringIO 对象不够接近文件鸭子以适应子进程。噗噗。如何解决此问题?

Python 子进程 stdin

评论

3赞 Daryl Spitzer 6/19/2013
我没有对我的答案提出异议,而是将其添加为评论......推荐阅读:Doug Hellmann 关于子进程的 Python Module of the Week 博客文章
4赞 jfs 3/17/2016
博客文章包含多个错误,例如,第一个代码示例:call(['ls', '-1'], shell=True) 不正确。我建议改为阅读子进程标签描述中的常见问题。特别是,Why 子进程。当args是sequence时,Popen不起作用?解释了为什么是错误的。我记得在博客文章下发表评论,但由于某种原因我现在没有看到它们。call(['ls', '-1'], shell=True)
2赞 12/27/2019
对于较新的版本,请参阅 stackoverflow.com/questions/48752152/...subprocess.run

答:

50赞 Daryl Spitzer 10/3/2008 #1

我想出了这个解决方法:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

有没有更好的?

评论

27赞 jfs 10/3/2008
@Moe:不鼓励使用,应使用。看看我的答案。stdin.write()p.communicate()
12赞 Jason Mock 8/26/2010
根据子进程文档:警告 - 使用 communicate() 而不是 .stdin.write、.stdout.read 或 .stderr.read 来避免由于任何其他操作系统管道缓冲区填满并阻塞子进程而导致的死锁。
2赞 Lucretiel 5/10/2016
如果您确信您的 stdout/err 永远不会填满(例如,它要进入一个文件,或者另一个线程正在吃掉它),并且您有无限量的数据要发送到 stdin,我认为这是很好的方法。
1赞 Lucretiel 5/10/2016
特别是,这样做仍然可以确保 stdin 是关闭的,因此,如果子进程是一个永远消耗输入的子进程,则将关闭管道并允许进程正常结束。communicate
0赞 Charles Duffy 3/13/2020
@Lucretiel,如果进程永远消耗 stdin,那么大概它仍然可以永远写 stdout,所以我们需要完全不同的技术(不能从它那里得到,即使没有参数也是如此)。read()communicate()
12赞 Dan Lenski 10/3/2008 #2

显然,cStringIO.StringIO 对象不够接近 适合子进程的文件鸭子。普彭

恐怕不是。管道是一个低级 OS 概念,因此它绝对需要一个由 OS 级文件描述符表示的文件对象。您的解决方法是正确的。

392赞 jfs 10/3/2008 #3

Popen.communicate() 文档:

请注意,如果要将数据发送到 进程的 stdin,您需要 创建 Popen 对象 stdin=管道。同样,要得到任何东西 除了结果元组中的 None, 您需要给出 stdout=PIPE 和/或 stderr=PIPE。

替换 os.popen*

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

警告使用 communicate() 而不是 stdin.write()、stdout.read() 或 stderr.read() 以避免死锁 到任何其他操作系统管道缓冲区 填满并阻止孩子 过程。

因此,您的示例可以写成如下:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

在 Python 3.5+ (3.6+ for ) 上,您可以使用 subprocess.run 将输入作为字符串传递给外部命令并获取其退出状态,并在一次调用中将其输出为字符串:encoding

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 

评论

17赞 OTZ 8/21/2010
这不是一个好的解决方案。特别是,如果这样做,则无法异步处理 p.stdout.readline 输出,因为必须等待整个 stdout 到达。它的内存效率也很低。
10赞 Nick T 11/18/2010
@OTZ 什么是更好的解决方案?
13赞 jfs 10/19/2011
@Nick T:“更好”取决于上下文。牛顿定律适用于它们适用的领域,但您需要狭义相对论来设计 GPS。请参阅对子进程进行非阻塞读取。python 中的 PIPE
9赞 Owen 1/22/2014
但请注意 communicate 的 NOTE:“如果数据大小很大或不受限制,请不要使用此方法”
2赞 TaborKelly 8/4/2018
您需要 python 3.6 才能将 arg 与 .如果您这样做,旧版本的 python3 可以工作:inputsubprocess.run()p = run(['grep', 'f'], stdout=PIPE, input=some_string.encode('ascii'))
2赞 gedwarp 4/9/2009 #4
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)

评论

0赞 Hayden Thring 4/11/2023
NameError:未定义全局名称“PIPE”
11赞 Michael Waddell 4/13/2012 #5
from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()

评论

3赞 Doug F 8/10/2013
仅供参考,临时文件。SpooledTemporaryFile.__doc__ 说: 临时文件包装器,专门用于在 StringIO 超过一定大小或需要 fileno 时从 StringIO 切换到真实文件。
7赞 Lucien Hercaud 6/14/2013 #6
"""
Ex: Dialog (2-way) with a Popen()
"""

p = subprocess.Popen('Your Command Here',
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=PIPE,
                 shell=True,
                 bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
  line = out
  line = line.rstrip("\n")

  if "WHATEVER1" in line:
      pr = 1
      p.stdin.write('DO 1\n')
      out = p.stdout.readline()
      continue

  if "WHATEVER2" in line:
      pr = 2
      p.stdin.write('DO 2\n')
      out = p.stdout.readline()
      continue
"""
..........
"""

out = p.stdout.readline()

p.wait()

评论

5赞 tripleee 10/29/2014
因为如此普遍地使用是没有充分理由的,而且这是一个流行的问题,让我指出,在很多情况下,这显然比让 shell 将命令和参数分解为标记要好,但不能提供任何有用的东西,同时增加了大量的复杂性,因此也增加了攻击面。shell=TruePopen(['cmd', 'with', 'args'])Popen('cmd with args', shell=True)
6赞 Lord Henry Wotton 5/19/2014 #7

请注意,如果太大,可能会给您带来麻烦,因为显然父进程会在分叉子进程之前对其进行缓冲,这意味着它此时需要“两倍”的内存(至少根据此处找到的“幕后”解释和链接文档)。在我的特殊情况下,是一个生成器,它首先被完全扩展,然后才写入,所以在子进程生成之前,父进程是巨大的, 并且没有留下任何内存来分叉它:Popen.communicate(input=s)ssstdin

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory

15赞 qed 7/27/2014 #8

我正在使用 python3 并发现您需要先对字符串进行编码,然后才能将其传递到 stdin:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)

评论

5赞 Six 1/17/2016
你不需要对输入进行编码,它只需要一个类似字节的对象(例如)。它也会将 err 和 out 作为字节返回。如果要避免这种情况,可以传递给 .然后它将接受 str 作为输入,并将 err/out 作为 str 返回。b'something'universal_newlines=TruePopen
2赞 Nacht 2/25/2016
但要注意,也会转换你的换行符以匹配你的系统universal_newlines=True
1赞 Flimm 12/8/2016
如果您使用的是 Python 3,请参阅我的答案以获取更方便的解决方案。
31赞 Graham Christensen 11/3/2015 #9

我有点惊讶没有人建议创建管道,在我看来,这是将字符串传递给子进程的 stdin 的最简单方法:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)

评论

3赞 tripleee 5/4/2016
和文档都同意您应该更喜欢后者而不是前者。这是一个传统解决方案,它有一个(稍微不那么简洁的)标准替代品;接受的答案引用了相关文档。ossubprocess
1赞 Graham Christensen 5/7/2016
我不确定这是否正确,三胞胎。引用的文档说明了为什么很难使用由该过程创建的管道,但在此解决方案中,它创建了一个管道并将其传递。我相信它避免了在流程开始后管理管道的潜在死锁问题。
0赞 hd1 2/19/2017
os.popen 已被弃用,取而代之的是 subprocess
3赞 jfs 8/18/2017
-1:导致死锁,可能会丢失数据。此功能已由 subprocess 模块提供。使用它而不是错误地重新实现它(尝试编写大于操作系统管道缓冲区的值)
2赞 wvxvw 12/27/2020
@tripleee子进程模块中管道的实现非常糟糕,并且无法控制。你甚至无法获取有关内置缓冲区大小的信息,更不用说,你不能告诉它管道的读写端是什么,也无法更改内置缓冲区。简而言之:子工艺管道是垃圾。不要使用它们。
41赞 Flimm 12/8/2016 #10

如果您使用的是 Python 3.4 或更高版本,则有一个很好的解决方案。使用参数而不是参数,后者接受字节参数:inputstdin

output_bytes = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)

这适用于check_output运行,但由于某种原因不能调用check_call

在 Python 3.7+ 中,您还可以添加 to make 将字符串作为输入并返回字符串(而不是):text=Truecheck_outputbytes

output_string = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input="foo",
    text=True,
)

评论

7赞 Flimm 10/5/2017
@vidstige 你说得对,这很奇怪。我会考虑将其作为 Python 错误提交,我看不出有什么充分的理由来说明为什么应该有争论,但不是.check_outputinputcall
3赞 Nikolaos Georgiou 2/22/2019
这是 Python 3.4+ 的最佳答案(在 Python 3.6 中使用它)。它确实不适用于,但它适用于 .它也适用于 input=string,只要您根据文档也传递编码参数。check_callrun
0赞 Vadim Fint 11/12/2022
@Flimm原因很明显:在引擎盖下使用,同时不使用。 要重得多,因为它涉及处理流,并且更简单、更快。runcheck_outputcommunicatecallcheck_callcommunicateselectcallcheck_call
7赞 user3064538 12/27/2019 #11

在 Python 3.7+ 上,执行以下操作:

my_data = "whatever you want\nshould match this f"
subprocess.run(["grep", "f"], text=True, input=my_data)

您可能希望添加以获取以字符串形式运行命令的输出。capture_output=True

在旧版本的 Python 上,替换为:text=Trueuniversal_newlines=True

subprocess.run(["grep", "f"], universal_newlines=True, input=my_data)
3赞 Ben DeMott 3/23/2021 #12

这对 来说有点矫枉过正,但通过我的旅程,我已经了解了 Linux 命令和 python 库grepexpectpexpect

  • 期待:与互动程序的对话
  • pexpect:用于生成子应用程序的 Python 模块;控制它们;并响应其输出中的预期模式。
import pexpect
child = pexpect.spawn('grep f', timeout=10)
child.sendline('text to match')
print(child.before)

使用交互式 shell 应用程序,就像使用 pexpect 一样微不足道ftp

import pexpect
child = pexpect.spawn ('ftp ftp.openbsd.org')
child.expect ('Name .*: ')
child.sendline ('anonymous')
child.expect ('Password:')
child.sendline ('[email protected]')
child.expect ('ftp> ')
child.sendline ('ls /pub/OpenBSD/')
child.expect ('ftp> ')
print child.before   # Print the result of the ls command.
child.interact()     # Give control of the child to the user.