如何在Python中计算逻辑sigmoid函数?

How to calculate a logistic sigmoid function in Python?

提问人:Richard Knop 提问时间:10/21/2010 最后编辑:LogicaRichard Knop 更新时间:11/2/2022 访问量:456861

问:

这是一个逻辑 sigmoid 函数:

enter image description here

我知道x。我现在如何在 Python 中计算 F(x)?

假设 x = 0.458。

F(x) = ?

蟒蛇 sigmoid

评论


答:

311赞 unwind 10/21/2010 #1

这应该可以做到:

import math

def sigmoid(x):
  return 1 / (1 + math.exp(-x))

现在,您可以通过调用以下命令来测试它:

>>> sigmoid(0.458)
0.61253961344091512

更新:请注意,以上内容主要用于将给定表达式直接一对一地翻译成 Python 代码。它没有经过测试,也没有被发现是一个数值合理的实现。如果你知道你需要一个非常健壮的实现,我相信还有其他人实际上已经考虑过这个问题。

评论

10赞 Martin Thoma 8/1/2014
只是因为我经常需要它来尝试一些小事情:sigmoid = lambda x: 1 / (1 + math.exp(-x))
5赞 Neil G 4/25/2015
这不适用于 x 的极端负值。我一直在使用这个不幸的实现,直到我注意到它正在创建 NaN。
3赞 Richard Rast 7/21/2016
如果替换为,则不会获得 NaN,但会收到运行时警告。math.expnp.exp
2赞 ViniciusArruda 11/23/2017
与 numpy 数组一起使用可能会产生一些错误,例如: .为了避免这种情况,您应该使用 .math.expTypeError: only length-1 arrays can be converted to Python scalarsnumpy.exp
2赞 Elias Hasle 2/6/2019
数值不稳定性可以通过简单地在表达式前添加来缓解吗?x = max(-709,x)
7赞 ghostdog74 10/21/2010 #2

另一种方式

>>> def sigmoid(x):
...     return 1 /(1+(math.e**-x))
...
>>> sigmoid(0.458)

评论

1赞 Richard Knop 10/21/2010
这和 unwind 的功能有什么区别?math.e**-x 比 math.exp(-x) 好吗?
0赞 ghostdog74 10/21/2010
在输出结果方面没有区别。如果你想知道速度方面的差异,你可以使用 timeit 来计时它们的执行。但这真的不重要。
10赞 japreiss 8/2/2013
pow通常用 和 来实现,所以直接使用几乎可以肯定更好。explogexp
3赞 Neil G 4/25/2015
当非常负面时,这会受到溢出的影响。x
247赞 Théo T 8/6/2014 #3

它也可用于 scipy: http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.logistic.html

In [1]: from scipy.stats import logistic

In [2]: logistic.cdf(0.458)
Out[2]: 0.61253961344091512

这只是另一个 scipy 函数的一个昂贵的包装器(因为它允许你缩放和转换逻辑函数):

In [3]: from scipy.special import expit

In [4]: expit(0.458)
Out[4]: 0.61253961344091512

如果您担心性能,请继续阅读,否则只需使用 expit

一些基准测试:

In [5]: def sigmoid(x):
  ....:     return 1 / (1 + math.exp(-x))
  ....: 

In [6]: %timeit -r 1 sigmoid(0.458)
1000000 loops, best of 1: 371 ns per loop


In [7]: %timeit -r 1 logistic.cdf(0.458)
10000 loops, best of 1: 72.2 µs per loop

In [8]: %timeit -r 1 expit(0.458)
100000 loops, best of 1: 2.98 µs per loop

正如预期的那样,它(远)慢于. 当使用单个值调用时,它仍然比 python 函数慢,因为它是用 C ( http://docs.scipy.org/doc/numpy/reference/ufuncs.html ) 编写的通用函数,因此具有调用开销。当使用单个值调用时,此开销大于其编译性质给出的计算加速。但是当涉及到大型数组时,它变得可以忽略不计:logistic.cdfexpitexpitsigmoidexpit

In [9]: import numpy as np

In [10]: x = np.random.random(1000000)

In [11]: def sigmoid_array(x):                                        
   ....:    return 1 / (1 + np.exp(-x))
   ....: 

(你会注意到从 to 的微小变化(第一个不支持数组,但如果你只有一个值要计算,速度会快得多))math.expnp.exp

In [12]: %timeit -r 1 -n 100 sigmoid_array(x)
100 loops, best of 1: 34.3 ms per loop

In [13]: %timeit -r 1 -n 100 expit(x)
100 loops, best of 1: 31 ms per loop

但是,当您确实需要性能时,一种常见的做法是将 sigmoid 函数的预计算表保存在 RAM 中,并用一些精度和内存来换取一些速度(例如:http://radimrehurek.com/2013/09/word2vec-in-python-part-two-optimizing/ )

另外,请注意,自 0.14.0 版本以来,实现在数值上是稳定的:https://github.com/scipy/scipy/issues/3385expit

评论

4赞 kd88 3/11/2016
通过在 sigmoid 函数中使用浮点数 (1.) 而不是 ints (1),可以将运行时间减少 ~10%
0赞 Théo T 3/12/2016
我不确定我是否理解您的意思(示例中使用浮点数),但无论如何,很少在中间体上计算 sigmoid。
2赞 krs013 4/4/2017
kd88 的意思是,您在函数 (1) 中使用的数字文字被解析为整数,并且必须在运行时转换为浮点数。使用浮点文字 (1.0) 将获得更好的性能。
1赞 5/14/2018
您始终可以矢量化函数,使其支持数组。
0赞 Andrew Louw 10/19/2019
你想谈谈一个昂贵的包装纸吗?%timeit -r 1 expit(0.458) %timeit -r 1 1/(1+np.exp(0.458))
61赞 Neil G 4/25/2015 #4

以下是如何以数值稳定的方式实现逻辑 sigmoid(如此处所述):

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = exp(-x)
        return 1 / (1 + z)
    else:
        z = exp(x)
        return z / (1 + z)

或者也许这更准确:

import numpy as np

def sigmoid(x):  
    return np.exp(-np.logaddexp(0, -x))

在内部,它实现了与上述相同的条件,但随后使用 .log1p

通常,多项式逻辑 sigmoid 为:

def nat_to_exp(q):
    max_q = max(0.0, np.max(q))
    rebased_q = q - max_q
    return np.exp(rebased_q - np.logaddexp(-max_q, np.logaddexp.reduce(rebased_q)))

(但是,logaddexp.reduce 可能更准确。

评论

0赞 Ciprian Tomoiagă 1/28/2017
参考多项式逻辑 Sigmoid (softmax),如果我还想要一个用于强化学习的温度参数,除以就足够了吗?因为我试过了,但我没有得到总和为 1 的概率max_qrebased_qtau
0赞 Neil G 1/28/2017
@CiprianTomoiaga 如果你想有一个温度,只需将你的证据()除以你的温度。rebased_q可以是任何东西:它不会改变答案;它提高了数值稳定性。q
0赞 Ciprian Tomoiagă 1/28/2017
你确定等同于softmax吗(正如你在另一个答案中提到的)?复制粘贴返回的概率总和不等于 1nat_to_exp
1赞 Yuval Atzmon 8/30/2017
你不是说吗?(注意而不是np.exp(-np.logaddexp(0, -x))npmath)
1赞 Yuval Atzmon 8/30/2017
明白了。我担心的是它不适用于数组math
3赞 czxttkl 12/25/2015 #5

@unwind的好答案。但是,它无法处理极端负数(抛出 OverflowError)。

我的改进:

def sigmoid(x):
    try:
        res = 1 / (1 + math.exp(-x))
    except OverflowError:
        res = 0.0
    return res

评论

0赞 Neil G 12/26/2015
这更好,但您仍然遭受负值的数字打击乐问题。
11赞 dontloo 4/6/2016 #6

通过转换函数的另一种方法:tanh

sigmoid = lambda x: .5 * (math.tanh(.5 * x) + 1)

评论

0赞 scottclowe 10/27/2018
@NeilG 在数学上,sigmoid(x) == (1 + tanh(x/2))/2。因此,这是一个有效的解决方案,尽管数值稳定方法更胜一筹。
9赞 Philipp Schwarz 6/4/2016 #7

我觉得很多人可能对改变 sigmoid 函数形状的自由参数感兴趣。其次,对于许多应用程序,您希望使用镜像 sigmoid 函数。第三,您可能希望执行简单的规范化,例如,输出值介于 0 和 1 之间。

尝试:

def normalized_sigmoid_fkt(a, b, x):
   '''
   Returns array of a horizontal mirrored normalized sigmoid function
   output between 0 and 1
   Function parameters a = center; b = width
   '''
   s= 1/(1+np.exp(b*(x-a)))
   return 1*(s-min(s))/(max(s)-min(s)) # normalize function to 0-1

并绘制和比较:

def draw_function_on_2x2_grid(x): 
    fig, ((ax1, ax2), (ax3, ax4)) = plt.subplots(2, 2)
    plt.subplots_adjust(wspace=.5)
    plt.subplots_adjust(hspace=.5)

    ax1.plot(x, normalized_sigmoid_fkt( .5, 18, x))
    ax1.set_title('1')

    ax2.plot(x, normalized_sigmoid_fkt(0.518, 10.549, x))
    ax2.set_title('2')

    ax3.plot(x, normalized_sigmoid_fkt( .7, 11, x))
    ax3.set_title('3')

    ax4.plot(x, normalized_sigmoid_fkt( .2, 14, x))
    ax4.set_title('4')
    plt.suptitle('Different normalized (sigmoid) function',size=10 )

    return fig

最后:

x = np.linspace(0,1,100)
Travel_function = draw_function_on_2x2_grid(x)

Sigmoid functions graph

3赞 Enrique Pérez Herrero 3/17/2018 #8

Tensorflow 还包括一个函数:https://www.tensorflow.org/versions/r1.2/api_docs/python/tf/sigmoidsigmoid

import tensorflow as tf

sess = tf.InteractiveSession()
x = 0.458
y = tf.sigmoid(x)

u = y.eval()
print(u)
# 0.6125396

评论

0赞 Enrique Pérez Herrero 3/5/2021
scikit-learn.org/stable/modules/generated/......
3赞 Yash Khare 5/15/2018 #9

逻辑 sigmoid 函数的数值稳定版本。

    def sigmoid(x):
        pos_mask = (x >= 0)
        neg_mask = (x < 0)
        z = np.zeros_like(x,dtype=float)
        z[pos_mask] = np.exp(-x[pos_mask])
        z[neg_mask] = np.exp(x[neg_mask])
        top = np.ones_like(x,dtype=float)
        top[neg_mask] = z[neg_mask]
        return top / (1 + z)

评论

1赞 Yash Khare 5/15/2018
如果 x 为正数,我们只使用 1 / (1 + np.exp(-x)),但是当 x 为负数时,我们使用函数 np.exp(x) / (1 + np.exp(x)) 而不是使用 1 / (1 + np.exp(-x)),因为当 x 为负数时,-x 将是正数,因此 np.exp(-x) 可能会由于 -x 的大值而爆炸。
8赞 Diatche 8/15/2018 #10

使用 numpy 包允许 sigmoid 函数解析向量。

根据深度学习,我使用以下代码:

import numpy as np
def sigmoid(x):
    s = 1/(1+np.exp(-x))
    return s
2赞 cristiandatum 9/10/2019 #11

一班...

In[1]: import numpy as np

In[2]: sigmoid=lambda x: 1 / (1 + np.exp(-x))

In[3]: sigmoid(3)
Out[3]: 0.9525741268224334
0赞 Dr Hazael Brown 1/31/2020 #12
import numpy as np

def sigmoid(x):
    s = 1 / (1 + np.exp(-x))
    return s

result = sigmoid(0.467)
print(result)

上面的代码是 python 中的逻辑 sigmoid 函数。 如果我知道, sigmoid 函数 .您可以尝试替换上面代码中已知的任何 x 值,您将得到不同的值 .x = 0.467F(x) = 0.385F(x)

1赞 Erfan 3/12/2020 #13

矢量化方法,使用或:pandas DataFrame/Seriesnumpy array

最热门的答案是单点计算的优化方法,但是当您想将这些方法应用于 pandas 系列或 numpy 数组时,它需要 ,这基本上是后台的 for 循环,并将遍历每一行并应用该方法。这是相当低效的。apply

为了加快我们的代码,我们可以利用矢量化和 numpy 广播:

x = np.arange(-5,5)
np.divide(1, 1+np.exp(-x))

0    0.006693
1    0.017986
2    0.047426
3    0.119203
4    0.268941
5    0.500000
6    0.731059
7    0.880797
8    0.952574
9    0.982014
dtype: float64

或者用一个:pandas Series

x = pd.Series(np.arange(-5,5))
np.divide(1, 1+np.exp(-x))

评论

0赞 Nic F 5/23/2023
或者只是将 numpy 数组传递给 expit。
1赞 Ali 4/25/2020 #14

你可以计算它为:

import math
def sigmoid(x):
  return 1 / (1 + math.exp(-x))

或概念性、更深层次且没有任何导入:

def sigmoid(x):
  return 1 / (1 + 2.718281828 ** -x)

或者你可以将 numpy 用于矩阵:

import numpy as np #make sure numpy is already installed
def sigmoid(x):
  return 1 / (1 + np.exp(-x))
0赞 Hardik Vagadia 10/26/2020 #15

下面是执行相同操作的 python 函数。

def sigmoid(x) :
    return 1.0/(1+np.exp(-x))
1赞 Rarblack 7/26/2021 #16

您可以简单地声明,如果将 - 放在 x 之前会让您感到困惑。1 / np.exp(x)

def sigmoid(x):
     return 1 /(1 + 1 / np.exp(x))

sigmoid(0.458)