TensorFlow 中索引张量指定的切片 2D 张量

slice 2d tensor specified by index tensor in tensorflow

提问人:abhi 提问时间:1/4/2019 更新时间:1/4/2019 访问量:485

问:

我有一个 2d 张量,我想从每行中提取一些起始元素。
我有列索引(对于每行),直到必须捕获元素。
请注意,不同行的列索引是不同的。
以下示例使它创建: 2d 张量是:

[[4 2 4 4 1 1 1 1 1 1 1 1 1 1 1 1]  
 [4 4 4 4 4 4 4 1 1 1 1 1 1 1 1 1]  
 [4 4 4 5 4 4 4 1 1 1 1 1 1 1 1 1]  
 [4 4 1 4 4 4 4 1 1 1 1 1 1 1 1 1]  
 [4 4 4 4 6 4 4 8 8 1 1 1 1 1 1 1]  
 [3 9 9 9 9 9 9 1 1 1 1 1 1 1 1 1]  
 [3 9 9 9 9 9 9 1 1 1 1 1 1 1 1 1]  
 [1 9 9 9 9 9 9 1 1 1 1 1 1 1 1 1]  
 [3 9 4 9 9 9 9 1 1 1 1 1 1 1 1 1]  
 [3 9 9 6 9 9 9 1 1 1 1 1 1 1 1 1]]  

索引数组为:

[4 7 7 7 9 7 7 7 7 7]

如何从上面的索引数组中获取以下数组:

[[4 2 4 4 ]  
 [4 4 4 4 4 4 4 ]  
 [4 4 4 5 4 4 4]  
 [4 4 1 4 4 4 4]  
 [4 4 4 4 6 4 4 8 8]  
 [3 9 9 9 9 9 9 ]  
 [3 9 9 9 9 9 9 ]  
 [1 9 9 9 9 9 9 ]  
 [3 9 4 9 9 9 9 ]  
 [3 9 9 6 9 9 9 ]]  
Python 数组 python-2.7 tensorflow 切片

评论

0赞 jdehesa 1/4/2019
问题是您描述的输出不能是数组,因为每个切片的大小都不同。你到底想得到什么?你可以有一个数组或一个 ,但这些不如适当的 .您打算如何使用输出?listtf.TensorArraytf.Tensor
0赞 abhi 1/4/2019
我想将这个张量转换为稀疏张量,但我不能这样做,因为行中的一些结束元素也存在于行的中间。因此,我想提取索引数组指定的起始元素,并将生成的张量转换为稀疏张量。

答:

1赞 jdehesa 1/4/2019 #1

以下是将其作为稀疏张量获取的方法:

import tensorflow as tf

# Example data
data = [[4, 2, 4, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [4, 4, 4, 4, 4, 4, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [4, 4, 4, 5, 4, 4, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [4, 4, 1, 4, 4, 4, 4, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [4, 4, 4, 4, 6, 4, 4, 8, 8, 1, 1, 1, 1, 1, 1, 1],
        [3, 9, 9, 9, 9, 9, 9, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [3, 9, 9, 9, 9, 9, 9, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [1, 9, 9, 9, 9, 9, 9, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [3, 9, 4, 9, 9, 9, 9, 1, 1, 1, 1, 1, 1, 1, 1, 1],
        [3, 9, 9, 6, 9, 9, 9, 1, 1, 1, 1, 1, 1, 1, 1, 1]]
sizes = [4, 7, 7, 7, 9, 7, 7, 7, 7, 7]

with tf.Graph().as_default():
    # Input data
    data_ph = tf.placeholder(tf.int32, [None, None])
    sizes_ph = tf.placeholder(tf.int32, [None])
    shape = tf.shape(data_ph)
    # Make coordinates grid
    ii, jj = tf.meshgrid(tf.range(shape[0]), tf.range(shape[1]), indexing='ij')
    # Make mask for values
    mask = jj < tf.expand_dims(sizes_ph, 1)
    # Take values and coordinates
    sp_values = tf.boolean_mask(data_ph, mask)
    sp_ii = tf.boolean_mask(ii, mask)
    sp_jj = tf.boolean_mask(jj, mask)
    # Make sparse index
    sp_idx = tf.cast(tf.stack([sp_ii, sp_jj], axis=1), tf.int64)
    # Make sparse tensor
    sp_tensor = tf.sparse.SparseTensor(sp_idx, sp_values, tf.cast(shape, tf.int64))
    # Convert back to dense for testing
    sp_to_dense = tf.sparse.to_dense(sp_tensor)
    # Test
    with tf.Session() as sess:
        sp_to_dense_value = sess.run(sp_to_dense, feed_dict={data_ph: data, sizes_ph: sizes})
        print(sp_to_dense_value)

输出:

[[4 2 4 4 0 0 0 0 0 0 0 0 0 0 0 0]
 [4 4 4 4 4 4 4 0 0 0 0 0 0 0 0 0]
 [4 4 4 5 4 4 4 0 0 0 0 0 0 0 0 0]
 [4 4 1 4 4 4 4 0 0 0 0 0 0 0 0 0]
 [4 4 4 4 6 4 4 8 8 0 0 0 0 0 0 0]
 [3 9 9 9 9 9 9 0 0 0 0 0 0 0 0 0]
 [3 9 9 9 9 9 9 0 0 0 0 0 0 0 0 0]
 [1 9 9 9 9 9 9 0 0 0 0 0 0 0 0 0]
 [3 9 4 9 9 9 9 0 0 0 0 0 0 0 0 0]
 [3 9 9 6 9 9 9 0 0 0 0 0 0 0 0 0]]

这并不是绝对理想的,因为它需要使用完整的坐标网格进行操作。在 NumPy 中,您可能能够先生成索引,然后仅从密集张量中选择所需的值,但我不确定 TensorFlow 是否可能。

评论

0赞 abhi 1/5/2019
只有一件事要澄清。TensorFlow 是否支持在以下场景中训练神经网络的这些操作:“data”张量是 network1 的输出,“sp_tensor”用于计算 network2 的损失以及 network2 的输出。由于这些操作是不可微分的,我怀疑 network1 和 network2 的训练是否会正确进行。