移动 2D 保存的点以补偿摄像机平移和倾斜时的 3D 透视变化

问：

我通过创建点并将生成的多边形绘制为相机视频源上的叠加层来绘制限制区域。相机只能平移和倾斜，而那些定义的点必须相应地移动，因此它们似乎实际上附着在我突出显示的现实世界区域上。

总是在图像的中心创建新点。我将相机精确对准要创建新点的位置，然后单击“创建”。然后我将相机移动到其他地方，然后再次单击“创建”。我重复，直到我有一个多边形。

我使用步进电机来平移和倾斜摄像机，因此我可以相应地移动绘图的 X 和 Y 原点，使它们看起来“粘”在我创建它们的真实世界对象上。

问题是：

如果我只是平移或倾斜相机，它只能在屏幕中央的 1 点上正常工作。屏幕上其他位置的先前点不适应透视变化，因此形状是错误的。

最简单的解决方案是什么？物体深度信息与我无关，我只需要 2D 视觉反馈即可查看限制区域。