计算机让我们更安全还是更不安全？

诺伯特·韦纳(Norbert Weiner)在1960年写了一篇关于自动化的一些道德和技术后果的论文。它通过两种方式警告计算机的危险：1)如果国际象棋程序只针对专业棋手进行训练，那么如果对手走错了一步棋，它可能会感到困惑。这并不危险。但想象一下假设对手是理性的核导弹系统。如果对手不理性，那么它可能会发射并发生意外的核战争。因此，必须有人为因素，这样才不会发生这种情况。我提供一个故事和一个相反的叙述。在第5季第23集，电视剧“城堡”的标题是“人的因素”，一个角色有以下故事要讲述：无人机自己要炸毁一辆汽车。但是人类注意到车上有红玫瑰，所以这是一对新婚夫妇，而不是恐怖分子。如果没有人类参与，这架无人机可能杀死了一对无辜的新婚夫妇！这一幕让我心烦意乱。很容易就会出现相反的情况：人类想要轰炸，而无人机(视力更好)注意到了玫瑰花。或者，计算机可能还有许多其他方面比人类更好。我不是说完全自动化的系统更好，我是说走哪条路并不明显。两者都是某种组合吗？什么密码？谁有最终决定权？在无人机的情况下，人类可能没有时间考虑这些选择。2)魔法师的学徒场景。在(原版)电影“幻想曲”的魔法师学徒片段中，米老鼠告诉一把扫帚给他拿杯水来。扫帚不停地给他送水，米奇差点淹死。计算机可能会按字面意思接受命令，并且不会停止。我想知道现在的自动股票交易和自动拍卖是否会有这个问题。有没有一个案例知道这确实造成了问题？