1、中文 4080 字 出处： Maeda Y, Tada T. FPGA implementation of a pulse density neural network with learning ability using simultaneous perturbationJ. IEEE Transactions on Neural Networks, 2003, 14(3):688-695. 基于 FPGA 具有 学习能力的 同时扰动 脉冲密度神经网络 Yutaka Maeda and Toshiki Tada 摘要 ： 当 考虑 到 神经网络 更广泛的使用时， 硬件实现是非常重要的 。特
2、别地， 伴随 学习能力的 神经网络的硬件实现是吸引人的 。在这些网络 中 ， 由于 反向传播的方法被广泛使用 ， 学习计划是 很有 趣 的 。 在电子系统中 渐变类型的学习规则 不容易实现 的 ， 因为 网络中所有的 权 重的梯度 计算 非常困难 。同时 扰 动方法 是更适用 ，因为学习规则只需要 网络的前向操作来修改权重而不像反向传播方法 。另外，脉冲密度 神经网络 有一些有前途的属性，它们 在噪声情况下具有鲁棒性 ， 并 可以处理模拟量的基础上的数字电路。在本文中，我们描述了一个 现场可编程 门阵列实现 的 使用同时 扰 动方法 作为 学习 计划 的脉冲密度 神经网络 。我们 通过一些例子
3、确认神经网络设计和操作的实际可行性 。 关键词 - 现场可编程门阵列（ FPGA），学习能力，神经网络（ NNS），脉冲密度，同时 扰动 一、引言 神经网络（ NNS） 被广泛 的应用， 其中 神经网络 通常在普通数字计算机上 被用作软件程序 。但是， 软件不能利用 神经网络 具有生物特性的价值 。 在这方面，利用硬件元件比如超 大规模集成（ VLSI） 来使 用神经网络 是 更好的 。 在考虑硬件实现 神经网络时 ， 硬件系统的学习机制 的 实现是一个重要而困难的问题 1。正如我们 所 知道 的 ， 反向传播方法 是常用的 。然而，要实现 电子系统的反向传播方法是非常困难 的 ，考虑 对所有
4、权重修改量的布线 ， S形函数 的 导数计算 等。 因此， 通过梯度方法实现具有学习能力的大规模神经网络是非常困难的， 因为梯度的驱动机制是复杂的 。从这个角度来看，我们必须设法找到一个 容易实现的 学习规则。 同时 扰动法是由 Spall2 3， Alespector4和 Cauwenberghs 5等人 提出的 。Maeda 也独立提出了 具有同时扰动的神经网络的学习规则并 发表了 该规则实际应用的可行性 6-8。 同时 ，学习规则 的优点在于它可以在 VLSI 中 实现模拟 神经网络 910。 同 时 扰动优化 法 的优点是方法简单。该方法可 以 仅使用误差函数的值估算出梯度 。因此，
5、相比其它的学习规则来讲， 这种学习规则 的应用 是比较容易的，因为它没有 计入 反向传播 回 路 的误差 。 特定的脉冲技术，如脉冲宽度或脉冲流，也进 入 了 实现 人工神经网络 的研究 。例如 ， El-Masry 等 人提出了 使用电流模式脉冲宽度 调制神经网络的有效应用 11。此外 ， Murray 等人 提出了使用模拟和数字技术 的 VLSI 神经网络 12。 特别 地， 脉冲密度 神经网络具 有迷人的性能 。 例如，脉冲系统 在噪声条件下是不受干扰的 。此外，脉冲密度 可以处理基于数字 电路 的模拟值 13。基于这些特点， Hikawa 提出了 使用反向传播 的 基于频率 的神经网络
6、 14。 在 14中，普通的反向传播方法被施加脉冲密度 神经网络 。 然而， 脉冲密度系统 采用反向传播方法 似乎是困难的 。其实， 14中所述的 神经网络 系统 要 完成基 于 脉冲密度的误差传播机制 ，在这种情况下，电路的设计 与同步扰动法相比 变得 更 复杂 。 最近，现场可编程门阵列（ FPGA）已在许多商业领域中使用，因为 它 们的 可重新配置性和柔软性 15。 在与普通的设备软件实现 的比较中， FPGA 还似乎是有前途用于实现 人工神经网络 。 VHDL 是一种非常流行的硬件描述语言（ HDL） ，它用于 描述或设计数字电路。在本研究的基本设计 中 使用到 了 HDL 语言 。 结合 同 时 扰动 方法与 脉冲密度 系统 ，我们可以很容易地设计模拟硬件 NN系统，并 具有学习能力 。 用于 FPGA 的脉冲密度 NN 系统的一些功能 可以概括如下：1）硬件 的平行利用； 2）同时扰动学习规则是非常简单的 ； 3）模拟神经网络系统 是 基于数字电路 实现的；
