强氧Renderfarm的架构和实现
作者:网友整理
瀑布圈子安卓版(丰富的营销方案) v1.5.9 正式版 21.50M / 简体中文
点击下载
安辰通APP安卓版(ACryptCall) v7.5.5 手机版 42.71M / 简体中文
点击下载
有联app安卓版(云服务平台) v1.0.0.0 手机版 44M / 简体中文
点击下载关于Renderfarm
Renderfarm（渲染农场）其实是一种通俗的叫法，实际上我们应该叫他“分布式并行集群计算系统”，这是一种利用现成的CPU、以太网和操作系统构建的超级计算机，它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。
集群（cluster）指的是一组计算机通过通信协议连接在一起的计算机群，它们能够将工作负载从一个超载的计算机迁移到集群中的其他计算机上，这一特性称为负载均衡（load balancing），它的目标是使用主流的硬件设备组成网格计算能力，达到、甚至超过天价的超级计算机的计算性能。
典型的超级计算机生产厂商包括IBM、SGI，以及其他一些大学、科研组织，以IBM Blue Pacific超级计算机为例，它拥有5800 个处理器来计算核反应的物理模拟过程，这样的计算机价格对于绝大部分商业用户是很难承受的，而且要面临很多的技术和维护问题，并且换代成本也很高，升级能力差。因此，发展了利用通信技术连接其他计算机，组成一个网格计算系统，可以分配负载的工作给其他计算机的CPU进行处理的解决方法来模拟超级计算机的能力。目前很多超级计算机也是通过集群技术得到的，特别是近年，名列世界Top500的超级计算机多数指集群系统，集群计算已经是比较成熟技术，但它仍在继续发展着。
昂贵的SGI Altix超级计算机
目前的集群技术绝大多数都具有负载平衡的特性，他们主要应用与科学计算，包括航天航空、石油、科研、网络等行业，这种技术应用于电影电视、CG行业时，因为主要用来解决长时间的图像渲染问题，所以被称为“Renderfarm（渲染农场）”，最近的几部大片的制作都依赖Renderfarm系统来进行快速渲染，比如Weta制作的《魔戒》，如果没有Renderfarm（渲染农场）平台，而是使用高性能计算机的话，我们不知需要多少年以后才能看到这部电影，或者导演根本就不可能考虑制作这样视觉效果的电影。
负载均衡的工作原理
分布式并行计算分为空间上的并行和时间上的并行。空间上的并行是指用多个处理器并发的执行计算，比如Mentalray渲染器就支持单帧画面分割渲染，时间上的并行就是指流水线技术，比如使用强氧Renderfarm提交渲染电影序列。现在的集群计算系统的前沿科学研究主要是空间并行方面的，时间上的流式并行计算已经得到广泛应用。
以电影制作为例，一段电影图像序列需要很长时间的渲染，（通常2K分辨率所需要的渲染时间能被大家接受的大概是在每帧1小时左右），管理节点将序列图像分割为若干单元通过Web分配给其他节点，这个过程是动态的，集群软件会检查每个节点的当前负载，如果某个计算节点硬件配置比较高，很快完成了第一次分配的渲染工作，那么管理节点继续会将剩余工作分割为若干单元然后再发送给这个已完成渲染的空闲计算节点，直到渲染工作完成。目前用于CG渲染的商业RenderFarm软件的核心功能其实就是动态分配渲染进程、网络监控和数据管理。
负载均衡系统使计算负载可以在计算机集群中尽可能平均分摊处理。负载一般是需要应用程序处理，这样的系统适合于运行同一组应用程序的大量用户，比如用于Maya渲染的工作组，每个节点都可以处理一部分工作，并且可以在集群节点之间动态分配负载，以实现平衡。
集群计算管理需要涉及网络流量和流量管理。负载均衡应用服务要求集群软件检查每个节点的当前负载，并确定哪些节点可以接受新的作业，这最适合运行如数据分析等串行和批处理作业，所以很容易允许具有批渲染能力的应用软件加载集群功能，一些集群软件被开发出来，它们通过TCP/IP 进行流量管理，并且针对特定的应用程序的API或Script接口编写批处理命令，如Muster，并且这些集群软件还可以配置成关注某特定节点的硬件或操作系统功能（受应用软件制约），这样，群集中的节点就没有必要是一致的，硬件和系统异构也就很容易实现。
实现负载均衡的方式可以分为软件负载均衡和硬件负载均衡两种方式，由于硬件负载均衡的实现非常昂贵，很多集群系统都采用了软件负载均衡，强氧集群系统就是使用软件均衡。
并行计算的问题
并行原理是将整个数据分割成N个模块分配给N个CPU计算，在每一个CPU中启动计算进程，由主进程调度各CPU的计算。
并行集群计算有一个效率发挥的问题，理论上CPU数量和渲染时间与实际会有差异，而且不同系统的实际时间也不尽相同。
理论上说CPU数量越大，渲染时间越短，它们成反比关系。例如，一个任务由N颗CPU来完成，假设1颗CPU（N = 1）完成此任务所需要的时间T为1, 则n颗CPU的效率是1颗CPU效率的N倍，也即
然而事实上，动画渲染花费的时间和CPU的数量并非成线性反比。
当计算节点到某个数量级别的时候，简单地增加CPU数量或者计算节点根本无法有效地提高渲染的效率，这时的计算方式为：
CPU个数达到一定数量后系统效率不但不增加，还有可能减少。造成这种问题的瓶颈主要在于通信（不止网络通信，还包括PC内部CPU、内存和硬盘之间的通信）和软件的算法，系统中使用多少个节点计算机（基于CPU的数量）也是需要考虑的问题。
这就需要一个拥有优秀算法的集群渲染管理软件进行调度并发挥每个CPU的效能并且使用性能优异的硬件配置。
强氧Renderfarm特性
强氧Renderfarm是基于软件和硬件应用的完美结合，采用基于微软Windows的Render farm，最新的网络管理方式，是用于管理复杂的和跨平台的高级3D和2D网络渲染解决方案，在渲染效率、稳定性、灵活性方面具有强有力的优势！
强氧Renderfarm独特的“蜂群”构架消除了对集中“管理器“的需求――就像程序一样。
1）基于1U平台解决方案
在标准的42U机轨上轻松部署160颗处理器运算节点，提供业内独一无二的高性能－－它带有众多创新性的选项：多核处理器、NVIDIA Quadro FX 图形处理和高性能千兆以太网。
2）强劲的处理器支持
支持最新的双核心处理器，在1U平台上集成四颗物理核心处理器，提供超过普通双处理器平台双倍的运算效率!
3）64位系统构架
采用64位系统架构，良好兼容32位运算，平滑过渡到64位系统！
4）友善的用户界面
针对广大用户的反馈，强氧Renderfarm对自身做出了相应的改进：没有了缓慢的页面、晦涩难懂的术语和运行怪异的多平台用户界面窗口部件，取而代之的是一个单一完整的Monitor用户界面。
5）对当前各种渲染包的完美支持
除了能够支持所有标准命令行渲染工具，强氧Renderfarm带有针对Maya，3ds max，Digital Fusion, Lightwave, Softimage XSI 和AfterEffects等软件的自定义编写窗口，通过专门的应用软件脚本或者插件，以实现高效率及可配置性。广泛的应用程序支持包括：
3dsmax
After Effects
Combustion
Digital Fusion
Gelato
Lightwave
Maya
Shake
Softimage XSI
基于RIB渲染引擎3Delight、AIR、BMRT、Entropy、PRMan、Pixie、RenderDotC
脚本和C＋＋SDK插件
支持渲染引擎的脚本，SDK提供强大灵活的特性。
整合RPManager
6）多个工作时间表选项
数字显示的工作优先级、机器资源、指定的并发事件限制群以及特定工作黑名单使您既可以处理有限证件插件和渲染包，也能够准确地在多部门间控制渲染资源的分配。
7）管理和审查
管理特性可选择密码保护。任何对工作、任务及从属项目更改都可被记录并跟踪。
整合的远程管理功能，如：设备统计报告（CPU、磁盘空间、存储器、操作系统及修补包）、远程启动/停止/重启从属程序和设备、在远程设备上执行任意命令行。
远程错误报告直接向Frantic Films Software报告渲染错误和一般应用程序错误可以缩短停工期并加快问题的解决。
9）良好的系统兼容性
强氧Renderfarm可以良好的运行于Microsoft Windows 2000，Microsoft Windows Server 2000和Microsoft Windows XP和运行在Microsoft .NET 1.1平台的顶层，他通过向一个Windows共享的文件夹读写文件实现网络渲染，没有必要在贮藏库主机上安装客户端软件。
对少于11台机器的Render farm，任意Windows 2000 或 Windows Xp机器都能作为贮藏库主机使用，而对多于11台机器的较大Render farm，推荐下面任意一种配置：
Microsoft Windows 2000 Server,
Microsoft Windows 2000 Advanced Server,
Microsoft Windows 2003 Server
如果没有从微软另购买用户访问证件，标准配置的Microsoft Windows 2000 和Windows XP不允许多于10个接入连接。
[page]
强氧集群系统的构成
强氧RenderFarm集群系统按照功能来进行分类，可以分为以下4类：
1.计算节点；
2.以太网交换机或者Myrinet交换机；
3.服务器端；
4.存储节点。
1）管理节点
管理节点主要承担两种任务，为计算节点提供基本的网络服务，以及调度计算节点上的工作，通常集群的工作调度程序应该运行在这个节点上。在强氧Renderfarm集群系统中，允许服务器端以及所有的计算节点都可以作为管理节点管理渲染进程，当然也可以在服务器端限制用户的权限。
2）计算节点
计算节点是整个集群系统的计算核心，它的功能就是执行计算。这需要根据你的需要和预算来决定采用什么样的配置，对于集群系统来说，双CPU工作站作为渲染节点具有广泛的用户群，以及更高的性价比。我们参考强氧RA1000做为渲染集群计算节点的硬件配置：
| 型号 | 强氧O2 RenderNodes RA1000 |
| 简介与特性 | O2 RenderNodes RA1000采用AMD高新技术，支持双路双核心AMD Opteron处理器，渲染性能优异，AMD 8131＋8111芯片组组合，最新的PCI-X技术，以及其它的可扩展性、可管理性和可靠性，具有解决实时大量运算和高负载题所需的功能和性能。支持64位操作系统，兼容现在的32位系统，为以后平滑的升级到64位操作系统打下基础。 |
| 标准配置： | |
| CPU | 双颗AMD Opteron 248 |
| 内存 | 1GB DDR400 ECC.REG. SDRAM ( 2-512MB DIMMS) |
| 硬盘驱动器 | 80GB SCSI |
| 光盘驱动器 | 24X 机架式超薄光驱 |
| 图形控制器 | 集成ATI RAGE XL视频控制器(8MB显存) |
| 网络控制器 | 集成2个Broadcom网络连接，10/100/1000 Mb/s局域网数据传输率 |
| 可扩展插槽 | 2个PCI-X (64位/100-MHz)插槽 3.3V电压 |
| 外形 | 机架外形(1U, 1.75英寸/4.45厘米) |
| I/O接口 | 1 x 串行接口（1个背面），4 x USB (2个背面，2个正面)，USB键盘鼠标接口 |
| 工业认证 | FCC Class B ，CE ，UL/CUL，TUL |
| 电源 | 411W 电源 |
| 操作系统 | Microsoft Windows 2003 Server |
| 可选件 | 无 |
| 监控软件 | 提供强大的硬件监控功能，其中包括系统和CPU的实时温度，风扇的实时转速，系统的工作电压，以及机箱入侵检测。 |
点评：该系统选用全新的 AMD Opteron 处理器所体现出来的超强性能 , 令全球瞩目。包括以梦工厂、工业光魔、先涛数码为代表的一批顶尖后制公司都已经将其定义为 X86 工作站以及 Renderfarm 的标准应用平台，并成功的应用于《星站前转 3 》、《蜘蛛侠》、《马达加斯加》等视效大片。
3）存储节点
如果集群系统的应用运行需要大量的数据存储，比如HD素材，就需要一个存储节点。顾名思义，存储节点就是集群系统的数据存储器和数据服务器。
4）交换机
集群计算的进程迁移需要高速硬件连接设备，进行计算机之间的数据传输，可选的设备包括千兆网卡、交换机或者光纤卡以及相应的光纤交换机。对于中小型的集群系统来说，千兆的传输速率完全能够满足了。下表是网络连接技术比较：
| 互连 | 千兆以太网 | 光纤 |
| MPI延迟 | 60us | 8us |
| 点对点带宽 | 70-80MB/s | 250MB/s |
| 连接方式 | 主板集成 | 64bit/66MHz |
Renderfarm工作流程
在强氧Renderfarm里，所有提交的工作被记录在一个Repository 文件夹中，其他计算节点和工作站都可以通过监视程序看到渲染进程，这些正在渲染和等待渲染的工作，在Renderfarm管理程序中叫Queued（渲染队列）。
计算节点在没有渲染的时候，会自动检测Repository 文件夹，如果找到新的渲染工作，会将这个Queued（队列）自动Active（激活），然后开始渲染。
用户可以在渲染的时候通过RenderFarm Monitor 对渲染进程进行管理，比如停止一个渲染工作，以及激活工作继续渲染等等。
渲染完成以后，有时渲染得到的结果并不满意，可以Requeue Task（重排任务），让完成的工作重新渲染。
渲染任务最终完成以后，队列就可以Archive（存档），存档的工作将不能被修改，以便检索和提交报告。
强氧Renderfarm的工作流程非常简单，任务的提交和管理也非常方便，特别是为应用软件提供的插件和脚本，用户直接可在Maya、3ds max等应用软件内部提交渲染任务，避免由于一些复杂设置导致的问题，结合高效的计算能力和丰富的行业应用经验，强氧Renderfarm在三维动画和影视特效制作行业具有很高的可用性，是管理复杂三维和二维网络渲染的优秀解决方案之一。
[page]强氧Renderfarm促销方案
强氧公司针对目前国内市场的实际情况推出了一系列的针对不同制作规模的Renderfarm集群整体解决方案。以满足不同档次制作团队的后台渲染工作的要求，在最大程度上体现稳定、高性能、可持续升级性、高兴价比，
强氧Renderfarm 整体方案促销1：
| 5节点小型强氧RenderFarm系统 | ||
| 型号 | 数量 | |
| 强氧RenderNodes RA1000（促销标准配置） | 5 | |
| 强氧RenderServer管理中心 | 1 | |
| 8口切换器（USB） | 1 | |
| 8口千兆网络交换机 | 1 | |
| 15寸LCD中控台（1U） | 1 | |
| 机柜 42U | 1 | |
| 安装、调试、3天培训费 | ||
| 总价：145000 | ||
强氧Renderfarm 整体方案促销2：
| 10节点小型强氧RenderFarm系统 | |
| 型号 | 数量 |
| 强氧RenderNodes RA1000（促销标准配置） | 10 |
| 强氧RenderServer 管理中心 | 1 |
| 8口切换器*2 | 1 |
| 16口千兆网络交换机 | 1 |
| 15寸LCD中控台 | 1 |
| 机柜 42U | 1 |
| 安装、调试、3天培训费 | |
| 总价：250000 | |
上述方案，适合中、小型三维动画和特效合成的渲染工作，对于繁重的栏目包装、电视剧特效制作公司，该方案能够大大提高工作效率，而不需要等待漫长的渲染时间。
强氧Renderfarm 整体方案促销3：
| 20节点小型强氧RenderFarm系统 | |
| 型号 | 数量 |
| 强氧RenderNodes RA1000(促销标准配置) | 20 |
| 强氧RenderServer 管理中心 | 1 |
| 8口切换器*3 | 1 |
| 24口千兆网络交换机 | 1 |
| 15寸LCD中控台 | 1 |
| 机柜 42U | 1 |
| 安装、调试、3天培训费 | |
| 总价：450000 | |
该方案配置20台RA1000渲染节点促销配置+32口千M交换机+4T存储服务器，由于强氧配置的高性能计算节点，基本能够满足大多数中型制作公司的三维动画、特效合成工作。
强氧Renderfarm 整体方案促销4：
| 50节点小型强氧RenderFarm系统 | |
| 型号 | 数量 |
| 强氧RenderNodes RA1000（促销标准配置） | 50 |
| 强氧RenderServer | 1 |
| 8口切换器堆叠 | 1 |
| 千兆网络交换机堆叠24*2+16口*1（套） | 1 |
| 15寸LCD中控台 | 1 |
| 机柜 42U | 2 |
| 安装、调试、3天培训费 | 1 |
| 总价：1020000 | |
该方案配置50台RA1000渲染节点，能够满足专门的三维动画电影和三维动画电视剧制作机构的庞大的渲染任务。对于Renderfarm技术服务公司，同样也是性价比很高的方案，高性能AMD平台的配置，能够以最快的速度完成复杂的渲染工作，缩短回收成本的周期。
注：上述系统价格当中均不包含任何操作系统以及应用、管理软件的费用。如有需要，请至电强氧公司咨询。全国免费客服电话：800-810-0119或010-51661116（中继线）
加载全部内容