一秒记住【沧元图小说网】09read.com,更新快,无弹窗!
深视科技,陈阳的办公室。
顾书瑶顶着两个大大的黑眼圈,把一份测试报告摔在桌子上:
「这活真没法干了。按照这个速度,等到明年我们也跑不完这60个模型!」
模型训练在有条不絮的进行。但算力,成了卡死模型训练的最后一道枷锁。
「我去跟投资人沟通,让他们尽快同意超算中心的建设。」
次日,收到陈阳通知的投资人纷纷赶来,即使时间来不及,也排了代表。
最终经过激烈的讨论后,投资人妥协了。
同意前期投入500万购买显卡以及租用机房,看效果再决定后续是否投入。
对于这个结果陈阳也能接受,反正方向是对的,只是时间问题而已。
于是陈阳叫来顾书瑶。
「买显卡。」
陈阳在支票本上刷刷写下一串数字,「100张英伟达TeslaK20。」
「K20?」
顾书瑶愣了一下,作为硬体发烧友,她提醒道:「英伟达已经发GTXTitan了,听说显卡核心一样,显存还多1G,价格便宜一半。要不买Titan?」
「不等,也不要Titan。」
陈阳摇了摇头,「Titan虽然便宜显存大,但是它的显存没有ECC(错误检查和纠正)功能。在家里或者小规模玩玩可以,但我们要建设的是超算中心,跑的是商业模型。一旦发生比特翻转(BitFlip),导致训练中断或者参数错误,浪费的时间成本,划不来。」
「我们要的是稳定。」陈阳语气坚定的说道。
顾书瑶听完,也不再反驳。
3月中旬,京城某数据中心
陈阳带着顾书瑶和运维团队,站在一排刚刚改造完毕的黑色机柜前。
为了迎接这批伺服器,陈阳额外支付了几十万的改造费。
因为2013年的主流机房都是为CPU伺服器设计的,根本扛不住GPU的高功耗和高发热。
为此,机房专门改造了电源线路,还在机柜后方加装了暴力的工业风扇。
「陈总,这就是你要的效果。」机房负责人指着那一排排亮起的绿灯,
「100张TeslaK20,全部上线。散热和供电都测过了,满载运行没问题。」
「辛苦了。」陈阳满意地点点头,看向顾书瑶。
「书瑶,试试?」
顾书瑶随即打开随身携带的笔记本,连入内网。
屏幕上跳动着一个简洁的控制台界面——这是陈阳基于前面的框架之前花了一个月时间,带着几个人连夜赶出来的简易版超算调度平台。
虽然简陋,但它能将这100张显卡整合成一个整体。
顾书瑶深吸一口气,颤抖着手指,提交了一个训练任务。
屏幕上,100个GPU的使用率瞬间飙升至90%以上。那是一种令人心颤的工业美感。
原本预计需要200小时的任务,进度条此刻正在以肉眼可见的速度疯狂跳动。
「预计剩余时间5小时?!」
顾书瑶惊呼出声,猛地转头看向陈阳,眼中满是难以置信。
「之前要跑十天的任务,现在只要一下午?」
「怎么样,体会到到人民币玩家的快乐吗。」
陈阳笑着拍了拍机柜冰冷的金属外壳,
「从今天起,我们告别手工作坊,正式进入工业化生产时代。」
接下来的半个月,团队进入了疯狂的状态。
有了这100张显卡的加持,原本遥不可及的60个模型联合训练计划,变得像喝水一样简单。
徐力和杨樊每天就像打了鸡血一样,不断地调整参数丶切分人脸区域丶训练子网络。
一个个模型被训练出来,一个个准确率被刷新。
3年4月4日。
所有的子模型全部训练完毕。最后的融合算法也已调试就绪。
陈阳拨通了汤小鸥的电话:「汤教授,所有的拼图都凑齐了。明天有空来京城吗?我们准备揭晓最终答案。」