方豫一拍脑门,在两人脸蛋上各亲了一口,快步走到开放办公区。
“老板!做了十轮测试,结果……”杜长庚、华泽成、杨子龙、陆偲这几个组长全都是一脸的凝重,显然情况不是很乐观。
有人给方豫推了把椅子过来,方豫坐下看了看显示器,不由得皱了皱眉。
“训练十轮后,使用了原始数据的模型2未出现性能下滑,过拟合的现象可以通过正则以及数据清洗来进行过调整。”
“而使用橘子大模型生成图片进行训练的模型1,出现了明显的过拟合,老板,你看一下,十轮之后,生成的图片开始出现趋同性。”
“而使用模型1每一轮生成数据进行训练的模型3……”
杜长庚脸上闪过一丝忧色:“到了第5轮,模型3的过拟合就已经超过了经过十轮训练的模型1,而到了第九轮,整个模型已经濒临崩溃,几乎已经无法输出有意义的数据。”
“这个结果让我们很惊讶,于是用不同模型生成的数据来训练一个新的3B子模型,命名为模型4,最终训练后的性能与模型1非常类似,并没有什么改善。”
“在最初,我们认为是数据质量的问题,橘子大模型图片类数据中可能存在一定的失真,因此又采用文字进行了重复训练。”
“橘子大模型生成的文字数据错误率远比模型2使用的原始数据错误率更低,但最终采用橘子大模型生成的文字数据进行训练的模型1,仍旧出现了性能下降,多轮训练后的过拟合现象比模型2高出近五倍。”
“而在这种情况下,模型3同样在八到九轮之后,也出现了模型崩溃。”
“也就是说,无论AI生成的数据质量高低,只要采用AI生成的数据训练大模型,就会造成大模型性能下降,这……这简直不可思议!”
“简直就像……”
“近亲繁殖?”陆嘉言好奇的接了一句。
“对!近亲繁殖!没错!”杜长庚一拍巴掌,惊讶的看了一眼陆嘉言,没想到这个小老板娘明明是个外行,理解力还真不错。
方豫摸着下巴若有所思。
对这个结果,他自己早就有所猜测,否则也不会提出做对比实验的办法。
杨子龙和杜长庚所发现的问题,粗看上去确实有点诡异,相同的数据,被AI处理过一遍,再用来训练另一个AI,效果居然比不上质量更差的人工清洗的数据。
而再用这个训练后的AI生成的数据继续训练AI,无论是训练哪个AI,又会造成性能进一步下降。
这个问题看上去诡异,但实际上,只要稍稍思考一下也就能明白,应该还是数据多样性和复杂性不断被AI简化所造成的问题。
不用说橘子大模型,即使是柚子,生成的数据也不可能是百分之百完全正确的,虽然这些错误可能比人工数据要少,但错误的方式却缺乏多样性和复杂性。
说白了,就是AI聪明的千篇一律,但人类却愚蠢的千奇百怪。
但在种族传承的角度上来说,愚蠢的千奇百怪的人类,却比自己创造出比人类更聪明的AI具备更强的种族传承能力。
窝草?这么一想,孟广康那种傻x,对人类文明的传承贡献还不小?
差点把我的厌蠢症都治好了?
重复使用这种数据进行训练,类似的错误会被大模型认为是真实,从而变成“思想钢印”,继续产出错误更多的内容。
再用这些内容进行训练,就会产生“偏差-方差权衡”,也就是说,越大概率的内容被进一步强化,小概率的内容被不断忽视。
越是下一代模型,损失的数据反而会越多。
同时,因为大模型的特性,又会产生“函数近似误差”,大模型会把学的错误的东西也保留下来,一代代的积累,最终变成全部都是错误,从而丧失纠错能力。
这种情况,确实和近亲繁殖所导致的近交衰退非常类似。
从这个角度上看,AI大模型其实已经具备了一定的生物性。
只不过这种生物种群过于单一,造成了近亲繁殖。
这个问题目前还不算太紧迫,毕竟互联网上可以使用的原始数据非常多,无非就是加大数据组的投入,获取更多的原始数据,增加数据预处理人手和方式就能够解决。
但从长远来看,不,不用太长远,AI的爆发一定是指数级的。可能两到三年后,互联网上可能超过百分之七十的数据就都是AI所生成的,而人类几乎无法区分这究竟是AI生成的数据还是真实的人工数据。
那时候,AI大模型不管参数有多庞大,可能都会面临由于训练数据被AI生成数据污染,而造成性能下降或崩溃。
“三十万亿。”方豫快速的估算出了一个数字。
???
几个组长都是一脸问号。
“互联网上现存的有效数据,大概能支撑橘子大模型到三十万亿参数的规模,在此之后,就必然会受到近亲繁殖的影响。”
方豫指了指显示器上的数据。
三十万亿,还好还好,现在目前正在训练的橘子大模型不过一万五千亿参数,已经开始初步具备强人工智能的雏形。
三十万亿的大模型,肯定已经实现超级人工智能,那时候,AI生成数据多样性的问题应该已经能找出解决方案了。
那就没什么问题了。
几个组长都松了一口气。
没什么问题了吗?
方豫目光闪动。
就算是橘子大模型实现超级人工智能,只要多样性问题不解决,一样也会有这个问题。
即使使用各种技术手段尽量提升AI数据的复杂性,最后不会造成模型崩溃,这个大模型也注定无法承载自己的愿景。
之前参考“神之模型”所产生的一些想法,倒是正好可以解决这个问题……
不过,在此之前,还是要先把搜索引擎这一块吃下去。
吃掉搜索引擎,才能拥有足够的数据资源,支撑橘子大模型进化为超级人工智能。
只有橘子大模型进化至超级人工智能后,参考“神之模型”所生成的第二代模型,才能真正具备用武之地。
“舒窈,通知‘Y’项目组,五分钟之后,我要听“Y”项目的进度汇报。”
方豫看了看时间,已经下午四点,再有半个小时,应该海西邑相关头头就会带着马斯克来公司了,正好够开个会的。
晚上十一点还得去趟新镐,和大蜜蜜还有热葩叙叙旧,最近千寻给她们施加了不少压力,得过去帮她们解解压。
正好明天上午在新镐把外公介绍人见一下,外公介绍的应该靠谱,但还是要先见一下再说。
明天中午还得去趟洛圣都,斯嘉丽去了中土国拍攻壳机动队,肯豆倒是挺矜持,只是iMessage骚扰,她那个闺蜜吉吉哈迪德反倒是一个劲儿的发snapchat挑衅。
必须去教训一下!——
“这次“击剑门”丑闻对两派都是一次打击,不过对川宝的打击更大,卡尔罗夫甚至认为恭贺派应该召开全国委员会,取消川宝的参选资格。”
马斯克一边打电话,一边给spacex各个员工发邮件,而电话那边,则是他的幕僚长萨姆泰勒在和他说目前迈国国内的情况。
对于他这种级别的商人来说,无论是否讨厌郑智,也必须要关心郑智。
“很难,至少需要三分之二的委员投票同意,这几乎是不可能的,看来这次希拉蕊赢定了。”马斯克手指在电脑上敲得飞快。
“‘击剑门’爆发的太晚,印第安纳州初选丑闻第二天就已经计票结束了,虽然还没有召开全国大会获得党派提名,但川宝已经提前锁定了提名票数。”
“如果这时候逼迫川宝退出选举,恭贺派极有可能会造成派系分裂,无论是保罗瑞安还是米奇麦康奈尔,即使他们不支持川宝,也不会冒着派系分裂的风险推动更换提名。当然,前提是川宝一家需要立刻与贾瑞德库斯纳切割,但这样一来,裘德财团必然会全力支持希拉蕊。”
“你说的对,埃隆。目前普遍都在猜测,伊凡卡可能会在这几天宣布与贾瑞德库斯纳离婚,进行切割,摆出受害者姿态。不过那个视频中贾瑞德说川宝一家就是暴发户,伊凡卡和他结婚就是为了获取裘德财团支持,对川宝仍旧会造成非常大的打击。”
“老板,已经开始降落了,还有五分钟进入三千米以下高度,飞机上的wifi就要关闭了。”
马斯克的机长在机舱中使用扬声器通知马斯克。
“你听到了,萨姆,我先断线了,保持联系。”
“好吧,埃隆,其实这一次我去也是一样的,没必要你亲自跑一趟。”
“不,这一次我一定要亲眼看一下这家柚子科技。”埃隆马斯克摇摇头,“这一个月里,至少已经诞生了一万款AI应用,百分之五十都是调用了橘子大模型的API接口,其他的用的也是开源的橘子大模型,而且这个数字还在继续上涨。”
“我可以确信,现在已经开始正式运营的三千亿参数Juzi2.5并不是全部,他们现在内部即有可能已经有了一万亿甚至更多参数的大模型。”
“我必须亲眼看一下,他们的到底已经达到了什么样的进度。”
马斯克切断通话,透过舷窗向下望去。
云层很厚,什么都看不见。
第310章 是一个人?不是一个人?(7200)
“14:30接机,15:20抵达酒店,19:00晚宴,明日早9:15,海西各界与特斯拉座谈会,10:30商务会谈,11:30公务午餐……”
一名戴着无边镜框的三十多岁年轻人拿着一份行程单,简明扼要的给齐良才汇报此次接待马斯克的行程安排。
齐良才眉头一皱:“等等,李政,我记得之前一版安排不是这样的吧?特斯拉不是提出要在落地后就做实地考察,然后安排和柚子科技的会谈吗?”
李政扶了扶镜框,拘谨的笑了笑:“王副主簿看了日程安排后,觉得有些不妥,说单独和柚子科技会谈不太好,说马总周车劳顿,没有倒时差,还是先休息一下,然后接风宴,第二天再安排各界一起……”
“改回来!”齐良才眼低了低眼皮,“客随主便是没错,但也要宾至如归,还是要尊重客人的意愿,人家是来投资的,不能让对方觉得我们干涉太多。”
“不过。”齐良才话锋一转,“王副主簿的建议也有道理,我们可以两手安排,马斯克抵达后,可以先问他是否要回酒店休息。”
“毕竟对方从迈国来,十几个小时的时差,确实有些疲惫。如果对方坚持原日程,我们就仍按照原计划。”
李政一边记录,一边点头,“掌邑,柚子科技之前回复说他们的企业负责人只有下午有时间,明天的话,可能没有办法安排时间。”
齐良才不以为然的摆摆手:“我记得柚子科技的负责人叫方豫吧?我之前见过这个小伙子,还是很明事理的。”
“你给他们打电话,告诉他们这是海西的大事,一定要有大局观,必须无条件配合。”
齐良才多年前和陈世安共事过一段时间,来海西后没几天就去拜访了一下陈世安。
看到陈世安后,齐良才觉得自己比对方小了十几岁,精气神还不一定有陈世安足呢。
“好的。”李政拿着笔在记事本上刷刷刷的记了几笔,随后通知僚属处把修改好的日程表重新打印,五分钟之内拿过来。
“掌邑,您看还有什么指示?”李政把修改好的日程表夹在文件夹内,给齐良才又过目了一下。
齐良才扫了一眼,觉得没什么问题,看了看表,不动声色:“时间差不多了,去机场吧。”
——
“马斯克先生,你好,欢迎来海西投资考察。”
看到马斯克走下舷梯,海西邑掌邑齐良才笑呵呵的上前几步,握住马斯克的双手上下摇晃。
他怎么也没想到,马斯克居然会来海西考察,而且还是特斯拉主动提出来的。
去年就听说特斯拉要在大周设厂,马斯克还受邀去海浦、越州、吴州等地考察过,但此后一直也没有准确消息。
原本海西也想争取一下,但因为各种原因,就没和特斯拉接洽,但没想到前些日子特斯拉居然主动联系了海西邑,希望安排考察。
才调来海西没几天,真是老天爷送来的大礼啊。
这可是全球新能源行业的领头羊特斯拉!
据说这一次要在大周投资的厂,年产量至少要达到五十万辆,如果一台平均卖二十万,那就是一年上千亿的产值。
而汽车的上下游产业链链条众多,与一个汽车厂产值之间至少是三倍的关系。
一千亿产值的车场,至少能带动三千亿的上下游产业链,加在一起,就是四千亿!
虽说这4000亿不一定全能落在海西当地,但一半也有两千亿了。
而且,电动车行业眼看就要腾飞,未来产量会不会更高?
一百万辆?
那可是超过五千亿的全产业链产值啊!
因此,这次接待马斯克的规格相当之高,等同于外事活动,还特意从新镐叫了相关部门的人一同接待。