Afgespeeld
-
【主播】
泓君Jane,硅谷101创始人,播客主理人
【嘉宾】
陈羽北,加州大学戴维斯分校电子与计算机工程系助理教授。
【你将听到】
【大模型 vs 人脑】
02:09 白盒研究的目标:把AI从工程推向科学
02:53 从早期模型到大语言模型,如何识别词汇的元意思
06:51 OpenAI的研究:用gpt4理解gpt2模型
08:46 白盒研究的本质是理解信号的结构,从而提升模型效率
11:37 人脑如何通过少量数据获得泛化的能力
12:46 比起人脑,大语言模型观测手段多,但它对世界的理解不够
20:11 稀疏编码:源自大脑神经元的运作机制
【白盒研究】
22:01 黑盒模型发展很快:只求工作,不求简洁
24:56 白盒模型的问题:过度简洁
27:19 Yann Lecun:支持白盒研究但不确定走得通
28:25 基础AI研究靠好奇心驱动,而非商业化
30:16 白盒模型的三个流派:可视化、神经科学、数学统计
32:30 对黑盒模型的优化:提升效率、统一不同模型
33:44 距离白盒gpt还很远,发展是阶段性的
35:29 打开ImageNet是白盒的第一步
【关于Yann LeCun】
38:21 Yann经历了神经网络领域历史上的高峰低谷
39:45 加入Yann LeCun组是偶然
42:51 Yann对大方向的坚持和直觉
43:02 “不反对Scaling Law,但只堆数据是不够的”
49:10 科学家马毅 & Yann,观点并不冲突:高层次的规律是简洁的
51:58 从至暗时刻走出的AI科学家们:专注、纯粹
53:55 Yann希望学生可以做与时间共存的工作
55:57 “读phd不应该研究llm”
57:24 Yann在Meta的贡献:筹建Meta AI、开源路线
60:29 大模型未来的发展:Scaling Law依然重要,但提升效率也很重要
【相关阅读】
Anthropic的研究:从神经网络Claude 3 Sonnet提取可解释的特征
OpenAI的研究:让GPT4去解释GPT2的神经元
马毅团队的白盒模型
【相关人物介绍】
Yann LeCun:计算机科学家,在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献,被誉为“卷积神经网络之父”,现任Meta首席AI科学家,并担任纽约大学教授。他在1980年代率先提出了卷积神经网络(CNN),这项技术成为现代计算机视觉的基础。LeCun与Geoffrey Hinton和Yoshua Bengio共同获得2018年图灵奖,表彰他们在深度学习方面的开创性工作。
【监制】
Holiday
【后期】
AMEI
【BGM】
Alteration - Karoliina Gabel
Listen to the Forest Weep - Hanna Lindgren
【在这里找到我们】
公众号:硅谷101
收听渠道:苹果|小宇宙|喜马拉雅|蜻蜓FM|网易云音乐|QQ音乐|荔枝播客
海外用户:Apple Podcast|Spotify|TuneIn|Youtube|Amazon Music
联系我们:[email protected]
-
上周参加了由泓君主理的《硅谷101》新一期访谈的录制,聊了一些文章以外的弦外音。
从0到10亿月活用户,TikTok用了不到4年的时间,这也是第一个真正打入美国主流市场的中国社交产品。这期,我们从商业的角度来聊聊,TikTok为什么能够在海外成长起来。
05:02 Facebook也曾想收购Musical.ly,但不够坚定
05:30 TikTok在美国成长起来的三大因素
10:40 留存率低,为何还敢下狠手做海外投放?
11:54 那么多短视频产品,为什么只有TikTok做起来了?
14:44 增长瓶颈,Musical.ly创始人主动要求变更品牌
16:10 "不留空档,全面压制"
17:36 TikTok的成功是体制的胜利,不是人的胜利
22:26 张一鸣关注公司高管如何发朋友圈
26:23 海外用户如何看待TikTok?
29:40 中国公司在海外会遇到哪些挫折?
35:41 如何写出好的商业故事:耐力与坚韧度
36:47 商业记者是一份需要耐得住寂寞的工作【相关阅读】
《TikTok内幕:张一鸣的巨浪征途》
mp.weixin.qq.com【泓君播客】
《硅谷101》
-
上周更新了《TikTok内幕:张一鸣的巨浪征途》音频版的上篇,下篇也终于完成了,包含这篇长文的6-10章节。
希望能方便到没时间阅读文字的朋友们。这个形式作为文字作品的衍生品,目前还处于尝试中,您有任何的意见和建议,都欢迎反馈给我。
第六章:双月涨了1.1亿!——"不要沾沾自喜"、"我们是风口上的猪" 00:18 第七章:"不留空档,全面压制" 05:38 第三章:政治大冒险 14:17 第四章:巨浪上的舰队 24:40 第五章:格子衫、月饼、宇宙条 34:48【可以在这里看到全文】TikTok内幕:张一鸣的巨浪征途
-
文章很长,为了方便还没来得及阅读的朋友,或者读了一半中间中断了,又或者阅读完后还觉得不过瘾的,我制作了全文的音频版本。❤️
今天更新"上集","下集"我会尽快更新。
希望这期播客,可以陪伴你度过五一节——抓住春天的尾巴。
欢迎您多多评价。我会精选评论,后续送出我的收藏版小册子!
序 第一章:张一鸣的纯粹人格 02:02 第二章:暗线 05:52 第三章:失败了 09:44 第四章:黑白双T 17:05 第五章:Facebook的大意 28:22【注释】
1、几个产品名称:
TikTok、News Master、TopBuzz、Buzz Video、Helo
2、几个关键指标:
DAU:日活用户数
ARPU值(Average Revenue Per User):每用户平均收入
3、DAU乘以ARPU值:
日活总数,乘一个日活用户能赚多少钱,能依此得出一个市场可供榨取的最大商业利益。
4、P0战略=最高优先级战略
5、字节国际化事业部是字节成立的第一个事业部,简称"i18n"。
(来源是internationalization,i和n是首末字符,18是中间的字符数。)
6、生命周期:用户拿到新手机多少天会卸载App
7、tick tock=嘀嗒声
8、阳陆育和朱骏先后做的三款产品:知了、音乐地、Musical.ly
9、Facebook做的阻击TikTok产品:Lasso
【可以在这里看到全文】TikTok内幕:张一鸣的巨浪征途
-
我们的节目正在推出新系列【从蒸汽机到无人驾驶】,今天是第2集。
最近萝卜快跑在武汉引发广泛关注,许多人开始讨论Robotaxi是不是迎来拐点?我邀请了楼天城来聊聊。
楼天城是清华首届姚班毕业生,因在编程竞赛的优异战绩又被称作“楼教主”。他毕业后进入Google工作,在这里最早接触了无人驾驶,而后又加入百度从事无人车研发。2016年,楼天城与百度前首席架构师彭军,创立无人驾驶公司小马智行(Pony.AI),他出任联合创始人兼CTO。该公司估值达85亿美元,正寻求在纳斯达克或纽交所上市。
节目中,我们探讨了关于Robotaxi的新闻、无人驾驶的简史、自动驾驶常见的路线之争。楼天城说了一些颇为尖锐的观点:比如,“L2做得越厉害,它离L4越远,反之亦然”,又比如“当自动驾驶超越人类,数据就变成干扰项,并不是越多越好”。
我们的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 02:11 先谈两条新闻:1、萝卜快跑火了,2、Tesla推迟Robotaxi发布时间 04:39 用时间概念来表达“无人驾驶小史”:1小时/10小时/100小时/1000小时/10000小时,自动开不用人接管(跨越每一步中的关键点) 10:10 我主要精力花在“Contest based metric system”(“基于竞赛的度量系统”,旨在根据不同的场景分别评估系统的能力。) 16:45 “端到端”根本变化是,让整个模型的能力加强了,避免模块之间传输信息丢失 17:18 “端到端”只能做到100小时,从100到1000小时是超越资源和能力的 17:50 自动驾驶的路线之争:先有目标不同,才有路线不同 1、激光雷达/纯视觉?“纯视觉只能做好学生,但激光雷达能作弊” 2、车路协同/单车智能?“互相加成,但单车智能是priority” 3、渐进式自动驾驶/跨越式自动驾驶?“一个是足球、一个是篮球” 4、辅助驾驶/自动驾驶?“L2做得越厉害,它离L4越远” 26:57 无人驾驶创业这8年:高潮与低谷,落地得快与慢 35:54 “当你真的超越人类,数据不是越多越好,数据是干扰项” 44:06 关于个人:姚期智先生令我印象深刻的、ACRush、“只有冠军才知道冠军和亚军的差距” 49:10 坚持20年编程竞赛的人告诉你一个竞赛技巧:“Hold cold card”【更多信息】
文字版可参考:《和楼天城聊Robotaxi:“L2越厉害,就离L4越远”》
联络我们:微博@张小珺-Benita,小红书@张小珺jùn
更多信息欢迎关注公众号:张小珺
-
「硅谷早知道」S4E15 | 好莱坞大神挑战奈飞之作,Quibi能成功吗
「硅谷早知道」S4E16 | 印度会有疫情大爆发吗?
「反潮流俱乐部」Lady Gaga 汇聚群星璀璨时,你会更珍惜 35 年前的 Live Aid