我和坤宝。
-
Photo of the day 2023.12.26
-
有趣的“时间向量”
用翻译看了这个论文,很有趣的时间向量,能提升模型的适应性和前瞻预判性。通过在不同的时间向量间进行插值,即使在未经训练的时间段内,也能有更好的表现。
这很像人在思考问题的过程,之前的事儿我想一想,中间的我想一想,进而对今天或未来更准确的判断。将这种思维方式融入到模型的微调中,更接近于模拟人脑的思考过程。非常佩服这些人,居然是本科生,能把这种事儿做得非常精致。
论文:https://arxiv.org/abs/2312.13401
Code:https://github.com/KaiNylund/lm-weights-encode-time
用chatGPT详细解释:
这张图似乎是关于时间序列或者时间点向量的结构及其推广的概念性表示。图中分为三个部分,我们一一来解释:
- 时间向量结构(Time vector structure):
- 这部分展示了一个基于时间点的序列。θ₁,θ₂,θ₃,θ₄和θ₅代表时间序列中的点,可能是事件发生的时间点或者状态的改变点。
- τ₁,τ₂,τ₃,τ₄和τ₅表示从某个基准时间点θ_pre到各时间点的时间间隔。这可以是实际时间差,或者是在某种度量下的时间差。
- 泛化到中间时间(Generalizing to middle times):
- 这部分似乎是在讨论如何估计两个已知时间点之间的时间点(即中间时间)。θ₁和θ₅是已知的,而图中试图估计θ₃的位置。
- τ₃被估计为τ₁和τ₅的平均值,这里使用的是简单的算术平均公式。这可以是在缺少具体数据时的一种估算方法。
- 泛化到未来时间(Generalizing to future times):
- 最后一部分讨论的是如何基于当前已知的时间点来预测未来的时间点。
- τ₅的估计是基于某种线性模型,这里用的可能是一种趋势外推法。θ₁和θ₅是已知的,θ₁^LM和θ₅^LM代表通过某种学习模型得出的估计值。
- 公式 τ₅ ≈ τ₁ + (τ₅^LM – τ₁^LM) 提供了一个预测τ₅的方法,即取已知时间点的时间差,并将其加到τ₁上。
这张图可能是来自于某个关于时间序列分析、预测模型或机器学习中处理时间数据的教程或论文。图中的θ可能代表状态变化的时间点,而τ代表时间间隔。整体来看,这张图试图展示如何从已知的时间点推广到未知的时间点,无论是位于已知点之间还是在已知点之后。
-
Photo of the day 2023.12.25
前几天晚上和一个AI产品经理聊了下他手上的活儿,他作为感谢,送了我这么多书。我看书确实快,但对于这些陌生领域,可能还是需要点儿时间的。好吧,学习一下奇门遁甲,看看有没有启发,谢谢这位兄弟了!
-
张雪峰他们这些观点还是浅薄的
我现在一直有一个困惑,从网上看的文科专业将来很不好就业,你了解的什么情况呢?
这种观点是基于他的用户来谈的,因为张雪峰的用户都是二本类的普通学生,因此,对于普通学生来说,实用性(找到工作,生存)更大于其他因素。这实际上是将人限定在一个阶段来看待问题了:如果你处于普通层次,就不要学习文科,而应选择理科,因为这样更容易生存。对吗?也对的,更实用主义。噢,还有,短期的。
他的解决方式是:你有多少能力,现在就去选择什么的就业方式或工作。潜台词似乎是,孩子就这样了,挑一个就业前景好的学校,找个毕业后能挣钱的工作就行了,以后就不用愁吃喝了。
但问题在于,这种处理问题的观点忽视了事物的“流动性”和人的“可塑性”。
我举个例子:在现代社会,练习拳击显然是没用的,原因众所周知。但在古代,练拳可以开镖局,养家糊口。这就是事物流动性的问题,不可能某一类行业会永远兴盛。现在开拳馆的人非常多,国家也不提倡武斗。
再比如新闻专业,现在就业形势不佳。为什么会这样?这也是因为“流动性”的问题。现在到处都是基站和网络信号,媒体平台发达,每个人都可以做新闻,因此,今天学习新闻的人肯定没有之前那么好的就业前景。因为我们社会在80年代和90年代缺乏新闻媒体人才,所以那时这个专业才会火爆。张雪峰没有提到这一点,但只要你在2010年手机互联网兴起时多关注新闻和各种产品,就能预见到未来几年什么行业会热门。
现在能预测未来十年火的就是人工智能,大数据,算法会很火,那也许就火个十年?十年后就不一定了,二十年后也不一定,那十年后让小孩怎么就业?怎么发展?
我们国家,什么火不火,根本上的还是顶层去决定的,顶层战略发展变化的时候,下面一切都要变(这里我觉得读一下“治国理政”这类还是有用的)。对于学生来说,能看到更大的世界,能有批判精神,能自我学习,能有很强的自驱力,现在学文科和理科都不重要。重要的还是在当前找到他们喜欢做的事情,我们在其中的角色是帮助他们找到他们喜欢的事儿,然后支持就行了。
目前我认为,在某些环境下,文科生还是有优势的。比如在行政机关单位,文科生通常比理科生更有优势;再比如董宇辉,他的成功不仅仅依赖于销售能力和英语能力。理科生的优势在于具体解决问题,这种方式很直接,许多人将其称为“直男”思维。而文科生的优势在于提供了一个观察复杂世界的视角,他们会从多个角度审视和评估问题。不仅如此,如果文科生具有强大的泛化能力(类比学习)和批判性思维,他们的知识迁移能力也会更强,学习一些工科知识也只是时间问题。
比如这个是网上的一个说法,文科的知识+理工科的技术,会形成这三个岗位
好奇心 + 大数据 = 市场研究员同理心 + 基因测序 = 基因咨询顾问
文学创造力 + 互联网 = 社交网络经理
我用AI生成一下:
批判性思维 + 数据分析 = 政策分析师
沟通技巧 + 社交媒体工具 = 数字营销专家
哲学思维 + 人工智能技术 = AI伦理顾问
心理学理解 + 用户体验设计 = 用户体验(UX)研究员
语言艺术 + 编辑软件 = 内容策划编辑
社会学知识 + 社区发展策略 = 社区发展协调员
文化研究 + 媒体制作技能 = 文化节目制作人
艺术史知识 + 展览设计 = 艺术展览策划人
语能力 + 国际贸易知识 = 国际贸易顾问
音乐学知识 + 音频技术 = 音乐制作人因此嘛,我觉得张雪峰他们是站在一个特定圈层来看待问题,也是比较浅薄的。
-
Photo of the day 2023.12.23
冬至吃饺子。