@rodot 有点想吃(吃不到
@Cronopio 我怎么觉得你厂已经占据争四主动权了,少赛两场只差一分
@iam 是啦。language modelling 的理想结果就是词语向量化之后,向量之间的 cosine similarity 可以指代所代表词语之间的 semantic similarity,这样才能让机器以数学的方式「懂得」所谓的语义。实际上的 training 还是从一个词 how frequent 出现在哪些 context(上下文)里出发的,这也是为什么两个拥有相似 context 的词之间可能具有高相似度,即使它们完全不是一个东西(「长江」和「钱塘江」),或者甚至是反义词(「涨价」和「降价」)。
我说到 window (context) size 是因为,如果 context size 比较大,像 41,在训练时每一个 context 就是由 target word 和前面 20 词 + 后面 20 词组成的。在这种配置下模型就可能能更好地学习到所谓的语义,例如「涨价」和「降价」,在 Google News 的 corpus 里或许就能被区分了,因为上下文里可能还包含了「消费者开心/抱怨」等信息。而像游戏用的这个 pre-trained model,可能用到的是 5 左右 ,也就是 target 前 2 词 + 后 2 词构成一个 context window,这种情况下有很多信息就不能被 captured。考虑如此,拿到一个排位中间的词,猜 interchangeable 的词来逼近目标词(而不是单纯考虑「同义」「近义」)应该是比较好的策略吧。
当然这些都是我粗浅的理解,不一定对,我也根本不会玩这种游戏
@iam window size(前后几个词)应该可以改变吧?它是 word2vec training 的一个 hyperparameter。如果 window size 更小,就是词语间的 interchangeability 更决定 similarity,如果更大就是词语相关性决定更多(不一定对
近期的苹果体验:
1. 买新设备 trade-in 的 MBP 拿到最高价(虽然还是比不上自己到二手市场卖
2. 新设备电源线有问题,免费换了一根(感觉不错但这种基础设备好像本来不应该出问题
3. AirPods Pro 检测出声音问题(这个问题广泛发生于 2020 年 10 月之前生产的 AirPods Pro,见 https://support.apple.com/zh-cn/airpods-pro-service-program-sound-issues ),免费更换了一对耳机。这个确实超出预期,毕竟我也是用了两年多之后其中一只才偶尔出现轻微爆裂声。苹果这个服务计划相当于把受影响设备的保修期从 2 年延长至 3 年。
4. iCloud 以及流媒体服务依然很烂
test
@auis 又不是故意的,我是受害者呢