欧洲仅17%，韩国26%，马化腾立场坚定：拒绝向苹果的30%抽成妥协 苹果手机的优缺点

欧洲仅17%，韩国26%，马化腾立场坚定：拒绝向苹果的30%抽成妥协 苹果手机的优缺点， 

欧洲仅17%，韩国26%，马化腾立场坚定：拒绝向苹果的30%抽成妥协

机器之心 报道。

注意力是Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和 。将查询与所有键进行点积 ，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。

尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数有时会导致注意力集中在少数几个特征，而忽略了其他信息。

近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如ReLU 和 sigmoid激活函数 。最近，来自苹果的研究者重新审视了 sigmoid 注意力并进行了深入的理论和实验分析。

该研究证明：从理论上讲，与 softmax 注意力相比，具有 sigmoid 注意力的 Transformer 是通用函数逼近器 ，并且受益于改进的正则化。

该研究还提出了一种硬件感知且内存高效的 sigmoid 注意力实现 ——FLASHSIGMOID。FLASHSIGMOID 在 H100GPU 上的推理内核速度比 FLASHATTENTION2 提高了 17%。

跨语言、视觉和语音的实验表明，合理归一化的 sigmoid 注意力与 softmax 注意力在广泛的领域和规模上性能相当，而之前的 sigmoid 注意力尝试无法实现这一点。

此外，该研究还用 sigmoid 内核扩展了 FLASHATTENTION2，将内核推理挂钟时间减少了 17%，将现实世界推理时间减少了 8%。

论文作者 Jason Ramapuram 表示：如果想让注意力快 18% 左右，你不妨试试 Sigmoid注意力机制 。他们用 Sigmoid 和基于序列长度 的常量标量偏置取代了注意力机制中的传统 softmax。

Sigmoid 注意力

假设

为向量 n 的输入序列，每个向量是 d 维。接着研究者定义了三个可学习权重矩阵

、

以及

。这三个矩阵用于计算查询

，键

，以及值

。可以得到如下公式：

根据先前的研究，自注意力 可以简写为：

其中 Softmax 函数将输入矩阵的每一行进行了归一化。该研究将 Softmax 做了以下替换：

实际上，将

作为输出序列，可以得到：

将多个 SigmoidAttn 输出进行组合，得到多个头的形式，如下所示：

Sigmoid注意力理论 基础

该研究对 SigmoidAttn 进行了分析，分析的目的主要有两个：（1）证明当 SigmoidAttn 取代 SoftmaxAttn 时，Transformer 架构仍然是一个通用函数逼近器；（2）通过计算 SigmoidAttn 的 Lipschitz 常数来恢复其规律性。

具有 Sigmoid 注意力的 Transformer 是通用逼近器吗？

经典 Transformer 可以将连续的序列到序列函数 近似到任意精度，这一特性称为通用近似特性 (UAP，Universal Approximation Property)。UAP 非常受欢迎，因为它证明了架构的通用性和表示能力。由于 SigmoidAttn 修改了 Transformer 架构，因此从理论上保证这种修改不会影响表示能力并保留 UAP 的性能至关重要。该研究通过以下定理提供此保证。

结果表明，即使使用 SigmoidAttn，一系列transformer 块也可以实现上下文映射。

Sigmoid 注意力的正则性

与神经网络中的任何层一样，SigmoidAttn 的正则性值得研究，因为它可以深入了解相应网络的鲁棒性 及其优化的难易程度。

SigmoidAttn 正则性定理为：

结果证明，SigmoidAttn 的局部 Lipschitz 常数远低于 SoftmaxAttn 的最差局部 Lipschitz 常数。

FLASHSIGMOID：硬件感知实现

现代架构上的注意力计算往往会受到内存访问 IO 的限制。FLASHATTENTION 和 FLASHATTENTION2 通过优化 GPU 内存层次结构利用率来加速注意力计算。得益于这些方法提供的速度提升，该研究开发了 SigmoidAttn 的硬件感知实现 ——FLASHSIGMOID，采用了三个核心思路：

实验

为了实验验证 SigmoidAttn，该研究在多个领域进行了评估：使用视觉 transformer 进行监督图像分类 、使用 SimCLR 进行自监督图像表示学习、BYOL（Bootstrap Your Own Latent）和掩码自动编码器 (MAE ) 以及自动语音识别 (ASR) 和自回归语言建模 (LM)。

该研究还在 TED-LIUM v3 上验证了 ASR 的序列长度泛化，在所有这些领域和算法中，该研究证明 SigmoidAttn 的性能与 SoftmaxAttn 相当（图 2 和 21），同时提供训练和推理加速。

该研究得出以下观察结果：

SigmoidAttn 对于没有偏置的视觉任务是有效的（MAE 除外），但依赖于 LayerScale 以无超参数的方式匹配基线 SoftmaxAttn（图 9-a）的性能。除非另有说明，否则为 SoftmaxAttn 呈现的所有结果也公平地添加了 LayerScale。

LM 和 ASR 对初始范数

较为敏感。需要通过 (a)相对位置嵌入 进行调整；(b) 适当初始化 b 以实现相同效果 —— 允许使用任何位置嵌入。

感兴趣的读者可以阅读论文原文，了解更多研究内容。

科技界的每一次较量，都是智慧与策略的较量。近日，马化腾的坚定立场，拒绝向苹果的高昂抽成妥协，成为了业界热议的焦点。面对苹果提出的“付费或下架”的强硬要求，微信的决策显得尤为敏感，尤其是在中国市场，2.5亿iPhone用户与微信的紧密绑定，让这一决策牵动着无数用户的心。

苹果在不同地区的收费标准不一，欧洲仅征收17%的费用，韩国也不过26%，而在中国却高达30%。这种差异背后，显然隐藏着复杂的商业考量和市场营销策略，当然，也可能有其他的目的。马化腾深感此举对微信而言极不公平，因此毅然决然地选择了正面迎击。这一决策不仅是对苹果税 的反抗，更是对市场规则的一次挑战。

若微信不幸从App Store消失，那些深度依赖微信的“果粉”们将面临艰难抉择：是割舍对苹果手机的情感，转向安卓阵营；还是另寻社交软件以解燃眉之急？这一选择，不仅仅是个人偏好的问题，更是对品牌忠诚度和用户体验的一次深度检验。

这不仅仅是一场商业利益的较量，更是对品牌忠诚度与用户体验的一次深度检验。马化腾的坚定立场，或将激起连锁反应，引领行业风向的转变。对于广大用户而言，无论是更换手机生态系统还是适应新软件，都是一场不小的挑战。然而，这场看似平静的较量，实则暗流涌动，其最终结果或将重塑应用市场的版图，开启一个全新的时代篇章。

在这个关键时刻，微信的选择，不仅是对自身利益的捍卫，更是对用户权益的维护。马化腾的决策，体现了一位企业家的责任感和对市场的深刻理解。在这场博弈中，微信的立场和行动，无疑将成为中国科技企业的一个标杆。

苹果税的问题，不仅仅是微信和苹果之间的问题，它关系到整个应用生态的健康发展。在这个生态中，开发者的创新和用户的体验，都不应该被高额的抽成所束缚。微信的反抗，是对这一不公现象的有力回击，也是对整个行业规则的一次深刻反思。

在未来的日子里，微信和苹果的这场博弈，无疑将成为科技史上的一个重要案例。它不仅将影响微信和苹果的命运，更将影响整个科技行业的发展方向。在这个过程中，用户的选择和市场的反应，都将是决定最终结果的关键因素。

我们期待着这场博弈能够带来积极的变化，期待着应用市场能够更加公平、更加健康。同时，我们也期待着科技企业能够更加重视用户的需求和体验，不断创新，为用户提供更好的服务。

在这个充满变数的时代，微信和苹果的这场较量，无疑将成为一个值得关注的焦点。让我们拭目以待，看这场博弈如何发展，看它将如何影响我们的数字生活。

在科技的浪潮中，每一次选择都可能成为历史的转折点。马化腾的坚定立场，不仅是对微信的一次考验，更是对整个科技行业的一次挑战。在这个关键时刻，我们期待着微信能够坚持自己的选择，为用户、为行业、为未来，开辟出一条新的道路。

"微信与iPhone的未来何去何从？" 这个问题，不仅考验着马化腾的智慧，也考验着每一个用户的忠诚和选择。让我们共同关注这场博弈的结果，期待它能够为我们带来一个更加美好的数字世界。


苹果手机的优缺点

科技界的每一次较量，都是智慧与策略的较量。近日，马化腾的坚定立场，拒绝向苹果的高昂抽成妥协，成为了业界热议的焦点。面对苹果提出的“付费或下架”的强硬要求，微信的决策显得尤为敏感，尤其是在中国市场，2.5亿iPhone用户与微信的紧密绑定，让这一决策牵动着无数用户的心。

苹果在不同地区的收费标准不一，欧洲仅征收17%的费用，韩国也不过26%，而在中国却高达30%。这种差异背后，显然隐藏着复杂的商业考量和市场营销策略，当然，也可能有其他的目的。马化腾深感此举对微信而言极不公平，因此毅然决然地选择了正面迎击。这一决策不仅是对苹果税 的反抗，更是对市场规则的一次挑战。

若微信不幸从App Store消失，那些深度依赖微信的“果粉”们将面临艰难抉择：是割舍对苹果手机的情感，转向安卓阵营；还是另寻社交软件以解燃眉之急？这一选择，不仅仅是个人偏好的问题，更是对品牌忠诚度和用户体验的一次深度检验。

这不仅仅是一场商业利益的较量，更是对品牌忠诚度与用户体验的一次深度检验。马化腾的坚定立场，或将激起连锁反应，引领行业风向的转变。对于广大用户而言，无论是更换手机生态系统还是适应新软件，都是一场不小的挑战。然而，这场看似平静的较量，实则暗流涌动，其最终结果或将重塑应用市场的版图，开启一个全新的时代篇章。

在这个关键时刻，微信的选择，不仅是对自身利益的捍卫，更是对用户权益的维护。马化腾的决策，体现了一位企业家的责任感和对市场的深刻理解。在这场博弈中，微信的立场和行动，无疑将成为中国科技企业的一个标杆。

苹果税的问题，不仅仅是微信和苹果之间的问题，它关系到整个应用生态的健康发展。在这个生态中，开发者的创新和用户的体验，都不应该被高额的抽成所束缚。微信的反抗，是对这一不公现象的有力回击，也是对整个行业规则的一次深刻反思。

在未来的日子里，微信和苹果的这场博弈，无疑将成为科技史上的一个重要案例。它不仅将影响微信和苹果的命运，更将影响整个科技行业的发展方向。在这个过程中，用户的选择和市场的反应，都将是决定最终结果的关键因素。

我们期待着这场博弈能够带来积极的变化，期待着应用市场能够更加公平、更加健康。同时，我们也期待着科技企业能够更加重视用户的需求和体验，不断创新，为用户提供更好的服务。

在这个充满变数的时代，微信和苹果的这场较量，无疑将成为一个值得关注的焦点。让我们拭目以待，看这场博弈如何发展，看它将如何影响我们的数字生活。

在科技的浪潮中，每一次选择都可能成为历史的转折点。马化腾的坚定立场，不仅是对微信的一次考验，更是对整个科技行业的一次挑战。在这个关键时刻，我们期待着微信能够坚持自己的选择，为用户、为行业、为未来，开辟出一条新的道路。

"微信与iPhone的未来何去何从？" 这个问题，不仅考验着马化腾的智慧，也考验着每一个用户的忠诚和选择。让我们共同关注这场博弈的结果，期待它能够为我们带来一个更加美好的数字世界。

我现在的手机是苹果手机，而上一部是安卓系统的手机，使用之后我发现苹果手机的优点有：1、触摸屏操作极为流畅。 2、多点触摸，重力感应这些东西，使苹果iPhone的娱乐功能也是相当的强大，而这种强大的娱乐功能让苹果iPhone超越了其他手机很大的距离。 3、静音键，使用iPhone的最大感觉是静音非常方便。轻轻一挥，安静！无需下拉状态栏进行调整。 4、强大的IOS系统。苹果IOS系统是出了名的流畅度高、安全性好及稳定性好，虽然目前安卓系统也在不断得到提升，但对于IOS来说，还是输了一大截。 5、简洁且漂亮的ios主题，在操作方便很便捷。另外苹果手机具有强大的WIFI支持功能，以至于它的上网速度很快。

苹果大战 安卓

但是苹果手机也有不好的地方：1、众所周知苹果的手机价格出厂越来越贵了，最新的iPhone新版手机顶配版竟然要1W2以上，同时，苹果的配件也很贵，买一个快充头和数据线差不多600块。 2、系统只能升不能降，虽然新系统有很多新功能，但是对于老设备而言，也意味着会变慢，这一点苹果官方已经承认。一旦你想重装系统，你就不得不升级到新的系统 3、苹果手机比较轻薄，出于节约空间和成本等原因，它配备的电池容量一般都比较小，因此在充满一次电之后苹果手机并不能使用太长的时间，这对于使用手机时间较长或者要路途较长的人来说，真的非常不方便。

这是我使用苹果手机和安卓手机之后对苹果手机的优缺点的分析，希望大家喜欢 。?