AWS 新引擎降低 70% 存储成本，迁移和兼容性问题或影响推广

AWS 推出日志分析新引擎分析师表示新引擎能让企业以更低成本保留更多遥测数据以满足合规性和事件响应需求不过迁移工作和缺少查询支持可能会减缓其推广速度。AWS 推出一款专为日志分析优化的新引擎用于其托管的 Amazon OpenSearch Service旨在帮助企业应对为健谈的 AI 应用程序保留遥测数据成本不断增加的问题。据 AWS 称该引擎可降低 70% 的存储成本同时提供更好的性价比。AI 和智能应用程序产生的遥测数据超出了传统可观测性架构在经济上可管理的范围这迫使企业在保留安全、合规和事件响应所需的运营数据与不断上升的相关基础设施成本之间进行权衡。AWS 表示新引擎允许客户继续使用与该服务现有通用引擎相同的管理控制台、API、安全模型和网络配置同时以 Apache Parquet 格式存储数据并为可搜索字段维护 Lucene 搜索索引。AWS 高管在一篇博客文章中写道该引擎使用 Apache Calcite 解析和优化查询然后将分析操作路由到 Apache DataFusion将搜索谓词路由到 Lucene从而允许在同一查询中运行搜索和分析聚合。他们称优化后的引擎支持 SQL 和管道处理语言PPL。控制成本且不损失细节Dynatrace 在近期对企业日志管理实践的调查中发现AI 工作负载使日志量比上一年增加了 93%企业平均排除了 86% 的日志数据以控制成本和系统容量。HFS Research 执行研究主管 Ashish Chaturvedi 表示“在保持成本几乎不变的情况下管理不断增长的日志量是企业共同面临的持续挑战。”他还说“大多数企业最终会缩短保留期限或对日志进行采样而这恰恰会让你在遇到意外事件时丢失所需的数据。”Info - Tech Research Group 首席研究总监 Shashi Bellamkonda 表示AI 代理打破了通用 OpenSearch 的成本计算逻辑“代理对日志进行的持续后台查询不符合原引擎的成本和性能假设费用变得过高企业开始故意忽视一些数据。”不过HyperFrame Research 的 AI 堆栈分析师 Stephanie Walter 表示即使用户只能实现 AWS 承诺的部分收益新的 AWS 引擎也会有所帮助。Walter 说“更低的存储成本可以延长数据保留期限、更好地支持合规性并进行更全面的事件调查。”Bellamkonda 认为更便宜的数据保留方式还可以帮助首席信息官CIO减少工具泛滥的问题因为这降低了企业纯粹为了成本套利而在不同供应商之间分散可观测性工具的动机。他说“工具泛滥会带来额外的成本比如集成开销以及需要更多人力来维护五个仪表盘而不是一个。”迁移和兼容性问题可能影响推广然而分析师警告称要实现这些好处可能比 AWS 最初强调的兼容性所暗示的要付出更多努力。Bellamkonda 表示“AWS 指出优化后的引擎不能添加到现有域中也不能在通用域内的单个索引上启用。采用该引擎意味着要创建一个新域并将数据摄入管道迁移到新域这使得工程团队的过渡比简单的迁移更为复杂。”Chaturvedi 指出新引擎的另一个问题是它不支持领域特定语言DSL。他表示对于那些围绕 DSL 查询构建现有 OpenSearch 部署的企业或者需要频繁更新工作负载的企业来说在迁移到优化引擎之前可能需要重写仪表盘、警报和自动化工作流程这可能会延长迁移时间。Bellamkonda 表示这些实施方面的考虑可能比引擎背后的技术更能影响新引擎的推广速度“通常情况下迁移的阻碍而非成本会让企业继续使用已经不适用的基础设施。”他还说“AWS 通过支持使用相同的批量 API 和客户端库进行数据摄入降低了迁移过程中的阻碍这意味着无需更改数据摄入管道或应用程序代码。然而它并没有完全消除迁移工作。”用于 Amazon OpenSearch Service 的新优化引擎现已全面推出。人工智能分析