数据集成困难、利用低效：AI 热潮下，存储该怎么跟上？
发布日期：2024-10-18 14:43:13
浏览次数： 1663
来源：InfoQ数字化经纬
根据 TDWI 今年发布的《数据管理成熟度评估（DMMA）》报告，虽然 71% 的 IT 专家表示其所在企业高度重视数据，但仅有 19% 的人认为企业已经制定了坚实的数据管理战略。此外，随着网络攻击事件的频发，数据管理问题更加复杂，导致 68% 的 IT 领导者对其企业数据基础架构的弹性持有顾虑。同时，生成式 AI 等新技术的涌现，使得数据处理需求呈指数级增长。许多企业在管理 AI 项目和处理大量数据方面面临着挑战。在这样的背景下，日立集团旗下专注数据存储、基础架构与混合云管理的子公司 Hitachi Vantara 推出新一代单一混合云数据平台——Hitachi Virtual Storage Platform One（VSP One），旨在通过统一的数据生态系统，简化数据管理，消除数据孤岛，提升应用整合能力。近日，InfoQ 与 Hitachi Vantara 的专家进行了交流，探讨在 AI 热潮下“存储”领域的未来走向。他们遇到了哪些机遇和挑战？当前推出的产品又是基于怎样的考虑？VSP One 是为满足客户混合云需求而设计的平台。随着企业越来越倾向于采用混合云策略，部分业务放在自有数据中心以确保安全和合规，部分业务放在公有云上以实现弹性扩展。Hitachi Vantara 中国区技术销售总监谢勇表示，VSP One 允许数据在私有云和公有云之间自由流动，利用 SVOS 的成熟数据复制技术，实现数据在混合云环境中的流动。通过统一的管理工具 Hitachi Ops Center，实现了对私有云和公有云存储的统一监控和管理。这种灵活性满足了企业在混合云环境下的数据管理需求。据介绍，VSP One 通过统一的数据平面，实现了块存储和文件存储的无缝集成。基于日立存储虚拟化操作系统（SVOS），确保每一条信息都能跨设备、跨地点进行收集、整合与访问。这样，数据就能够在高效、快速的环境中自由流动，发挥其潜在价值。- Virtual Storage Platform One Block（块）存储 B20 系列
- Virtual Storage Platform One SDS Block 存储
- Virtual Storage Platform One File（文件）存储
针对 AI 时代的需求，谢勇表示，公司已经推出了端到端的 AI 解决方案组合 Hitachi iQ，以及适用于高性能 AI 存储的分布式文件系统 HCSF（Hitachi Content Software for File），以满足客户对高速存储的需求。他举了个例子——拉斯维加斯的新地标 Sphere 球体场馆。这个项目对内容传输的吞吐量有极高要求，Hitachi Vantara 为其提供了基础的计算和存储平台，确保了上层应用的高速运行。新发布的 VSP One Block 块存储利用 AI 技术，简化存储运行和管理，提高管理效率。存储管理软件内置了运维人员和开发人员的最佳实践，系统能够自动优化数据放置和条带划分，用户只需简单几步即可完成部署。随着网络攻击的增多，数据安全成为企业最为关心的问题。针对这一点，Hitachi Vantara 提供了全面的数据安全解决方案。谢勇强调，公司在防勒索攻击方面有一套综合的策略，包括前期咨询、预防、事中恢复和后续规避。在存储层面，VSP One 采用了 Safe Snap 技术，创建不可篡改的快照。用户可以设置定时快照，一旦数据被攻击，系统可以快速恢复。同时，这些快照被加锁，设置为不可变存储，确保数据不会被篡改或污染。此外，对象存储 HCP 进一步提供了数据的不可篡改性。资深解决方案专家张全林补充道，VSP One 具备 100% 数据完整性和 100% 数据可用性的保证，背后有大量技术支持，能够在数据安全方面提供有力保障。在 AI 浪潮下，企业对于更换新存储设备和平台的意愿度如何？谢勇在接受 InfoQ 采访时表示，虽然存储可能不像 AI 那样吸引眼球，但其重要性不容忽视。数据是数字化转型和日常运营的基础，必须存好、管好、用好。没有数据，一切都无从谈起。他打了个比方，就像换手机。有些人手机坏了才换，有些人一有新款就想换。存储设备也是一样，客户的需求各不相同。有些客户为了获得更好的性能或功能，会定期更新设备。“VSP One Block 20 系列针对需要更高性能、端到端 NVMe、更好的节能减排和压缩比的用户。”而且，很多人以为只有大型企业才需要高级的存储设备，但事实并非如此。谢勇指出，他 们的客户中既有大型企业，如电信运营商、银行，也有小型客户，比如一家奶茶店。 其举例说，最近几家律师事务所购买了他们的产品，每家一般会买两到三台 B20 系列。虽然律师事务所的数据需求可能不如大型企业庞大，但对他们的业务同样重要，因为需要确保邮件系统的连续性，还需要存储大量的案件资料和证据。张全林也进一步解释说，VSP One 是一款企业级存储产品，但并不意味着只有大规模的企业才能用。很多中小型企业也会使用，比如数据规模在几个 TB、几十个 TB 的用户。他们可能只需要一台 2U 的存储设备，就能满足需求。谈到 AI 应用的典型场景之一——自动驾驶，如特斯拉的 FSD（全自动驾驶系统），后台训练需要大量的数据中心支持。对于这类客户，Hitachi Vantara 又是怎么应对？谢勇表示，自动驾驶所需的存储容量通常在 200 到 500 PB 之间，数据量非常大。目前，他们有适用于自动驾驶训练使用场景下的高性能并行文件系统解决方案 HCSF，虽然尚未整合进 VSP One 平台，但这是未来的发展方向。在自动驾驶训练中，面临两个难题：高性能需求和成本效益。他们的解决方案可以大幅缩短训练时间，从 14 天缩短到 4 小时。这是因为在处理大规模数据时，需要提供快速响应，提高效率。为了平衡性能和成本，他们将热数据存储在高速 NVMe SSD 上，将冷数据存储在大容量硬盘上，结合对象存储技术，实现高性能与低成本的平衡。在 AI 和混合云时代，数据已成为企业的核心资产。Hitachi Vantara 推出的 VSP One 平台亦试图为企业提供一条高效的数据管理之路。未来，随着数据类型和需求的不断变化，企业对高性能、灵活性和可持续性的要求会越来越高。Hitachi Vantara 表示，他们将继续创新，为客户提供更全面、更高效的数据解决方案，助力企业在数字化转型的道路上走得更稳、更远。
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
粤ICP备17114055号
支持私有云部署
