评估您的数据是否可用于人工智能的三个考虑因素

评估您的数据是否可用于人工智能的三个考虑因素

​ 多数组织正在人工智能和生成性人工智能的炒作中迷失方向。在许多情况下，他们并没有准备好人工智能项目所需的数据基础。三分之一的高管认为，只有不到50%的组织有了人工智能所需的数据，而多数组织并未准备好。因此，在开展人工智能项目之前，奠定正确的基础至关重要。在评估准备情况时，主要考虑因素如下：

• 可用性：您的数据在哪里？
• 类目：您将如何记录和协调您的数据？
• 质量：优质数据是人工智能项目成功的关键。

​ 人工智能存在“垃圾进，垃圾出”的问题：如果您输入的数据质量差、不准确或无关紧要，那么输出也会如此。这些项目涉及的工作量和费用都非常高，风险也很大，因此从错误的数据开始是不可取的。

数据对人工智能的重要性

​ 数据是人工智能的基本要素；它是基于数据进行训练的，然后为特定目的处理数据。当您计划使用人工智能解决问题时——即使是使用现有的大型语言模型，如ChatGPT这样的生成性人工智能工具——您也需要为其提供业务的正确上下文（即优质数据），以便根据您的业务上下文定制答案（例如，用于检索增强生成）。而并不只是简单地将数据塞到模型中。

​ 如果您正在构建新模型，您必须知道将使用什么数据进行训练和验证。这些数据需要进行分离，以便您可以在一个数据集上进行训练，然后在不同的数据集上进行验证，来确定模型是否有效。

建立正确数据基础的挑战

​ 对于许多公司来说，知道数据在哪里以及数据的可用性是第一项重大挑战。如果您对自己的数据有一定的了解——数据的存在情况、数据所在的系统、数据的规则等——这已经是一个良好的起点。然而，事实是，许多公司并没有达到这种理解水平。

​ 数据并不总是随时可用；它可能分散在许多系统和信息孤岛中。尤其是大型公司，往往拥有非常复杂的数据环境。他们没有一个单一的、经过整理的数据库，所有模型所需的数据都整齐地组织在行和列中，可以直接检索和使用。

​ 另一个挑战是数据不仅存在于许多不同的系统中，而且格式各异。存在SQL数据库、NoSQL数据库、图数据库、数据湖，有时数据只能通过专有应用程序API访问。还有结构化数据和非结构化数据。一些数据存放在文件中，可能还有一些来自工厂传感器的实时数据，等等。根据您所在的行业，数据可能来自不同系统和格式的众多来源。协调这些数据是困难的；大多数组织没有相应的工具或系统来统一维护。

​ 即使您能够找到数据并将其转换为业务理解的统一格式（规范模型），您还需要考虑数据质量。数据是杂乱的；粗略看似乎没有问题，但仔细观察时，数据中会出现错误和重复，因为您是从多个系统中获取数据，不一致是不可避免的。您不能用低质量的训练数据来训练人工智能模型，然后期待高质量的结果。

如何奠定正确的基础：成功的三个步骤

​ 人工智能项目基础的第一块砖是了解您的数据。您必须能够清晰地表达业务正在捕获什么数据，这些数据存放在哪些系统中，数据的物理实现与业务的逻辑定义有何不同，以及业务规则是什么......

​ 接下来，您必须能够评估您的数据。就是要问：“对我的业务来说，什么是优质数据？”您需要定义优质数据的标准，并制定验证和清洗数据的规则，以及维护数据质量的策略。

​ 如果您能够从异构系统中获取数据并将其转换为规范模型，并对其进行整理以提高质量，您仍然需要关注可扩展性。这是第三个基础步骤。许多模型需要大量数据进行训练；您还需要大量数据用于检索增强生成，这是提高生成性人工智能模型性能的一种技术，它使用未包含在训练模型中的外部信息。所有这些数据都是不断变化和发展的。

​ 您需要一种方法来创建合适的数据管道，以适应您可能输入的数据的负载和体积。最初，您可能会被弄得不知所措，忙于寻找数据来源、清洗数据等，以至于没有充分考虑到对于不断演变的数据进行扩展将面临的挑战。因此，您必须考虑使用哪个平台来构建该项目，以便该平台能够扩展到您将引入的数据量。

为可信数据创造环境

​ 在进行人工智能项目时，将数据视为事后考虑因素必然会导致糟糕的商业结果。任何认真对待通过开发和使用人工智能来建立和维持商业优势的人都必须首先关注数据。主要问题在于：整理和准备用于商业目的数据具有相当的复杂性和挑战性，首当其冲的是时间因素。也就是说不给您范错的时间；最起码您要有一个帮助您维护高质量数据的平台和方法。了解和评估您的数据，然后规划可扩展性，您就会朝着更好的商业结果迈出一步。

【注】本文译自：https://sdtimes.com/ai/three-considerations-to-assess-your-datas-readiness-for-ai