首页 > 其他分享 >什么是启发式过滤（Heuristic Filtering）？

什么是启发式过滤（Heuristic Filtering）？

时间：2024-09-25 12:54:27浏览次数：11  
标签：Heuristic Filtering -- 过滤 文档 启发式 document dir

在这里插入图片描述

定义

启发式过滤是一种技术方法，利用解决问题的技术和算法来识别数据中的模式、趋势或特征。 这种方法通常涉及使用预测分析和近似方法，以便快速做出决策或对信息进行分类。 启发式过滤通常应用于反垃圾邮件软件、防病毒程序和人工智能等领域，以有效检测垃圾邮件、恶意软件或根据以往的数据模式做出明智的决策。

主要启示

  1. 启发式过滤利用基于以往经验的算法来有效识别和过滤掉不需要的信息。
  2. 这种方法成本低廉、节省时间，因此对于资源有限的复杂问题很有价值。 然而，启发式过滤的准确性在很大程度上取决于启发式的质量和以往的经验，这可能会导致结果出现误差或偏差。
  3. 启发式过滤被广泛应用于各种领域，如优化问题、决策支持、自然语言处理和垃圾邮件检测等，因为它能在相对较短的时间内提供可接受水平的结果。

说明

启发式过滤是一种动态技术,用于基于经验驱动的知识或有根据的猜测的模式识别,决策和问题解决。这些方法主要用于不切实际或不必要的情况下。启发式过滤的目的是在分析复杂或大数据集时提供近似值,从而使系统能够快速找到“足够好”的可行解决方案,而不是获得最佳解决方案。

启发式过滤在各个行业中都是有帮助的,尤其是在计算机科学,人工智能（AI）和网络安全应用程序中,因为它们使计算机和算法能够根据一组预定规则或以前的经验快速学习和适应。启发式过滤最常见的应用之一是垃圾邮件检测领域。电子邮件服务提供商采用启发式算法来快速识别和过滤不需要的消息,从而保护用户免受无关或恶意内容的轰炸。

这些过滤器评估传入电子邮件的某些特征,例如主题行,消息内容和发送模式,以确定消息成为垃圾邮件的可能性。通过不断适应新的模式和威胁,启发式过滤器在识别和减少垃圾邮件方面变得越来越有效。此外,相同的概念通常部署在网络安全系统中,在该系统中,防火墙和入侵检测系统使用启发式过滤来检测潜在威胁和漏洞。

总体而言,启发式过滤是应对各种复杂挑战并提供可提高效率,安全性和用户体验的实用解决方案的必不可少的工具。

启发式过滤示例

Heuristic Filtering是一种用于根据特定行为模式或规则识别和过滤不需要的内容,恶意软件或垃圾邮件的技术。这是三个现实世界的例子:

电子邮件垃圾邮件过滤:启发式过滤在电子邮件服务中起着重要作用,因为它有助于识别和过滤垃圾邮件。电子邮件服务提供商（例如Gmail,Yahoo和Outlook）使用启发式过滤来分析电子邮件的内容,发送者和模式,并根据预定义的规则和算法将其分类为垃圾邮件或非垃圾邮件。这有助于减少用户’收件箱中的有害消息数量。

病毒和恶意软件检测:防病毒软件和安全套件经常使用启发式过滤技术来检测恶意软件,病毒和其他潜在有害软件。通过使用启发式分析,该软件可以根据其行为,文件结构或代码模式检测未知威胁。这使安全应用程序可以在可疑软件对系统造成任何损坏之前对其进行阻止或隔离。

在线广告过滤和阻止:Web浏览器和广告阻止扩展还使用启发式过滤来分析和阻止潜在有害或侵入性广告。通过使用模式识别和内容分析,这些工具可以阻止包含特定关键字,源自已知广告服务器或侵犯用户隐私的广告。这有助于为用户提供更清洁,更安全的浏览体验。

常见问题解答–启发式过滤

  1. 什么是启发式过滤？
    启发式过滤是一种在包括计算机科学和网络安全在内的各个领域中用于识别模式并根据一组规则和算法做出决策的技术。在垃圾邮件过滤器或防病毒软件的上下文中,启发式过滤用于根据其特征识别可疑电子邮件或文件,即使以前未将其识别为恶意。

  2. 启发式过滤如何工作？
    启发式过滤通过分析电子邮件或文件的各种特征（例如主题行,文本模式和文件结构）来工作。然后,它使用算法来确定这些特征是否与与垃圾邮件或恶意软件相关的已知模式匹配。如果找到匹配项,则电子邮件或文件被标记为可能不可信任,并且可能被隔离或阻止以保护用户。

  3. 使用启发式过滤有什么好处？
    启发式过滤的主要好处是,它可以识别和阻止以前未遇到的新垃圾邮件或恶意软件威胁,从而为用户提供更高级别的保护。而且,它可以适应不断变化的威胁,因为它会根据新数据不断更新其算法。这使得启发式过滤与其他安全措施（例如基于签名的检测和基于行为的分析）相结合,成为有价值的工具。

  4. 启发式过滤有什么缺点吗？
    启发式过滤在检测和阻止未知威胁方面具有显着优势,但有时可能会产生误报,将合法电子邮件或文件标记为潜在有害。这可能会给用户带来不便,并且可能需要手动干预才能解决。此外,启发式过滤技术可能是资源密集型的,因为它们需要大量的计算能力来分析模式并做出决策。

  5. 如何在安全软件中实施启发式过滤？
    要在安全软件中实施启发式过滤,您需要选择一种将本技术集成到其现有平台中的解决方案,或者找到一个独立的启发式过滤工具。许多防病毒和安全软件提供商将启发式过滤作为其产品中的功能。确保研究可用的选项,并在兼容性,准确性和资源消耗方面选择满足您特定需求的选项。

相关技术条款

  • 模式识别
  • 异常检测
  • 贝叶斯过滤
  • 机器学习
  • 自适应算法

实例

Nvidia Nemo 分类器和启发式质量筛选

大型数据集通常包含许多被认为是 "低质量 "的文档。 在这种情况下，"低质量 "数据只是指我们不希望下游模型从中学习的数据，而 "高质量 "数据则是我们希望下游模型从中学习的数据。 定义质量的指标可能各不相同。 有一些启发式方法可以通过收集简单的统计数据来衡量质量，比如文档有多少个标点符号、文档有多长以及文档的重复性有多高。 然后，您就可以根据这些统计数据筛选文档。 相反，您可能有一个高质量的数据集，而您希望新的数据集与之保持一致。

NeMo Curator 为这两种过滤提供了模块，并提供了一个简单的界面来添加自己的过滤器或将其与现有的过滤器相结合。 您还可以使用这些模块收集文档的统计数据和元数据，而无需删除任何文档。 有 30 多种过滤器可用于英语、非英语和代码数据集。

使用

ScoreFilter 是 NeMo Curator 过滤功能的核心。 让我们来看看这个小例子：

import nemo_curator as nc
from nemo_curator.datasets import DocumentDataset
from nemo_curator.utils.file_utils import get_all_files_paths_under
from nemo_curator.filters import WordCountFilter

files = get_all_files_paths_under("books_dataset/")
books = DocumentDataset.read_json(files, add_filename=True)

filter_step = nc.ScoreFilter(
                WordCountFilter(min_words=80),
                text_field="text",
                score_field="word_count",
            )

long_books = filter_step(books)

long_books.to_json("long_books/", write_to_filename=True)

需要重点关注的核心部分是 filter_step 的创建。 WordCountFilter(min_words=80) 创建并配置了一个过滤器对象。 过滤器对象是从抽象基类 nemo_curator.filters.DocumentFilter 继承而来的类。 该基类要求继承者实现 score_document 和 keep_document 这两个方法。 在本例中，我们来看看简化版的 WordCountFilter。

class WordCountFilter(DocumentFilter):

  def __init__(self, min_words=50, max_words=100000, lang='en'):
    self._min_words = min_words
    self._max_words = max_words
    self._word_splitter = get_word_splitter(lang)
    self._name = 'word_count'

  def score_document(self, text: str):
    return len(self._word_splitter(text))

  def keep_document(self, score: int):
    return self._min_words <= score <= self._max_words

score_document 接收文档的文本，并返回文档的字数。 keep_document 接收 score_document 输出的分数（本例中为字数），如果分数表明文档应该保留，则返回 True；如果文档应该删除，则返回 False。 现在，需要注意的是，WordCountFilter 和 DocumentFilter 只能对单个文档进行操作。 要将过滤器应用于整个数据集，我们必须使用 ScoreFilter。

filter_step = nc.ScoreFilter(
    WordCountFilter(min_words=80),
    text_field="text",
    score_field="word_count",
)

ScoreFilter 的构造创建了一个可应用于 DocumentDataset（而非单个文档）的函数。 text_field 指定了数据集中的文档字段，这些文档将被传递给过滤器的 score_document 函数。 score_field 是一个可选参数，允许您在文档的给定元数据字段中记录分数，如果指定了，分数将与其他元数据一起写入磁盘。 在某些情况下，数据集可能带有您想直接过滤的元数据。 或者，你可能只想添加一个新的元数据，而不想对其进行过滤。 过滤模块和评分模块可以分别完成这两项任务。 例如，如果上例中的数据集预先填充了 word_count 字段，则可以重写如下：

books = DocumentDataset.read_json(files, add_filename=True)

filter_step = nc.Filter(
                WordCountFilter(min_words=80).keep_document,
                filter_field="word_count",
            )

long_books = filter_step(books)

long_books.to_json("long_books/", write_to_filename=True)

另外，如果您只想跟踪文档中单词的长度，而不想根据它们进行筛选，也可以重写如下：

books = DocumentDataset.read_json(files, add_filename=True)

filter_step = nc.Score(
                WordCountFilter(min_words=80).score_document,
                text_field="text",
                score_field="word_count",
            )

annotated_books = filter_step(books)

annotated_books.to_json("annotated_books/", write_to_filename=True)

分批过滤

上面定义的评分和过滤函数都是针对单个文档的，而 NeMo Curator 可以利用批处理函数来提高性能。 为此，您可以使用批处理装饰器（batched decorator）对函数进行注释。 该装饰器将导致向函数传递一系列 pandas 文档/分数，而不是单个文档/分数。 下面是重写的 WordCountFilter，以便在 keep_document 中使用批次。

from nemo_curator.utils.decorators import batched

class WordCountFilter(DocumentFilter):

  def __init__(self, min_words=50, max_words=100000, lang='en'):
    self._min_words = min_words
    self._max_words = max_words
    self._word_splitter = get_word_splitter(lang)
    self._name = 'word_count'

  def score_document(self, text: str):
    return len(self._word_splitter(text))

  @batched
  def keep_document(self, scores: pd.Series):
    pass_min = self._min_words <= scores
    pass_max = score <= self._max_words
    return pass_min & pass_max

使用批处理装饰器时，从函数返回的序列索引必须与传入的索引保持一致。 由于在当前过滤器之前应用了过滤器，因此索引可能不连续。 在上述代码中，索引将自动保持不变，因此无需更改。 但是，在编写将序列转换为列表等不同结构的函数时，需要特别注意。 下面的代码示例演示了这种错误的表现形式以及如何解决。

class BuggyLengthFilter(DocumentFilter):

  @batched
  def score_document(self, documents: pd.Series):
    scores = []
    for document in documents:
      scores.append(len(document))

    return pd.Series(scores) # Bad! Does not preserve the index

class CorrectLengthFilter(DocumentFilter):

  @batched
  def score_document(self, documents: pd.Series):
    scores = []
    for document in documents:
      scores.append(len(document))

    return pd.Series(scores, index=documents.index) # Good! Preserves the index

分类器过滤

我们所采用的基于分类器的过滤方法与 Brown 等人在 2020 年所使用的方法非常相似，它训练了一个二进制跳序分类器，可用于区分低质量和高质量文档。 为了实现这一点，我们使用了 fastText 提供的函数。 根据 fastText 文档中提供的示例，我们首先创建一个由高质量和低质量训练文档组成的文件。 我们在 examples/classifier_filtering.py 中提供了一个如何训练和使用模型的示例。

我们还为相同功能提供了 CLI 脚本。 prepare_fasttext_training_data 脚本将从输入数据集中随机抽取文档样本，并将其准备用于训练 fasText 跳序分类器。 对于高质量的数据集，我们建议从 OpenWebText2 或维基百科中取样，而对于低质量的数据集，则可以使用未经过滤的 Common Crawl 版本。

prepare_fasttext_training_data \
  --input-data-dir=<Specify the path to common-crawl/low-quality data> \
  --output-num-samples=<Specify the number of low-quality documents to be used for training> \
  --label='__label__cc' \
  --output-train-file=${res_dir}/cc_samples.txt \

prepare_fasttext_training_data \
  --input-data-dir=<Specify the path to high-quality data> \
  --output-num-samples=<Specify the number of high-quality documents to be used for training> \
  --label='__label__hq' \
  --output-train-file=${res_dir}/hq_samples.txt \

样本准备好并写入 .txt 文件后，用户就可以使用 train_fasttext 脚本读取 .txt 文件中的样本，以训练高质量的分类器。train_fasttext 会读取 .txt 文件中的所有样本，将数据分成训练集和验证集，并训练二进制跳格分类器。 训练完成后，它会在验证样本上评估模型，并将预测结果写入 jsonl 文件，将混淆矩阵打印到 stdout。

train_fasttext \
  --fasttext-files-dir=${res_dir} \
  --output-train-file=${res_dir}/fasttext_samples.train \
  --output-validation-file=${res_dir}/fasttext_samples.valid \
  --output-model=${res_dir}/cc_filter_test.bin \
  --output-predictions=${res_dir}/preds.jsonl

最后，模型经过训练并能提供质量分数后，就可用于质量过滤。 与 filter_documents 使用 fastText 模型 lid.176.bin 进行语言识别的方式类似，我们提供了一个默认配置，可用于使用 fastText 模型进行基于分类器的质量过滤。 此外，该过滤器还采用了 Brown 等人在 2020 年所描述的基于帕累托的抽样方法。

filter_documents \
  --input-data-dir=<Specify the path to common-crawl/uncurated data> \
  --filter-config-file=./config/fasttext_quality_filter.yaml \
  --output-retained-document-dir=<Output directory to which high-quality documents will be written> \
  --output-removed-document-dir=<Output directory to which low-quality documents will be written> \
  --log-dir=${log_dir}/fasttext_classifier \

启发式过滤

与其他过滤步骤一样，NeMo Curator 中基于启发式的过滤可以使用 ScoreFilter 或 filter_documents 工具来执行。 在 NeMo Curator 中，可以使用 Sequential 对过滤器进行如下连锁处理。

filter_step = nc.Sequential([
    ScoreFilter(
        WordCountFilter(min_words=80),
        score_field="word_count",
    ),
    ScoreFilter(IncompleteStoryFilter()),
    ScoreFilter(RepeatingTopNGramsFilter(n=2, max_repeating_ngram_ratio=0.2)),
    ScoreFilter(RepeatingTopNGramsFilter(n=3, max_repeating_ngram_ratio=0.18)),
    ScoreFilter(RepeatingTopNGramsFilter(n=4, max_repeating_ngram_ratio=0.16)),
])

过滤器配置文件 config/heuristic_filter.yaml 提供了启发式过滤器的通用列表，这些过滤器已经过测试，并被证明可以提供用于训练的文档，从而提高语言模型的下游任务性能。 这些过滤器具有足够的通用性，用户可以随意移除过滤器级联中的某些过滤器，并尝试不同过滤器配置/参数的结果。

此外，这些过滤器还被用于策划高质量的非英语文档。 不过，在应用于非英语数据时，建议用户通过指定 --document-score-dir 参数来写出文档分数。 这样，用户就可以检查某个特定的过滤器是否从语料库中删除了大量文件。

filter_documents \
  --input-data-dir=<Specify path to input dataset> \
  --filter-config-file=./config/heuristic_filter_en.yaml \
  --output-retained-document-dir=<Output directory to which high-quality documents will be written> \
  --output-removed-document-dir=<Output directory to which low-quality documents will be written> \
  --output-document-score-dir=<Output directory to which document scores will be written> \
  --log-dir=${log_dir}/heuristic_filter

标签：Heuristic,Filtering,--,过滤,文档,启发式,document,dir
From： https://blog.csdn.net/weixin_41446370/article/details/142491966

相关文章

  • Graph Edge Partitioning via Neighborhood Heuristic
    目录概符号说明VertexvsEdgepartitioningNE(NeighborExpansion)代码ZhangC.,WeiF.,LiuQ.,TangZ.G.andLiZ.Graphedgepartitioningvianeighborhoodheuristic.KDD,2017.概本文提出了一种图分割方法(edgepartitioning),保证只有少量的重复结点.符号......
  • 【转载】启发式合并
    https://zhuanlan.zhihu.com/p/560661911数据结构学习笔记(8)启发式合并启发式合并是用来解决子树中的统计问题。在codeforces上叫做dsuontree(树上启发式合并)。这里我们主要是来讲在树上进行启发式合并。实际上之前我有讲过启发式合并严格鸽：启发式合并看似暴力实则很快的......
  • 树上启发式合并——dsu on tree
    参考文章：树上启发式合并[dsuontree]树上启发式合并总结树上启发式合并の详解启发式合并启发式算法是什么呢？启发式算法是基于人类的经验和直观感觉，对一些算法的优化。举个例子，最常见的就是并查集的启发式合并了，代码是这样的：voidmerge(intx,inty){intxx=find(x......
  • 【scikit-opt】七大启发式算法的使用
    @目录前言1.测试函数1.1针状函数1.1.1表达式1.1.2特征1.1.3图像1.2Brains’srcos函数1.2.1表达式1.2.2特征1.2.3图像1.3Griewank函数1.3.1表达式1.3.2特征1.3.3图像1.4Easom’s函数1.4.1表达式1.4.2特征1.4.3图像1.5Schwefel’s函数1.5.1表达式1.5.2特征1.5.3......
  • 【题解】Solution Set - NOIP2024集训Day12 树上启发式合并
    【题解】SolutionSet-NOIP2024集训Day12树上启发式合并https://www.becoder.com.cn/contest/5472「CF600E」Lomsatgelral直接dsuontree。记录每一个颜色的出现次数。「IOI2011」Race之前是用点分治做的。考虑dsuontree。每个子树内维护到根节点的距离为\(x\)......
  • 并查集（路径压缩法+启发式合并法）
    我们从一道例题看起：洛谷P1551亲戚。问题很简单，给出一个亲戚关系图，规定\(x\)和\(y\)是亲戚，\(y\)和\(z\)是亲戚，那么\(x\)和\(z\)也是亲戚，那么\(x\)的亲戚都是\(y\)的亲戚，\(y\)的亲戚也都是\(x\)的亲戚，再给定\(P_i\)和\(P_j\)，询问他们是否是亲戚，输出Yes或......
  • 【MATLAB源码-第138期】基于matlab的D2D蜂窝通信仿真，对比启发式算法，最优化算法和随机
    操作环境：MATLAB2022a1、算法描述D2D蜂窝通信介绍D2D蜂窝通信允许在同一蜂窝网络覆盖区域内的终端设备直接相互通信，而无需数据经过基站或网络核心部分转发。这种通信模式具有几个显著优点：首先，它可以显著降低通信延迟，因为数据传输路径更短；其次，由于减少了基站的中转，可以提高......
  • Large Language Models meet Collaborative Filtering
    本文是LLM系列文章，针对《LargeLanguageModelsmeetCollaborativeFiltering:AnEfficientAll大型语言模型与协同过滤：一个高效的基于LLM的全方位推荐系统摘要1引言2相关工作3问题定义4提出的方法5实验6结论摘要协同过滤推荐系统（CFRecSys）在增强社......
  • [python] 启发式算法库scikit-opt使用指北
    scikit-opt是一个封装了多种启发式算法的Python代码库，可以用于解决优化问题。scikit-opt官方仓库见：scikit-opt，scikit-opt官网文档见：scikit-opt-doc。scikit-opt安装代码如下：pipinstallscikit-opt#调用scikit-opt并查看版本importskosko.__version__'0.6.6'0背景介......
  • 树上启发式合并
    树上启发式合并（DSUontree），和莫队一样都是暴力美学，用于解决一些树上离线问题，尤其是指“对于每个节点，询问关于子树的信息”这类问题。而且虽然是暴力做法，但是时间复杂度神奇的来到了\(O(nlogn)\)。启发式合并启发式合并是一种思想，在合并两个集合时，优先将小集合合并到大集合中去......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99