从特殊的训练样例中提取出一般的特征是机器学习的中心问题，这一问题被称为概念学习（concept learning)，或称从样例中逼近布尔值函数。定义： 概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。
概念定义在一个实例（instance）集合之上，表示为X。
目标概念（target concept）： 待学习的概念或函数，记作c。一般来说，c是可以定义在实例集X上的任意布尔函数，即c:X→{0,1}。
训练样例（training examples）：每个样例为X中的一个实例x以及它的目标概念值c(x)。对于c(x)=1的实例被称为正例（positive example)，对于c(x)=0的实例为反例（negative example）。经常可以用序偶<x,c(x)>来描述训练样例。
假设（hypothese)：对目标概念的估计，所有可能假设的集合为H。H中的每个假设h表示X上的定义的布尔函数即h:X→{0,1}。机器学习的目标就是寻找一个假设，使对于X中的所有x,h(x) = c(x)。
归纳学习假设:任一假设如果在足够大的训练样例集中很好的逼近目标函数，它也能在未见实例中很好的逼近目标函数。