基本概念
参考文档：《数据结构与算法 Python语言描述_裘宗燕》
B站视频：数据结构与算法（Python语言描述）--完整顺序版
算法的概念
算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。
算法是独立存在的一种解决问题的方法和思想。
对于算法而言，实现的语言并不重要，重要的是思想。
算法的五大特性
- 输入: 算法具有0个或多个输入
- 输出: 算法至少有1个或多个输出
- 有穷性: 算法在有限的步骤之后会自动结束而不会无限循环，并且每一个步骤可以在可接受的时间内完成
- 确定性：算法中的每一步都有确定的含义，不会出现二义性
- 可行性：算法的每一步都是可行的，也就是说每一步都能够执行有限的次数完成
算法设计模式
算法设计中一些常见的通用想法可以称为算法设计模式。常见模式包括:
●枚举法。根据具体问题枚举出各种可能，从中选出有用信息或者问题的解。这种方法利用计算机的速度优势，在解决简单问题时十分有效。
●贪心法。如前所述，根据问题的信息尽可能做出部分的解，并基于部分解逐步扩充得到完整的解。在解决复杂问题时，这种做法未必能得到最好的解。
●分治法。把复杂问题分解为相对简单的子问题，分别求解，最后通过组合起子问题的解的方式得到原问题的解。
●回溯法(搜索法)。专指通过探索的方式求解。如果问题很复杂，没有清晰的求解路径，可能就需要分步骤进行，而每一步骤又可能有多种选择。在这种情况下，只能采用试探的方式，根据实际情况选择一个可能方向。当后面的求解步骤无法继续时，就需要退回到前面的步骤，另行选择求解路径，这种动作称为回溯。
●动态规划法。在一些复杂情况下，问题求解很难直截了当地进行，因此需要在前面的步骤中积累信息，在后续步骤中根据已知信息，动态选择已知的最好求解路径(同时可能进一步积累信息)。这种算法模式被称为动态规划。
●分支限界法。可以看作搜索方法的一种改良形式。如果在搜索过程中可以得到- -些信息，确定某些可能的选择实际上并不真正有用，就可以及早将其删除，以缩小可能的求解空间，加速问题求解过程。
这里需要说明两点：首先，上述算法设计模式只是人们对经验的总结，只能借鉴，不应作为教条。其次，这些模式并不相互隔绝也不互相排斥。例如，一般而言复杂的问题都需要分解;而最简单的情况经常可能采用枚举和判断的方式处理。所以，在很多复杂算法中可以看到多种算法模式的身影，是多种模式的有机组合。还是应该强调，对于算法设计而言，并没有放之四海而皆准的设计理论或技术，只能借鉴和灵活运用前人经验。算法是智力活动的产物，一个好算法至少等价于一个好的定理及其证明，因为算法不仅说明了一件事可以用计算机处理，而且还可以实现为程序，真正利用计算机去解决问题。
算法效率衡量
执行时间反应算法效率
对于同一问题，我们给出了两种解决算法，在两种算法的实现中，我们对程序执行的时间进行了测算，发现两段程序执行的时间相差悬殊，由此我们可以得出结论：实现算法程序的执行时间可以反应出算法的效率，即算法的优劣。
但单纯依靠运行的时间来比较算法的优劣并不一定是客观准确的！
程序的运行离不开计算机环境（包括硬件和操作系统），这些客观原因会影响程序运行的速度并反应在程序的执行时间上。那么如何才能客观的评判一个算法的优劣呢？
时间复杂度与“大O记法”
我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位，那么有多少个基本操作就代表会花费多少时间单位。算然对于不同的机器环境而言，确切的单位时间是不同的，但是对于算法进行多少个基本操作（即花费多少时间单位）在规模数量级上却是相同的，由此可以忽略机器环境的影响而客观的反应算法的时间效率。
对于算法的时间效率，我们可以用“大O记法”来表示。
“大O记法”：对于单调的整数函数f，如果存在一个整数函数g和实常数c>0，使得对于充分大的n总有f(n)<=c*g(n)，就说函数g是f的一个渐近函数（忽略常数），记为f(n)=O(g(n))。也就是说，在趋向无穷的极限意义下，函数f的增长速度受到函数g的约束，亦即函数f与函数g的特征相似。
时间复杂度：假设存在函数g，使得算法A处理规模为n的问题示例所用时间为T(n)=O(g(n))，则称O(g(n))为算法A的渐近时间复杂度，简称时间复杂度，记为T(n)
如何理解“大O记法”
对于算法进行特别具体的细致分析虽然很好，但在实践中的实际价值有限。对于算法的时间性质和空间性质，最重要的是其数量级和趋势，这些是分析算法效率的主要部分。而计量算法基本操作数量的规模函数中那些常量因子可以忽略不计。例如，可以认为3n2和100n2属于同一个量级，如果两个算法处理同样规模实例的代价分别为这两个函数，就认为它们的效率“差不多”，都为n2级。
最坏时间复杂度
分析算法时，存在几种可能的考虑：
- 算法完成工作最少需要多少基本操作，即最优时间复杂度
- 算法完成工作最多需要多少基本操作，即最坏时间复杂度
- 算法完成工作平均需要多少基本操作，即平均时间复杂度
对于最优时间复杂度，其价值不大，因为它没有提供什么有用信息，其反映的只是最乐观最理想的情况，没有参考价值。
对于最坏时间复杂度，提供了一种保证，表明算法在此种程度的基本操作中一定能完成工作。
对于平均时间复杂度，是对算法的一个全面评价，因此它完整全面的反映了这个算法的性质。但另一方面，这种衡量并没有保证，不是每个计算都能在这个基本操作内完成。而且，对于平均情况的计算，也会因为应用算法的实例分布可能并不均匀而难以计算。
因此，我们主要关注算法的最坏情况，亦即最坏时间复杂度。
时间复杂度的几条基本计算规则
- 基本操作，即只有常数项，认为其时间复杂度为O(1)
- 顺序结构，时间复杂度按加法进行计算
- 循环结构，时间复杂度按乘法进行计算
- 分支结构，时间复杂度取最大值
- 判断一个算法的效率时，往往只需要关注操作数量的最高次项，其它次要项和常数项可以忽略
- 在没有特殊说明时，我们所分析的算法的时间复杂度都是指最坏时间复杂度
常见时间复杂度之间的关系
所消耗的时间从小到大
O(1) < O(logn) < O(n) < O(nlogn) < O(n2) < O(n3) < O(2n) < O(n!) < O(nn)
Python内置类型性能分析
timeit模块
timeit模块可以用来测试一小段Python代码的执行速度。
class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>)
Timer是测量小段代码执行速度的类。
参数：
- stmt参数是要测试的代码语句（statment）
- setup参数是运行代码时需要的设置
- timer参数是一个定时器函数，与平台有关
timeit.Timer.timeit(number=1000000)
Timer类中测试语句执行速度的对象方法。number参数是测试代码时的测试次数，默认为1000000次。方法返回执行代码的平均耗时，一个float类型的秒数。
list内置操作的时间复杂度
dict内置操作的时间复杂度
空间开销
在程序里使用任何类型的对象，都需要付出空间的代价。建立一个表或元组，至少要占用元素个数那么多空间。如果一个 表的元素个数与问题规模线性相关，建立它的空间付出至少为O(n) (如果元索也是新创建的，还需考虑元素本身的存储开销)。
相对而言，表和元组是比较简单的数据结构。集合和字典需要支持快速查询等操作，其结构更加复杂。包含n个元素的集合或字典，至少需要占用o(n)的存储空间。
这里还有两个问题需要特别提出，请注意:
- Python的各种组合数据对象都没有预设的最大元素个数。在实际使用中，这些结构能根据元素个数的增长自动扩充存储空间。从空间占用的角度看，其实际开销在存续期间可能变大，但通常不会自动缩小(即使后来元素变得很少了)。举个例子，假设程序里建了一个表，而后不断加人元素导致表变得很大，而后又不断删除元素，后来表中元素变得很少，但占用的存储空间并不减少。
- 还应该注意Python自动存储管理系统的影响。举个例子:如果在程序里建立了一个表，此后一直将其作为某个全局变量的值，这个对象就会始终存在并占用存储空间。如果将其作为某个函数里局部变量的值，或者虽然作为全局变量的值，但后来通过赋值将其抛弃，这个表对象就可以被回收。
数据结构
数据是一个抽象的概念，将其进行分类后得到程序设计语言中的基本类型。如：int，float，char等。数据元素之间不是独立的，存在特定的关系，这些关系便是结构。数据结构指数据对象中数据元素之间的关系。
Python给我们提供了很多现成的数据结构类型，这些系统自己定义好的，不需要我们自己去定义的数据结构叫做Python的内置数据结构，比如列表、元组、字典。而有些数据组织方式，Python系统里面没有直接定义，需要我们自己去定义实现这些数据的组织方式，这些数据组织方式称之为Python的扩展数据结构，比如栈，队列等。
典型的数据结构
- 集合结构:其数据元素之间没有需要关注的明确关系，也就是说关系R是空集。这样的数据结构也就是其元素的集合，只是把一组数据元素包装为一个整体。这是最简单的一类数据结构。
- 序列结构:其数据元素之间有一种明确的先后关系(顺序关系)。存在一个排位在最前的元素，除了最后的元素外，每个元素都有一个唯一的后继元素，所有元素排列成一个线性序列。关系R就是这里的线性顺序关系。这种结构也称为线性结构，一个这样的复杂数据对象就是一个序列对象。序列结构还有一些变形。如环形结构和ρ形结构。其特点是每个元素只有(最多)一个后继。
- 层次结构:其数据元素分属于一些不同的层次，一个上层元素可以关联着一个或者多个下层元素，关系R形成一种明确的层次性，只从上层到下层(通常也允许跨层次)。层次关系又可以分为许多简单或复杂的子类别。
- 树形结构:层次结构中最简单的一种关系是树形关系，其特点是在一个树形结构中只有一个最上层数据元素，称为根，其余元素都是根的直接或间接关联的下层元素。进一步说，除根元素之外的每个元素，都有且仅有一个上层元素与之关联。树形数据结构简称为树，相应的复杂数据对象称为树形对象。
- 图结构:数据元素之间可以有任意复杂的相互联系。数学领域中的图概念是这类复杂结构的抽象，因此人们把这样的结构称为图结构，把这样的复杂对象称为图对象。
实际上，可以认为图结构包含了前面几类结构，把那些结构看作图的受限形式。由于其中元素之间的关系受限，可能存在一些有意义的特殊性质。
算法与数据结构的区别
数据结构只是静态的描述了数据元素之间的关系。
高效的程序需要在数据结构的基础上设计和选择算法。
程序 = 数据结构 + 算法
总结：算法是为了解决实际问题而设计的，数据结构是算法需要处理的问题载体
抽象数据类型(Abstract Data Type)
抽象数据类型(ADT)的含义是指一个数学模型以及定义在此数学模型上的一组操作。即把数据类型和数据类型上的运算捆在一起，进行封装。引入抽象数据类型的目的是把数据类型的表示和数据类型上运算的实现与这些数据类型和运算在程序中的引用隔开，使它们相互独立。
最常用的数据运算有五种：
- 插入
- 删除
- 修改
- 查找
- 排序