10. 数据结构与算法入门 | 散列表

散列表的由来

1. 散列表来源于数组，它借助散列函数对数组这种数据结构进行扩展，利用的是数组支持按照下标随机访问元素的特性。
2. 需要存储在散列表中的数据我们称为键，将键转化为数组下标的方法称为散列函数，散列函数的计算结果称为散列值。
3. 将数据存储在散列值对应的数组下标位置。

如何设计散列函数？

总结3点设计散列函数的基本要求

1. 散列函数计算得到的散列值是一个非负整数。
2. 若key1=key2，则hash(key1)=hash(key2)
3. 若key≠key2，则hash(key1)≠hash(key2)
   正是由于第3点要求，所以产生了几乎无法避免的散列冲突问题。

散列冲突的解放方法？

1. 常用的散列冲突解决方法有2类：开放寻址法（open addressing）和链表法（chaining）

2. 开放寻址法

   ①核心思想：如果出现散列冲突，就重新探测一个空闲位置，将其插入。

   ②线性探测法（Linear Probing）：

   插入数据：当我们往散列表中插入数据时，如果某个数据经过散列函数之后，存储的位置已经被占用了，我们就从当前位置开始，依次往后查找，看是否有空闲位置，直到找到为止。

   查找数据：我们通过散列函数求出要查找元素的键值对应的散列值，然后比较数组中下标为散列值的元素和要查找的元素是否相等，若相等，则说明就是我们要查找的元素；否则，就顺序往后依次查找。如果遍历到数组的空闲位置还未找到，就说明要查找的元素并没有在散列表中。

   删除数据：为了不让查找算法失效，可以将删除的元素特殊标记为deleted，当线性探测查找的时候，遇到标记为deleted的空间，并不是停下来，而是继续往下探测。

   结论：最坏时间复杂度为O(n)

   ③二次探测（Quadratic probing）：线性探测每次探测的步长为1，即在数组中一个一个探测，而二次探测的步长变为原来的平方。

   ④双重散列（Double hashing）：使用一组散列函数，直到找到空闲位置为止。

   ⑤线性探测法的性能描述：

   用“装载因子”来表示空位多少，公式：散列表装载因子=填入表中的个数/散列表的长度。
   装载因子越大，说明空闲位置越少，冲突越多，散列表的性能会下降。

3. 链表法（更常用）

   插入数据：当插入的时候，我们需要通过散列函数计算出对应的散列槽位，将其插入到对应的链表中即可，所以插入的时间复杂度为O(1)。

   查找或删除数据：当查找、删除一个元素时，通过散列函数计算对应的槽，然后遍历链表查找或删除。对于散列比较均匀的散列函数，链表的节点个数k=n/m，其中n表示散列表中数据的个数，m表示散列表中槽的个数，所以是时间复杂度为O(k)。

如何设计一个工业级的散列函数？

思路：

何为一个工业级的散列表？工业级的散列表应该具有哪些特性？结合学过的知识，我觉的应该有这样的要求：

1. 支持快速的查询、插入、删除操作；
2. 内存占用合理，不能浪费过多空间；
3. 性能稳定，在极端情况下，散列表的性能也不会退化到无法接受的情况。

方案：

如何设计这样一个散列表呢？根据前面讲到的知识，我会从3个方面来考虑设计思路：

1. 设计一个合适的散列函数；
2. 定义装载因子阈值，并且设计动态扩容策略；
3. 选择合适的散列冲突解决方法。

如何设计散列函数？

1. 要尽可能让散列后的值随机且均匀分布，这样会尽可能减少散列冲突，即便冲突之后，分配到每个槽内的数据也比较均匀。
2. 除此之外，散列函数的设计也不能太复杂，太复杂就会太耗时间，也会影响到散列表的性能。
3. 常见的散列函数设计方法：直接寻址法、平方取中法、折叠法、随机数法等。

如何根据装载因子动态扩容？

1. 如何设置装载因子阈值？

   ① 可以通过设置装载因子的阈值来控制是扩容还是缩容，支持动态扩容的散列表，插入数据的时间复杂度使用摊还分析法。

   ② 装载因子的阈值设置需要权衡时间复杂度和空间复杂度。如何权衡？如果内存空间不紧张，对执行效率要求很高，可以降低装载因子的阈值；相反，如果内存空间紧张，对执行效率要求又不高，可以增加装载因子的阈值。

2. 如何避免低效扩容？分批扩容

   ① 分批扩容的插入操作：当有新数据要插入时，我们将数据插入新的散列表，并且从老的散列表中拿出一个数据放入新散列表。每次插入都重复上面的过程。这样插入操作就变得很快了。

   ② 分批扩容的查询操作：先查新散列表，再查老散列表。

   ③ 通过分批扩容的方式，任何情况下，插入一个数据的时间复杂度都是O(1)。

如何选择散列冲突解决方法？

1. 常见的两种方法：开放寻址法和链表法。
2. 大部分情况下，链表法更加普适。而且，我们还可以通过将链表法中的链表改造成其他动态查找数据结构，比如红黑树、跳表，来避免散列表时间复杂度退化成O(n)，抵御散列冲突攻击。
3. 但是，对于小规模数据、装载因子不高的散列表，比较适合用开放寻址法。

为什么散列表和链表经常放在一起使用？

1. 散列表的优点：支持高效的数据插入、删除和查找操作
2. 散列表的缺点：不支持快速顺序遍历散列表中的数据
3. 如何按照顺序快速遍历散列表的数据？只能将数据转移到数组，然后排序，最后再遍历数据。
4. 我们知道散列表是动态的数据结构，需要频繁的插入和删除数据，那么每次顺序遍历之前都需要先排序，这势必会造成效率非常低下。
5. 如何解决上面的问题呢？就是将散列表和链表（或跳表）结合起来使用。

散列表和链表如何组合起来使用

1. LRU（Least Recently Used）缓存淘汰算法

   1.1. LRU缓存淘汰算法主要操作有哪些？主要包含3个操作：

   ① 往缓存中添加一个数据；
   ② 从缓存中删除一个数据；
   ③ 在缓存中查找一个数据；
   ④ 总结：上面3个都涉及到查找。

   1.2. 如何用链表实现LRU缓存淘汰算法？

   ① 需要维护一个按照访问时间从大到小的有序排列的链表结构。
   ② 缓冲空间有限，当空间不足需要淘汰一个数据时直接删除链表头部的节点。
   ③ 当要缓存某个数据时，先在链表中查找这个数据。若未找到，则直接将数据放到链表的尾部。若找到，就把它移动到链表尾部。
   ④ 前面说了，LRU缓存的3个主要操作都涉及到查找，若单纯由链表实现，查找的时间复杂度很高为O(n)。若将链表和散列表结合使用，查找的时间复杂度会降低到O(1)。

   1.3. 如何使用散列表和链表实现LRU缓存淘汰算法？

   ① 使用双向链表存储数据，链表中每个节点存储数据（data）、前驱指针（prev）、后继指针（next）和hnext指针（解决散列冲突的链表指针）。
   ② 散列表通过链表法解决散列冲突，所以每个节点都会在两条链中。一条链是双向链表，另一条链是散列表中的拉链。前驱和后继指针是为了将节点串在双向链表中，hnext指针是为了将节点串在散列表的拉链中。
   ③ LRU缓存淘汰算法的3个主要操作如何做到时间复杂度为O(1)呢？
   首先，我们明确一点就是链表本身插入和删除一个节点的时间复杂度为O(1)，因为只需更改几个指针指向即可。

接着，来分析查找操作的时间复杂度。当要查找一个数据时，通过散列表可实现在O(1)时间复杂度找到该数据，再加上前面说的插入或删除的时间复杂度是O(1)，所以我们总操作的时间复杂度就是O(1)。

2. Redis有序集合

   2.1.什么是有序集合？

   ① 在有序集合中，每个成员对象有2个重要的属性，即key（键值）和score（分值）。
   ② 不仅会通过score来查找数据，还会通过key来查找数据。

   2.2. 有序集合的操作有哪些？

   举个例子，比如用户积分排行榜有这样一个功能：可以通过用户ID来查找积分信息，也可以通过积分区间来查找用户ID。这里用户ID就是key，积分就是score。所以，有序集合的操作如下：

   ① 添加一个对象；
   ② 根据键值删除一个对象；
   ③ 根据键值查找一个成员对象；
   ④ 根据分值区间查找数据，比如查找积分在[100.356]之间的成员对象；
   ⑤ 按照分值从小到大排序成员变量。

   这时可以按照分值将成员对象组织成跳表结构，按照键值构建一个散列表。那么上面的所有操作都非常高效。

3. Java LinkedHashMap
   和LRU缓存淘汰策略实现一模一样。支持按照插入顺序遍历数据，也支持按照访问顺序遍历数据。

思考

1. Word文档中单词拼写检查功能是如何实现的？
   答：
   字符串占用内存大小为8字节，20万单词占用内存大小不超过20MB，所以用散列表存储20万英文词典单词，然后对每个编辑进文档的单词进行查找，若未找到，则提示拼写错误。

2. 假设我们有10万条URL访问日志，如何按照访问次数给URL排序？
   答：
   字符串占用内存大小为8字节，10万条URL访问日志占用内存不超过10MB，通过散列表统计url访问次数，然后用TreeMap存储散列表的元素值（作为key）和数组下标值（作为value）

3. 有两个字符串数组，每个数组大约有10万条字符串，如何快速找出两个数组中相同的字符串？
   答：
   分别将2个数组的字符串通过散列函数映射到散列表，散列表中的元素值为次数。注意，先存储的数组中的相同元素值不进行次数累加。最后，统计散列表中元素值大于等于2的散列值对应的字符串就是两个数组中相同的字符串。

4. 上面所讲的几个散列表和链表组合的例子里，我们都是使用双向链表。如果把双向链表改成单链表，还能否正常工作？为什么呢？

   答：

   在删除一个元素时，虽然能 O(1) 的找到目标结点，但是要删除该结点需要拿到前一个结点的指针，遍历到前一个结点复杂度会变为 O(N），所以用双链表实现比较合适。

5. 假设猎聘网有10万名猎头，每个猎头可以通过做任务（比如发布职位）来积累积分，然后通过积分来下载简历。假设你是猎聘网的一名工程师，如何在内存中存储这10万个猎头的ID和积分信息，让它能够支持这样几个操作：

   1）根据猎头ID查收查找、删除、更新这个猎头的积分信息；
   2）查找积分在某个区间的猎头ID列表；
   3）查找按照积分从小到大排名在第x位到第y位之间的猎头ID列表。

   答：
   以积分排序构建一个跳表，再以猎头 ID 构建一个散列表。
   1）ID 在散列表中所以可以 O(1) 查找到这个猎头；
   2）积分以跳表存储，跳表支持区间查询；
   3）这点根据目前学习的知识暂时无法实现，老师文中也提到了。