【华为云MySQL技术专栏】InnoDB文件管理机制介绍之fil_system

class Fil_system {
public: 
    Fil_shards m_shards; /** Fil_shards 管理器，默认有69个*/
    bool close_file_in_all_LRU();  /** 尝试关闭所有LRU列表中的一个文件 */
    void close_all_files(); /** 关闭所有打开的文件 */
    bool set_open_files_limit(size_t &new_max_open_files); /** 修改最大打开文件数限制 */
    size_t get_open_files_limit() const { return m_open_files_limit.get_limit(); }
    dberr_t iterate(Fil_iterator::Function &f); /** ** 遍历所有的表空间文件 */
    dberr_t scan() { return m_dirs.scan(); }   /** 扫描目录以构建表空间ID到文件名的映射表 */


    /** 根据空间ID获取Fil_shard */
    Fil_shard *shard_by_id(space_id_t space_id) const {
    if (fsp_is_undo_tablespace(space_id)) {
      const size_t limit = space_id % UNDO_SHARDS;
      return m_shards[UNDO_SHARDS_START + limit];
    }
    return m_shards[space_id % UNDO_SHARDS_START];
  }
private: 
    fil::detail::Open_files_limit m_open_files_limit; /** 允许打开的最大文件数，默认1024 */
    space_id_t m_max_assigned_id; /** 现有表中的最大space_id，启动时打开space时也会赋值，创建新表时会赋值 */
    Tablespace_dirs m_dirs; /** 启动时扫描的文件目录，通过scan()方法建立表空间ID到物理文件路径的映射关系 */
}


class Fil_shard {
    using File_list = UT_LIST_BASE_NODE_T(fil_node_t, LRU);           /**< 文件节点LRU列表类型 */
    using Space_list = UT_LIST_BASE_NODE_T(fil_space_t, unflushed_spaces); /**< 未刷盘表空间列表类型 */
    using Spaces = std::unordered_map<space_id_t, fil_space_t *>;     /**< 表空间ID到表空间对象的映射 */
    using Names = std::unordered_map<const char *, fil_space_t *, Char_Ptr_Hash,
                                   Char_Ptr_Compare>;                /**< 表空间名到表空间对象的映射 */
public:
    size_t id() const { return m_id; } /** 返回分片ID */
    bool close_files_in_LRU(); /** 尝试关闭分片LRU列表中的一个文件 */
    void remove_from_LRU(fil_node_t *file); /** 将文件节点从LRU列表中移除 */
    void close_all_files();   /** 关闭Fil_shard中所有打开的文件。 */
    void complete_io(fil_node_t *file, const IORequest &type);  /** 当I/O操作完成时更新文件中I/O计数等字段 */
    bool prepare_file_for_io(fil_node_t *file); /** 为I/O操作准备文件句柄。如果文件关闭则打开它。 */
    dberr_t space_rename(); /** 重命名单表表空间 */
    dberr_t space_delete(); /** 删除表空间，此操作将删除数据文件，并从file_system_t缓存中删除fil_space_t和fil_node_t条目。 */
    fil_space_t *space_create(); /** 创建一个表空间内存对象并将其放入fil_system哈希表 */								  
    dberr_t do_io(); /** 根据page_id读取或写入数据。 */
    dberr_t iterate(Fil_iterator::Function &f);   /** 遍历Fil_shard中所有的表空间文件 */
    dberr_t get_file_size(fil_node_t *file, bool read_only_mode); /** 获取此文件的大小 */
    private:
    const size_t m_id;   /** Fil_shard 分片ID */
	Spaces m_spaces;   /** 按表空间ID哈希存储的表空间实例集合*/
	Names m_names;   /** 按表空间名称哈希存储的表空间实例集合 */
	File_list m_LRU; /** 最近最少使用的已打开文件的LRU列表的基础节点 */
	Space_list m_unflushed_spaces; /** 包含未刷盘写入的表空间列表的基础节点 */
};


struct fil_space_t {
    using Files = std::vector<fil_node_t, ut_allocator<fil_node_t>>;
    Files files;
}


struct fil_node_t {
    fil_space_t *space;
    char *name;
    bool is_open;
    pfs_os_file_t handle;
}

|--> DDSE_dict_recover
|    |--> innobase_dict_recover
|    |    |--> boot_tablespaces
|    |    |    |--> Validate_files::validate
|    |    |    |--> *multi thread scan*/    
|    |    |    |--> n_threads=fil_get_scan_threads
|    |    |    |--> Validate_files::check
|    |    |    |    |--> fil_ibd_open
|    |    |    |    |    |--> if(validate)
|    |    |    |    |    |--> Datafile::validate_to_dd 
|    |    |    |    |    |    |--> *校验第一页是否正常，并读取flushed_lsn*/
|    |    |    |    |    |    |--> Datafile::validate_first_page   
|    |    |    |    |    |    |    |--> *读取第一页，然后检验*/
|    |    |    |    |    |    |    |--> Datafile::read_first_page
|    |    |    |    |    |    |    |    |--> os_file_read_no_error_handling
|    |    |    |    |    |    |    |    |    |--> os_file_read_no_error_handling_func
|    |    |    |    |    |    |    |    |    |    |--> os_file_read_page
|    |    |    |    |    |    |    |--> *读取之前绝对路径，并与现在的对比*/   
|    |    |    |    |    |    |    |--> fil_space_read_name_and_filepath    
|    |    |    |    |    |--> end if (validate)
|    |    |    |    |    |--> fil_space_create
|    |    |    |    |    |--> Fil_shard::create_node *Attach a file to a tablespace*/

bool Fil_shard::prepare_file_for_io(fil_node_t *file) {
....
  if (!file->is_open) {
    open_file(file);
  }
  if (file->n_pending_ios == 0) {
    remove_from_LRU(file);
  }
  ++file->n_pending_ios;
....
}

bool Fil_shard::open_file(fil_node_t *file) {
    have_right_for_open = acquire_right(fil_n_files_open, fil_system->get_open_files_limit());
if (!have_right_for_open) { // 说明打开文件数已到上限
/* 刷新表空间以便可以关闭LRU列表中的已修改文件 */
		fil_system->flush_file_spaces();
// 核心关闭操作：尝试关闭所有LRU链表中的文件
if (!fil_system->close_file_in_all_LRU()) {
		  fil_system->wait_while_ios_in_progress(); // 如果关闭失败，等待进行中的I/O完成
		}
      }
      if (success) {
        add_to_lru_if_needed(file); // 如需要则加入LRU列表
        file->is_open = true;       // 标记文件为已打开
      } 
}
bool Fil_shard::close_files_in_LRU() {
  // 从链表上的最后一个节点开始淘汰，也就是最近最少使用的文件
  for (auto file = UT_LIST_GET_LAST(m_LRU); file != nullptr;
       file = UT_LIST_GET_PREV(LRU, file)) {
    if (file->can_be_closed()) {
      close_file(file);
      return true;
    }
  }
  return false;
}

void Fil_shard::complete_io(fil_node_t *file, const IORequest &type) {
  --file->n_pending_ios;
  if (type.is_write()) {
    write_completed(file);
  }
  if (file->n_pending_ios == 0) {
    add_to_lru_if_needed(file);
  }
}
// 新打开的文件被放在头部，表示最近最多使用的文件
void Fil_shard::add_to_lru_if_needed(fil_node_t *file) {
  if (Fil_system::space_belongs_in_LRU(file->space)) {
    UT_LIST_ADD_FIRST(m_LRU, file);
  }
}