在行政管理结构中，国家教育主管部门与地方教育行政部门之间的关系具有明确的层级性和指导性。国家教委（现为教育部）作为全国教育工作的最高管理机构，负责制定教育政策、统筹教育资源、推动教育改革等核心职能。而各省、自治区、直辖市的教育委员会（简称“教委”），则是地方层面的教育主管部门，承担着执行国家教育政策、管理本地区教育事务的具体职责。

因此，国家教委与各省、自治区、直辖市教委之间的关系可以归类为上下级领导关系，或者更准确地说，是业务指导与行政隶属关系。国家教委对地方教委具有政策指导、监督和协调的职能，而地方教委则需在国家统一部署下开展具体工作，确保国家教育方针在地方的有效落实。

这种关系不仅体现在政策传达和执行上，也反映在教育发展规划、资源配置、师资培训、评估考核等多个方面。例如，在教育法律法规的实施过程中，地方教委需要依据国家教委的指导意见，结合本地实际情况进行细化和落实；而在重大教育项目或改革试点中，地方教委则需向上级部门汇报进展并接受指导。

此外，国家教委与地方教委之间还存在一定的信息沟通机制，如定期召开工作会议、发布政策文件、开展调研评估等，以确保政令畅通、信息共享，形成高效的教育管理体系。

综上所述，国家教委与各省、自治区、直辖市教委之间的关系是一种上下级的行政指导关系，体现了我国教育管理体系中“中央统一领导、地方分级管理”的基本原则。