1958年9月在北京创建，首任校长由兼任，其创办被称作“我国教育史和科学史上的一项重大事件”。建校之后，中国科学院施行“全院办校，所系结合”的办学方针，学校依据国家急需的新兴科技领域来设置系科专业，以创造性的方式将理科与工科也就是前沿科学与高新技术相融合，重视基础课教学，通过高起点、宽口径的模式培养新兴、边缘、交叉学科的尖端科技人才，汇聚了赵忠尧等一批国内极具声望的科学家，建校第二年便被列为全国重点大学。

1970年初，学校迁移至安徽省市，开启了第二次创业历程。1978年以后，学校坚定地进行改革，勇敢地开展创新，在全国率先提出并施行一系列具备创新精神与前瞻意识的教育改革举措，创办研究生院、首次建立研究生院、建设国家大科学工程、面向世界实行开放办学等，从而让学校得以恢复并快速发展。学校是国家首批实施“985工程”的大学之一，学校是国家首批实施“211工程”的大学之一，学校是唯一参与国家知识创新工程的大学。长期以来，学校一直秉持“全院办校、所系结合”的办学方针，弘扬“红专并进，理实交融”的校风，形成了持续开拓创新的优良传统，具备教学与科研相结合、理论与实践相结合的鲜明特色，培育出一大批德才兼备的高层次优秀人才。学校朝着世界科学前沿领域以及国家重大需求的方向，提炼科学目标，开展科学研究工作，致力于提升学术研究水平、科研创新能力以及科研竞争力，进而收获了一批具备世界领先水平的原创性科技成果。在全新的历史起点之上，学校加速建设有着中国特色、科大风格的世界一流大学，于国家“”建设进程里，入选成为A类世界一流大学建设高校。

学校目前有20个学院，其中包含6个科教融合共建学院，还有31个系，设有研究生院，另外还有苏州研究院、上海研究院、北京研究院、先进技术研究院、中国科学技术大学附属第一医院（安徽省立医院）等 。有6个国家理科基础科学研究和教学人才培养基地，分别是数学、物理学、力学、天文学、生物科学、化学方面的，还有1个国家生命科学与技术人才培养基地，有8个一级学科国家重点学科，4个二级学科国家重点学科，2个国家重点培育学科，18个安徽省一级学科重点学科。建有微尺度物质科学国家研究中心，建有核探测与核电子学国家重点实验室，建有类脑智能技术与应用国家工程实验室，建有语音及语言信息处理国家工程实验室，建有国家高性能计算中心（），建有安徽蒙城地球物理国家野外科学观测研究站等12个国家级科研机构，建有4个国家重点科技基础设施，建有55个院省部级重点科研机构。