国立台湾史前文化博物馆位於台东市康乐车站附近，博物馆的筹建源自於民国六十九年卑南遗址的抢救发掘。当时原称东线铁路卑南站（现在的南回铁路台东新站）及调车场进行新建工程，施工单位在遗址上大规模开挖，揭开蕴藏丰富史前文物的卑南遗址。遗址内许多石板棺及棺内精美陪葬品被掀露地表後，引起民众注意并争相盗掘，这个事件经媒体披露後，引起舆论重视。
台东县政府呈报主管机关後，除了停止工程施工外并委请台大人类学系宋文薰教授等人组成成卑南文化考古队，进行抢救发掘工作，开始了为期十馀年的抢救工作。这次的考古活动发掘面积广达一万多平方公尺，出土一千五百多座墓葬与数万件陶器及石器，是台湾考古史上发掘范围最大的遗址。国内外学者一致认为这是台湾新石器时代中晚期十分重要的代表性遗址，也是环太平洋与东南亚地区中，规模最大的石板棺墓葬群遗址。
考古抢救活动结束後，学者的建议就地兴建考古遗址野外博物馆，历经多方努力与期待，先是於民国七十九年二月一日成立筹备处，并於九十年七月开馆，为台湾史前文化的保存与研究奠立持续发展的基础，同时也成为展示及教育启发大众对台湾自然生态、史前文化及南岛民族丰富多样性的认识的重要博物馆。
而为了避免对地下文物造成巨大冲击，将本馆设置在台东市康乐车站南侧，并将卑南遗址地区则规画为遗址公园。
除了丰富的文化展览资源外，委托国际建筑师设计的博物馆建筑，更是具有特殊的建筑风格与意义，也是值得游客细细品味。