ICU図書館は、1953年の大学発足とともに大学本館内に設置されました。現在にいたるまで大学の本館として使用されているこの建物は戦時中零式戦闘機のエンジンを設計製作していた中島飛行機の三鷹研究所でした。1953年の開学当時にはスチーム暖房も完備されている、大学としては極めて贅沢な建物でした。
1960年に独立した3階建ての建物が米国各派教会とロックフェラー三世からの寄付金を元に現在地に建設されました。設計を担当したのはフランク・ロイド・ライトの助手として帝国ホテル建築に携わり、東京女子大学・聖路加病院など数々の名建築を手がけたアントニン・レイモンド氏です。コンサルタントとして参加した図書館建築の専門家オコーナー氏、当時の館長高橋たね氏らの努力で産み落とされたこのこの建物は、掘り下げ式による地上3階建てで、最新の図書館理論を取り入れ、まだ閉架式の図書館が主流だった日本の図書館界に初めて全館開架式を導入した図書館として業界の注目を浴びました。
1972年に西側に増築（写真左側半分）が行われ、床面積が約2倍になりました。こうして増設した書架も80年代中頃には満杯となり、以降は倉庫業者に委託保存をしながら運用する事になりました。1982年、日本で初めて海外の目録システムを利用した整理業務に着手。1983年にはコンピュータを用いた貸出管理を実現。1991年にはOPACを導入するなど常に最先端の技術を取り入れる図書館としてリーダーシップを発揮してきました。
1999年にコンピュータほかニューメディア機能を装備したミルドレッドトップオスマー図書館が南側に建築され2000年にオープンしました。書架は一切なく、オープンスペースには学習用のパソコン120台を設置、マルチメディアを用いた授業が可能なマルチメディアルーム、グループ学習室、AVキャレルなどを擁しています。旧図書館とはブリッジでつながれており、図書・雑誌とデジタルメディアの融合を実現しており、学生たちの学習・研究の中心的存在です。また、地下には50万冊収納可能な自動化書庫を日本の図書館では初めて導入し、高密度で効率のよい出納を可能にしています。
