Ollantaytambo, am Ende des Tals, wurde auf den Fundamenten einer alten Inkastadt errichtet, einem der wenigen noch erkennbaren Überbleibsel der inkaischen Stadtplanung. Sie hatte eine große Bedeutung als Tempel und Festung. Die Ruinen von Ollantaytambo sind ein prächtiges Beispiel für die monumentale Inka-Architektur. In Ollantaytambo befindet sich auch die Talstation des Zuges nach Machu Picchu. Ollantaytambo ist eine attraktive kleine Stadt am westlichen Ende des Heiligen Tals (etwa zweieinhalb Stunden Busfahrt von Cusco). Die Stadt wurde auf den ursprünglichen Inkafundamenten erbaut und ist das beste erhaltene Beispiel für die Stadtplanung der Inkas. Die Stadt ist in Canchas (Blöcke) unterteilt, die fast vollständig intakt sind. Jeder Cancha hat nur einen Eingang (normalerweise ein riesiges Steintor), der in einen zentralen Innenhof führt. Die Häuser umgeben den Innenhof. Gute Beispiele für diese Konstruktion finden sich hinter dem Hauptplatz. Die Stadt befindet sich am Fuße einiger spektakulärer Inkaruinen (Eingang mit dem Touristenticket „Boleto Turistico“), die den strategischen Eingang zum unteren Urubamba-Tal schützten. Der Tempelbereich befindet sich an der Spitze der steilen Terrassen, die zu einer ausgezeichneten Verteidigung beitrugen. Der für diese Gebäude verwendete Stein wurde aus einem Steinbruch hoch oben auf der gegenüberliegenden Seite des Urubamba-Flusses gebracht – eine unglaubliche Leistung, die den Einsatz von Tausenden von Arbeitern erforderte. Der Komplex befand sich zum Zeitpunkt der Eroberung noch im Bau und wurde nie fertiggestellt.
Nachdem Manco Inca nach der erfolglosen Belagerung von Cusco (1536) bei Sacsayhuaman von den Spaniern besiegt worden war, zog er sich nach Ollantaytambo zurück. Francisco Pizarros jüngerer Bruder Hernando führte eine Truppe von 70 Kavalleristen, 30 Fußsoldaten und einem großen Kontingent von Einheimischen an, um Manco Inca zu besiegen. Die Inka-Truppen, zu denen sich auch benachbarte Dschungelstämme gesellten, regneten Pfeil- und Speerregen und Felsen auf die spanischen Truppen nieder. In einem intelligenten Schachzug überfluteten die Inkas die Ebenen unterhalb ihrer Festung und erschwerten den Pferden das Manövrieren. Hernando befahl, untypisch für ihn, einen eiligen Rückzug. Ollantaytambo wurde zum einzigen Ort, der jemals Angriffen der Spanier widerstanden hat.
Ihr Sieg war jedoch nur von kurzer Dauer, als die Spanier mit der vierfachen Stärke ihrer vorherigen Truppen zurückkehrten zog sich Manco Inca in seine Dschungelfestung in Vilcabamba zurück und Ollantaytambo fiel in die Hände der Spanier.