Pateo do Collegio di Pusat Bersejarah São Paulo, tapak petempatan terawal di bandaraya ini.

Petempatan tepi pantai yang pertama di Brazil, São Vicente ditubuhkan pada tahun 1532.[11] Ia merupakan koloni tetap Portugis yang pertama di Dunia Baru.[11] 22 tahun kemdian, Ketua Tibiriçá dan mubaligh Jesuit, Manuel da Nóbrega dan José de Anchieta, membuka kampung São Paulo dos Campos de Piratininga yang terletak 68 kilometer (42 Batu|mi) di pedalaman dari São Vicente, pada 25 Januari 1554.[11] Para paderi menubuhkan sebuah misi di Colégio de São Paulo de Piratininga yang bertujuan menjadikan kaum orang asli Brazil Tupi-Guarani ke dalam agama Katolik, sambil memudahkan kerajaan Portugal untuk menakluki mereka. Tidak lama kemudian, pihak Jesuit bertelagahn dengan pihak berkuasa Portugal, terutamanya Marquês de Pombal yang akhirnya mengusir mereka dari Brazil kerana melindungi orang asli yang menukar agama dalam misi mereka. Petempatan yang terletak di luar cenuram Serra do Mar, melewati kota pelabuhan Santos, dan dekat dengan Sungai Tietê ini, menjadi pintu masuk semula jadi dari pantai Tenggara ke penara yang luas dan subur di Barat yang akhirnya menjadi negeri terkaya di Brazil.

Tugu Kemerdekaan di Taman Kemerdekaan, terletak di tapak perisytiharan kemerdekaan Brazil.

São Paulo secara rasminya menjadi bandaraya pada tahun 1711. Pada abad ke-19, ia menikmati kemakmuran ekonomi hasil pengeksportan kopi yang diangkut dari kota jiran Santos. Selepas perhambaan diharamkan pada tahun 1888, gelombang penghijrah dari negara-negara Eropah seperti Portugal, Itali, Sepanyol dan sebagainya berhijrah ke São Paulo untuk "memutihkan" kaum Brazil, kerana pihak berkuasa Luso-Brazil khuatir bahawa penduduk kulit hitam Brazil akan jauh melebihi kelompok etnik lain. Orang-orang Eropah ini diberi tanah sebagai insentif untuk berhijrah. Maka itulah, ramai orang Brazil yang memiliki nama keluarga Itali, Portugis dan Jerman seperti Mattarazzo, Diniz, dan Mueller.

Menjelang awal abad ke-20, perdagangan kopi jatuh menjunam kerana kemerosotan harga kopi antarabangsa, antara lainnya. Ekoran kejatuhan Wall Street pada tahun 1929, para usahawan kopi mula kehilangan pengaruh dan status mereka. Maka, ekonomi São Paulo terpaksa alternatif lain seperti tebu dan penghasilan arak. Setelah diperitkan lagi oleh Perang Dunia Kedua, apabila keluaran industri sukar disampaikan ke Brazil, lebih-lebih lagi seluruh negara baru hendak mencari pengganti import, São Paulo mula membangunkan perindustrian untuk penggunaan dalam negara. Brazil sudah mencatatkan pengimportan barangan mewah dan perkilangan dari Eropah secara besar-besaran hingga akhir abad ke-20, sekaligus mengalami defisit perdagangan yang besar walaupun masih banyak mengeksport kopi dan gula.

Lebuh Paulista pada tahun 1902.

Mulai saat itu, usahawan tempatan mula berlabur dalam pembangunan industri São Paulo, menarik gelombang penghijrah baru ke bandaraya ini, khususnya dari Itali. Selain orang Eropah, pendatang dari Jepun, Syria dan Lubnan datang beramai-ramai pada separuh awal abad ke-20. Sepanjang abad ke-20, kepesatan ekonomi bandaraya ini turut menarik gelombang penghijrah besar dari kawasan termiskin di Brazil, terutamanya dari Timur Laut. São Paulo memastikan kadar pertumbuhan ekonomi yang tinggi sepanjang 1920-an, atas dorongan penghijrahan beramai-ramai, pengindustrian pesat, dan pelaburan. Pada awal 1920-an, Bangunan Sampaio Moreira mencapai paras 14 tingkat yang luar dugaan, sebelum diatasi oleh Bangunan yang dua kali tingginya pada akhir dasawarsa itu. Kemunculan kereta dan bas diesel secara besar-besaran membolehkan ramai pekerja berulang-alik dari rumah di pinggir bandar di tempat kerja mereka di pusat bandar.

Istana Correios pada tahun 1922.

Bagaimanapun, oleh sebab terpaksa bersaing dengan banyak lagi bandar lain di Brazil yang menawarkan faedah cukai kepada syarikat yang memindahkan kilang ke situ, kegiatan ekonomi utama São Paulo beransur-ansur beralih dari sektor perindustrian ke perkhidmatan pada akhir abad ke-20. Di bandaraya ini terletaknya sejumlah besar pejabat perbankan, syarikat multinasional dan perkhidmatan pengguna, baik tempatan mahupun antarabangsa. Walaupun wajah moden ditampilkan di kawasan termaju di São Paulo menjelang 1930-an, namun sebahagian besar kota ini masih tidak banyak berubah. São Paulo ketiadaan perancangan bandar sebelum tahun 1889, apalagi hanya meluluskan undang-undang pengezonan pada tahun 1972. Sememangnya, sebahagian besar bandaraya ini masih mengekalkan tinggalan kolonial, dengan jalan-jalan sempit yang tak berturap, bangunan usang, dan gereja lama bergaya Jesuit dan Fransiska.

Bandaraya ini mengalami kemusnahan teruk akibat Revolusi 1924. Dari tahun 1920 hingga 1940, jumlah penduduk di bandar ini berganda menjadi 1.3 juta. Walaupun Rio de Janeiro juga berkembang pesat ketika ini, São Paulo hanya ketinggalan 460,000 penduduk sebelum mengatasinya dalam masa 20 tahun. Pada tahun 1939–45, jurutera dan datuk bandar, Francisco Prestes Maia membina lebuh berbilang lorong Avenida 9 de Julho serta memperluas banyak jalan-jalan lain walaupun ditentang hebat oleh penduduk yang terpaksa berpindah. Pada tahun 1947, latar langit São Paulo menambah sebutir bintang baru iaitu wisma Bank Negeri São Paulo. Bermula dengan Perpustakaan Perbandaran Mário de Andrade, seni bina kota ini beredar jauh dari zaman Art Deco. Menjelang tahun 1950, São Paulo sudah berkembang menjadi metropolis 2.2 juta penduduk berbanding 2.4 juta di Rio, tetapi sedekad kemudian, São Paulo mendahului dengan 3.7 juta berbanding 3.3 juta di Rio, justeru mengukuhkan reputasinya sebagai salah sebuah pusat bandar yang paling dinamik di dunia. Jurubina terkenal, Oscar Niemeyer dipikat dari Rio untuk mereka lengkok-lengkok berliku pada Bangunan Copan; kemudian Bangunan Itália menjadi jiran Copan yang meninggi. Muzium Kesenian São Paulo yang penuh daya imaginasinya dibina (dari tahun 1956, siap pada tahun 1968) di persimpangan Avenida 9 de Julho dan Avenida Paulista berlorong lapan.

Vila Olímpia, kawasan sekitar Avenida Faria Lima, lambang pembangunan pesat ekonomi bandaraya.

Pada 1960-an, bandaraya São Paulo sudah merangkumi hampir separuh jumlah penduduk negeri São Paulo (negeri teramai penduduk di Brazil) serta menyumbang kepada satu pertiga jumlah pekerjaan industri negara. Disebabkan hampir semua keluarga di São Paulo berkereta, lebuh raya dibina sepanjang sungai-sungai Tietê dan Pinheiros yang terbina terusan pada tahun 1967, khususnya lebuh raya ekspres Bandeirantes yang memudahkan perjalanan ke pusat bandaraya. Peluasan lebuh raya masih diteruskan kerana jalan-jalan yang terletak di tepi sungai adalah yang paling sibuk di negara. Di samping itu, pembinaan sistem tren bawah tanah berterusan sejak akhir 1960-an untuk mengurangkan beban kesesakan lalulintas.

Biarpun terpaksa mengharungi kesusahan, São Paulo tetap menjadi pusat perniagaan Amerika Latin. Setelah mula mencapai kemakmuran dengan perusahaan kopi, disusuli proses pengindustrian, pada awal abad ke-21, ia melangkah maju ke arah sektor perkhidmatan. Pasarannya yang sungguh besar (lebih 20 juta orang di São Paulo raya) menjadi faktor penarik syarikat multinasional. Kerana acara-acara seperti Feira Bienal Internacional de Arte, dan reputasi menganjurkan konsert muzik yang canggih, São Paulo juga menjadi pusat kebudayaan. Pertumbuhan ekonomi dan pengeksportan barang-barangan telah meningkatkan peluang pekerjaan dan gaji.