Pulau Labuan asalnya merupakan sebahagian dari Kesultanan Brunei. Pada 1846, ia diserahkan kepada British oleh Sultan Brunei Sultan Omar Ali Saifuddin II setelah British menggunakan pulau itu sebagai tapak operasi menentang lanun. Pada 1848 Labuan telah diisytiharkan sebagai Tanah Jajahan Mahkota British. Kemudian pada 1890, ia ditadbir oleh Borneo Utara. Namun begitu pada 1 Januari 1906 Labuan telah diserahkan kembali kepada British dan menjadi sebahagian daripada Negeri-negeri Selat pada 30 Oktober 1906 bersama-sama Singapura, Melaka dan Pulau Pinang. Sejak era pentadbiran British di Pulau Labuan, Bandar Victoria merupakan pusat pemerintahan dan sosio ekonomi penduduk pulau tersebut.

Pada Disember 1941 hingga Jun 1945, Labuan telah diperintah oleh Jepun. Labuan telah ditukar namanya menjadi Pulau Maida (前田島 [Maeda-shima])sempena nama Komander tentera Jepun di Borneo Marquis Toshinari Maeda. Selepas pengunduran Jepun dan pentadbiran tentera British tamat, Labuan digabungkan ke dalam Borneo Utara pada 1946. Seterusnya pada 1963 ia bersama-sama Sabah bergabung ke dalam Malaysia.

Labuan dahulunya merupakan kawasan terpinggir dari arus pembangunan. Setelah diisytiharkan sebagai Wilayah Persekutuan pada 1 Februari 1984, kawasan penempatan bagi kaum Kedayan dan Melayu Brunei ini mula menjadi antara destinasi utama kepada pelabur asing untuk berurusniaga terutama sekali setelah Labuan diiktiraf sebagai Pusat Kewangan Pesisir Antarabangsa atau IOFC pada Oktober 1990 (kini dikenali sebagai Pusat Perniagaan dan Kewangan Antarabangsa atau LOFSA).

Peninggalan sejarah zaman silam di Labuan menjadi tarikan pelancong seperti Taman Damai (lokasi Jepun menyerah kalah kepada British), kubur askar asing yang terkorban semasa berperang dengan tentera Jepun di Tanjung Taras dan Taman Burung Eksotik.

Selain peninggalan sejarah zaman silam, Labuan juga terkenal dengan aktiviti sukan laut peringkat antarabangsa seperti pertandingan memancing laut dalam, jet ski dan kayak mengelilingi Pulau Labuan.

Labuan yang dahulunya didiami oleh nelayan, mula menjadi tumpuan para pelajar dari dalam dan luar labuan berikutan pembukaan Universiti Malaysia Sabah Kampus Antarabangsa Labuan dan Kolej Matrikulasi Labuan.