Barbarossa tiba bersama dengan 10,000 orang infantri dan membawa 200 buah kapal. Kapal yang mendahului armada lain membawa 4,000 tentera elit janissari. Sementara itu, tentera Uthmaniyyah di darat berjumlah 30,000 orang. Tentera gabungan Uthmaniyyah dari darat dan air telah menghasilkan jumlah 50,000 orang dan kekuatan ini semestinya melonjakkan semangat kemenangan Uthmaniyyah pada hari itu. Sementara itu, pasukan pertahanan Habsburg di dalam kubu Castelnuovo agak kecil. Pasukan pertahanan merupakan unit tercio yang dipimpin oleh Francisco de Sarmiento dan terdiri daripada tentera yang menggunakan tombak dan arquebus sebagai senjata. Unit itu sendiri memiliki 3,500 tentera serta ditambah oleh kavalri ringan dan tentera Yunani. Apa-apapun, mereka tetap berazam untuk memberikan tentangan sengit.

Beberapa bulan menjelang kedatangan Uthmaniyyah, Sarmiento mengukuhkan kedudukannya, membaiki kubu pertahanan dan membina benteng baru. Beliau juga mengirim surat ke seluruh wilayah Habsburg untuk memohon bantuan tetapi tiada maklum balas. Andrea Doria yang meninggalkan medan Pertempuran Preveza sebelum ini menolak untuk memberikan bantuan kerana beliau tidak ingin membahayakan armada kecilnya menentang Barbarossa. Permohonan bantuan telah sampai ke Sepanyol tetapi ia agak lewat.

Pada 12 Jun, 30 buah kapal gali Uthmaniyyah telah tiba di Teluk Kotor. Atas arahan Barbarossa, mereka telah dikehendaki untuk menyekat jalan laut. Mereka seterusnya mendarat yang membawa 1,000 tentera untuk mara ke Hinterlands yang terletak di luar kubu Castelnuovo untuk mencari bekalan makanan dan air serta menangkap penduduk tempatan bagi memperoleh maklumat sekeliling. Pendaratan Uthmaniyyah telah disedari oleh Sepanyol membuatkan Sarmiento menghantar satu pasukan seramai 900 infantri untuk bertembung dengan musuh. Pertempuran sengit telah tercetus dan tentera Sepanyol yang berpengalaman menggunakan senapang dan tombak telah memaksa tentera Uthmaniyyah berundur ke kapal mereka. Seterusnya pada waktu tengah hari, tentera Uthmaniyyah sekali lagi cuba mendarat dan mara ke daratan tetapi mereka kemudiannya telah ditewaskan oleh 600 tentera musuh yang dipimpin sendiri oleh Sarmiento. Buat pertempuran ini, kerugian besar sama sekali ditanggung oleh Uthmaniyyah.

Barbarossa tiba pada 18 Jun bersama dengan ketumbukan armada Uthmaniyyah. Beliau dengan segeranya mengarahkan tentera-tenteranya mendarat dan membangunkan tumpuan pantai. Gabenor Uthmaniyyah juga tiba membawa pasukannya dari darat beberapa hari kemudian. Kemudian, mereka semua bersama-sama menggali parit di sekeliling kubu dan memasang benteng untuk menempatkan 44 buah meriam besar yang telah mendarat dari kapal. Tugas ini mengambil masa yang lama dan memerlukan kerahan tenaga yang besar. Perkara ini telah dimanfaatkan segera oleh Sarmiento. Tentera Sepanyol melangkah keluar daripada kubu mereka dan melancarkan beberapa serangan hendap untuk mengganggu kerja-kerja pembinaan Uthmaniyyah. Serangan mengejut ini menjejaskan keberkesanan dan perkembangan rancangan Uthmaniyyah. Tentera Sepanyol juga mengumpan tentera janissari melakukan serangan balas dengan menyerang kubu pertahanan kota. Namun, tentera janissari ini terjerat dalam perangkap musuh setelah diserbu oleh 800 tentera Sepanyol yang bersiap sedia. Barbarossa lantas sangat marah ekoran janissari merupakan tentera elit terbaik dimilikinya dan sukar untuk dicari ganti. Beliau mengarahkan tenteranya untuk terus kekal di posisi sekeliling parit yang digali sebelum serangan penuh sedia dilancarkan. Tentera pertahanan kota pula tidak mempunyai perajurit yang cukup untuk menekan tentera Uthmaniyyah berundur dari kawasan pesisiran lalu mereka perlu berundur ke dalam kubu dan bersiap sedia menghadapi pengepungan akan datang.

Benteng Uthmaniyyah telah siap pada 23 Julai dan Barbarossa bersedia membawa pasukannya yang memiliki kekuatan penuh menyerang Castelnuovo. Beliau telah memberi ranting zaitun kepada Sarmiento bagi menawarkan kepadanya jaminan keselamatan untuk pulang ke Itali sekiranya dia menyerah. Bahkan, Barbarossa turut merasuah setiap tentera Sarmiento dengan 20 dukat emas jika mereka meletakkan senjata. Pasukan pertahanan menolak tawaran tersebut dan lebih rela untuk berkorban atas curahan bakti kepada Charles V. Dengan itu, serbuan ke atas Castelnuovo bermula. Selama sepanjang hari, meriam besar Uthmaniyyah membedil pantas kubu pertahanan manakala infantri pula menggempur kubu tersebut. Tentera Uthmaniyyah mengalami kerugian besar gara-gara meriam mereka secara tidak sengaja tersasar lalu menyasarkan dan menggempur tentera Uthmaniyyah di situ. Sementara itu, tentera Sepanyol juga memberikan tentangan yang hebat dan mengenakan tekanan ke atas pengepung Uthmaniyyah. Setiap kali malam menjelma, tentera Uthmaniyyah akan berundur dari kubu sekali gus memberikan kesempatan kepada tentera pertahanan untuk memulihkan benteng pertahanan yang berantakan. Sementara itu, seorang uskup yang bernama Jeremias memberikan galakan dan menaikkan semangat kepada mereka yang berjuang mempertahankan kubu.

Selepas gelombang serangan yang pertama, sekumpulan kontinjen Sepanyol seramai 600 orang telah bertindak keluar daripada kubu di kala waktu senja dan mereka melancarkan serangan mengejut ke atas kem Uthmaniyyah yang langsung tidak dijangka oleh Uthmaniyyah. Bahkan sisa tentera janissari telah dikirimkan untuk meredakan serangan tersebut tetapi mereka telah merobek kem sendiri dalam usaha melarikan diri. Tentera Sepanyol ini telah datang menghampiri Barbarossa yang terpaksa menuju ke kapal gali bagi berlepas meninggalkan pantai ke kawasan yang lebih selamat. Namun oleh sebab kekurangan tentera, tentera Sepanyol ini akhirnya berundur ke dalam kubu Castelnuovo sebelum ketumbukan tentera Uthmaniyyah bersatu dan membanjiri kubu tersebut. Sehingga titik ini, pasukan pertahanan Sepanyol bertahan di atas benteng yang menghadap tepat ke arah kota. Akan tetapi pada 4 Ogos, meriam Uthmaniyyah telah membedil kesemua benteng itu sehingga runtuh. Pada masa yang sama, tentera Uthmaniyyah melancarkan serangan penuh dari kedudukan yang amat rentan. Pasukan pertahanan berlawan dengan penuh berani dan mereka berjaya mengenakan banyak korban ke atas penceroboh tetapi akhirnya mereka dipaksa berundur benteng yang lebih utuh di sekeliling kota. Peluang ini diambil oleh Barbarossa untuk menduduki benteng yang telah runtuh dan ranap.

Pertarungan sengit terus berlanjutan dari hari ke hari. Pasukan pertahanan yang berani walaupun berantakan tetap mengorbankan ramai tentera musuh apabila setiap tanah mereka direbut musuh. Mereka juga mempertahankan kota dengan penuh berani menyebabkan tentera Uthmaniyyah hanya mampu menguasai bahagian kecil pada benteng yang berpusat di sekitar menara pengawal. Sarmiento telah menghantar sekumpulan tentera kejuruteraannya untuk memusnahkan menara ini tetapi sumbu peledak telah menyala sebelum waktunya sekali gus meledakkan semua tentera tersebut sebelum mereka tiba di menara itu.

Pada 6 Ogos, artileri Uthmaniyyah berjaya meruntuhkan benteng yang melindungi kota lalu memaksa Sarmiento membuka lebih banyak langkah lagi untuk berundur ke dalam istana berkubu yang terletak di selatan kota. Kebanyakan ramai penduduk Castelnuovo turut sama bertahan dan menghalang pintu masuk kota. Mereka tetap bertahan walaupun kesuntukan masa untuk berundur ke dalam istana. Sementara itu, tentera Uthmaniyyah melanggar batas dengan begitu pantas ke dalam kota. Salah satu penduduk kota telah menawarkan kepada Sarmiento seutas tali bagi membolehkannya memanjat dinding melarikan diri tetapi beliau sendiri menolak. Beliau lebih rela untuk mati bersama dengan tenteranya yang tersisa sebagai pertahanan terakhir. Hanya 600 tentera Sepanyol yang masih ada tetap berjuang menentang Uthmaniyyah sehinggalah mereka terbunuh dan ditangkap. Pada penghujung hari, hanya 200 orang pertahanan yang masih ada. Sebahagian daripada mereka telah dibunuh manakala baki yang lain telah dibawa ke Constantinople untuk dijual sebagai hamba.