После возвращения из Венеции в 1712 году Карл-Вильгельм решил серьезно заняться облагораживанием своего двора, с каковой целью приступил к созданию придворного театра. Он пригласил из Италии нескольких музыкантов и актеров, послал пару немецких музыкантов на год обучаться в Венеции, а для подготовки балета пригласил французов, балетмейстера и танцмейстера. Весь этот коллектив разместили в особнячке в Дурлахе, пустовавшем после изгнания оттуда запятнавшей себя неверностью фаворитки Эберхардины-Луизы. Примечательно, что вместе с этими жрецами искусства был выписан и католический священник, которому было вменено обеспечивать духовное здоровье этих людей, оказавшихся в совершенной изоляции в лютеранском окружении.

Карл-Вильгельм поддался всеобщему поветрию иметь роскошную резиденцию и великолепный двор. С этой целью он основал в 1715 году новую столицу, город Карлсруэ, причем совершенно на новом месте, в глухом лесу, где были прорублены просеки, и прямые, как стрелы, улицы веером расходились от дворца. К этому времени придворная капелла состояла уже из 32 музыкантов, труппа же включала в себя 70 молоденьких актрис, певиц и танцовщиц. В основном, это были девушки из бедных семейств, проживавших либо в самом маркграфстве, либо в его окрестностях. Они исполняли как женские, так и мужские роли. Их годовое жалованье составляло 30 талеров, к ним были также приставлены прачки и служанки. Всего на содержание театра уходило 6 000 гульденов в год, и при этом Карл-Вильгельм располагал уникальной возможностью выбирать из этого цветника себе любую девицу. Все они были молоды и свежи, а потому исключалась вероятность подцепить сифилис, который тогда свирепствовал в Европе.

За четыре года, с 1712 по 1716, этим коллективом было исполнено 40 опер. Когда в 1718 году в Карлсруэ переехали не только чиновники, но и труппа, девушек разместили в башне замка в одинаковых крошечных комнатушках, площадью примерно 10 кв. м. каждая. Естественно, по всей Европе тут же поползли слухи о гареме, который содержит маркграф Баден-Дурлахский. Девицы не только участвовали в представлениях, но в костюмах гусаров или гайдуков сопровождали его во время выездов и путешествий. Карлу-Вильгельму даже пришлось оправдываться при венском дворе, где воцарилось убеждение, что число девиц составляет несколько сотен. Смаковались такие пикантные подробности, будто бы они обслуживают его за столом в обнаженном виде или же изображают статуи в саду, делая неприличные жесты. Прусский король Фридрих-Вильгельм I со свойственной ему солдатской прямотой заявил, что «маркграф содержит множество шлюх». Карлу-Вильгельму пришлось представить свидетельство двух католических священников, что эти слухи не соответствуют действительности — при католическом императорском дворе такие свидетельства имели больший вес, нежели подтверждение лютеранских пасторов. Надо сказать, что лютеранские священнослужители порочной склонности маркграфа не одобряли и нередко с церковной кафедры в открытую осуждали ведущих неправедный образ жизни грешниц.

С этими девицами Карл-Вильгельм прижил множество побочных детей. Сохранилось документальное подтверждение на 20 человек, но, учитывая высокую детскую смертность в те годы, их наверняка было намного больше. Мальчикам при крещении давали имя, составной честью которого обязательно являлось «Карл», девочкам — «Карлина» или «Каролина». Маркграф заботился о своих отпрысках, отдавая сыновей на воспитание в семьи мелких чиновников или ремесленников. Никаких подарков своим наложницам он не делал, и те были вынуждены в складчину по два-три человека покупать себе дом, чтобы было где приклонить голову в случае отставки. Уже с 1722 года в башне проживала лишь половина певичек. Состав девиц постоянно обновлялся, место ушедших либо по профнепригодности, либо вследствие замужества занимали новые. Побочных дочерей в возрасте от 12 до 15 лет выдавали замуж за людей с устойчивой финансовой репутацией.

Всякие отношения с певичками Карл-Вильгельм прекратил лишь в 1732 году, когда ухудшавшееся состояние здоровья и удары судьбы (смерть сына, душевная болезнь невестки, потерявшей рассудок после вторых родов, и т. д.) заставили его задуматься о себе и состоянии своих владений, которые надлежало передать наследникам. Денег ему постоянно не хватало, и дворец маркграф построил себе деревянный, весьма непритязательного вида, заявив, что «лучше обитать в скромном жилище без долгов, нежели в роскошном, погрязнув в долгах». Тем не менее, он считал, что ловко устроился, в отличие от родича, который позволил графине фон Гревениц два с лишним десятка лет обирать себя и все герцогство.

В ожидании рождения наследника