Han forlovet seg en gang, men Agathe von Siebold, som forloveden hans het, forlot ham før de rakk å gifte seg. Mange spekulerer i at Brahms tok skade av å spille på lurvete kneiper da han var liten. Disse stedene var fylt av kvinner som kalte seg «underholdere», og som gjorde hva som helst for penger, og det kan ha påvirket hvordan han snakket med kvinner som voksen. Det sies at han prøvde å skjerme seg fra det som foregikk rundt ham, ved å lære seg musikken så godt at han kunne spille uten å tenke mens han leste en god bok, men han kunne umulig ha gått glipp av alt som skjedde.

Da han var 57, besluttet han å gi seg som komponist. Ingen har funnet ut hvorfor, og det er egentlig ikke så viktig, for han begynte å komponere vakker musikk igjen etter bare et års tid.

Heldigvis for Brahms kunne han tilbringe all sin tid med å komponere. Han trengte ikke å undervise eller skrive musikk på bestilling for sosieteten, men kunne gjøre det han likte best. Problemet var at han da virkelig komponerte hele tiden, og ble veldig glemsk. Det hendte visst at han måtte dirigere orkesteret med bare én hånd, mens han holdt opp buksene med den andre, han hadde glemt å ta på belte eller bukseseler!