Ragnar Granit syntyi sukuun, jonka jäsenet ovat olleet korppoolaisia jo ikivanhoista ajoista asti. Varhaislapsuudesta elämän viime vuosiin asti hänen kiintopisteenään oli Korpoströmin Vikminne, talo johon merikapteenina toiminut isoisä Jeremias Granit aikanaan oli asettunut. Ragnar Granitin isä oli metsänhoitaja Arthur Granit, joka työskenteli ennen Helsinkiin muuttamistaan eri puolilla Suomea, muun muassa Lapissa ja sittemmin Riihimäellä, missä Ragnar syntyi perheen esikoisena. Ragnar Granitin lapsuudenkoti sijaitsi Oulunkylässä ja koulunsa hän kävi Helsingin ruotsalaisessa normaalilyseossa. Lapsuus- ja nuoruusvuosien kesät vietettiin Korppoossa, missä purjehdus- ja kalastuskumppaneina olivat serkut, (->) Lars-Ivar Ringbom, sittemmin taidehistorioitsija ja Åbo Akademin professori, (->) Anders Ringbom, myöhemmin analyyttisen kemian professori, sekä Nils-Erik Ringbom, tuleva säveltäjä ja Helsingin kaupunginorkesterin monivuotinen intendentti.