På havnen i den lille by Stubbekøbing på Falster står en forladt kornsilo, som i årevis har delt byen midt over. Nogle ser et grimt levn fra fortiden, andre ser muligheder for fremtiden. Da en gruppe kunstnere og kulturentreprenører foreslår at omdanne siloen til et kulturelt og kunstnerisk vartegn i stedet for at rive den ned, opstår en diskussion om forskellige drømme for byens fremtid - og forskellige syn på, hvad kunst egentlig er, og hvem den er for. ‘Alle os og siloen’ er en varm og underfundig dokumentar om sammenhold, forandring og modet til at se nyt i det gamle. Filmen følger, hvordan kreative ildsjæle - med hver deres stemme og fra hvert deres ståsted - forsøger at puste liv i en by, hvor tomme butikker og store visioner eksisterer side om side og hvor samtidskunsten åbner op for et nyt blik på hvad der egentlig er vækst og værdi.
Det er en fortælling om kunsten, livet, landet og byen - og om de steder, der i lang tid er blevet kaldt Udkantsdanmark, som kæmper for retten til at definere sig selv på ny. I filmen møder vi en række personligheder, heriblandt den pensionerede bagermester Leif, som ser skeptisk til siloprojektet og kalder sig selv fantasiforladt og absolut ikke interesseret i kunst, kulturjournalisten Oliver, som forsøger at bygge bro mellem samtidskunsten og byens borgere, den pensionerede bygningskonstruktør og kritiker Bjørn, som holder skarpt øje med projektets realisme, mens den Berlin-baserede arkitekt Terese kæmper for at realisere visionerne på sikker og professionel vis. Samtidig repræsenterer det unge par Sif og Gustav en ny generation, der forsøger at skabe liv, fællesskab og fremtid i den lille havneby, alt imens Jørgen, den pensionerede maskinchef, udnævner sig selv til ambassadør for siloprojektet og cykler byen rundt på sin ladcykel, smykket med info-plancher om siloen. Og selv den ellers så kritiske og pragmatiske bagermester viser sig trods alt at have både en kunstnerisk åre og kreative drømme. Sammen tegner filmens medvirkende et nuanceret portræt af en by i forandring.