Při své velikosti měla Olešnice i několik spolků, které si zaslouží, abychom se o nich zmínili. Především to byly lidové ochranářské spolky. Svaz Němců v Čechách byl založen r.1900, kulturní spolek roku 1920. První z nich se zasazoval o německou půdu, druhý o školu. 28.10.1898 byl v Olešnici založen spolek cvičenců. Jeho prvním předsedou byl Rudolf Finger a prvním cvičitelem Franz Seibert. Ten se však jako mnoho cvičitelů-bratrů nevrátil z l. světové války. Cvičební hodiny se konaly v hostinci u Házlerů v Kutlu (dnes Zdarově). Při stavbě měšťanské školy v ní již získali cvičenci důstojnou tělocvičnu. Skoro všechno nářadí bylo vlastnictvím tohoto spolku. Po l. světové válce bylo cvičení opět obnoveno a sestavena družstva žen. Starostou cvičenců se stal ředitel školy Wilhelm Hofmann, který neohroženě spolek zastupoval v časech dobrých i zlých. Velkým pomocníkem se mu stal i odborný učitel Rudolf Knoblich jako cvičitel-čekatel, ale i další, jako učitel Plitzka a Franz Mach, který byl navíc i činným zapisovatelem. Dobou rozkvětu spolku cvičenců bychom mohli počítat rok 1945, kdy měl největší počet aktivních cvičenců. Tento spolek patřil k župě cvičenců Broumovska, proto u nás často hostovali i broumovští cvičenci na cvičebních slavnostech. Po Olešnici byly cvičící spolky založeny i v Sedloňově a na Deštném. Při svěcení praporu spolku cvičenců v Levíně se náš spolek též aktivně účastnil. Nezapomenutelný zážitek pro naše cvičence byla účast na velké slavnosti cvičenců v roce 1926 v Aussigu. Ale svůj podíl nesli naši cvičenci i při župních slavnostech. Když se německý spolek stal Čechům trnem v oku, mohli místní Češi triumfovat. Politické úřady zapověděly spolku veškerou činnost. Teprve po opakovaných přímluvách byl zákaz vzat zpět. Za tyto přímluvy spolek poděkoval tím, že nechal v kostele sloužit slavnostní bohoslužbu, po které následoval pochod přes náměstí, kde byl v čele průvodu nesen československý prapor. Pro možnost cvičení a jiné sportování scházelo v naší obci patřičné hřiště. O to se zasloužil nejvíce bratr Ascherl. Majitel hotelu Jirku zvolil na levé straně cesty k Polomu, nedaleko domu č.40/St louku s požadovanou výměrou a tu dal k dispozici. Neplacené pracovní hodiny a dobrovolná spolupráce přinesla své ovoce. Nejen cvičenci, ale i hasiči a školy zde mohly cvičit, a konat sportovní slavnosti. Dne 1.5.1938 zde byl velký projev, jaký Olešnice ještě neviděla, neboť všechny obce od Olešnice až po Jedlovou a Mnichovou sem vyslaly své delegace o více než sto krajanech.

Roku 1884 u nás vznikl spolek zpěváků, ke kterým se později připojili i hudebníci, a tak v harmonické spolupráci s divadelním spolkem bylo možné hrát i operety. Naše městečko mělo divadelní skupiny dvě. Jedna byla na náměstí, druhá v horní Olešnici. První vznikla v r.1884, druhá o několik let později. Každá z nich měla své vlastní jeviště. Ta z náměstí v hotelu Jirku a druhá jej postavila v hostinci Czerny. Po 1. světové válce se obě tyto skupiny sloučily. Představení se však konala i nadále na obou jevištích. Ve spolupráci se zpěváky a hudebníky tak byla uvedena v r.1925 opereta 'Winzerliesl' a 'Schwarzwladmädel'. Obě operety se pro úspěch několikrát opakovaly a následovaly další. Čistý zisk z těchto představení byl věnován na vánoční nadílku dětem, školní jídelnu, na pomník obětem války, inventář hasičské zbrojnice aj. Divadelní rekvizity mimo kulis se uchovávaly v pronajaté půdní komoře. Když musel být z úředního nařízení zvýšen strop sálu v hostinci Franze Czerneho, utrpěly tím velice i kulisy. (Byly vlastnictvím majitele hostince). Jelikož by zakoupení nových kulis bylo drahé, další představeni se tam již nekonala. Všichni, kteří zde účinkovali, ale i na představení jen chodili, ještě dnes rádi vzpomínají. Již r.1874 byl v Olešnici založen také dobrovolný spolek hasičů.

Fotografie, které byly při příležitosti 25 let trvání r. 1899 pořízeny, ukazují 42 cvičících členů. Místní zbrojnice stojí vedle domu č.33/St a pro velikost obce měla už tři ruční a jednu motorovou stříkačku s množstvím příslušenství. Roku 1910 se po stavila v horní Olešnici v domě č.107/O druhá zbrojnice, aby v případě požáru byla brzo k dispozici. Olešnice byla také od r. 1897 sídlem okresního hasičského spolku č.107, který v případě požáru zasahoval až po Jedlovou a Mnichovou. Nové prostředky byly placeny částečně obcí, velkým dílem je však dotovaly různé spolky, jako např. již zmíněný divadelní. Náš hasičský spolek byl vždy připraven být u požáru včas a předejít tak jeho rozšiřování na další objekty. Důležitou úlohu hrál náš sbor i při průtrži mračen, která byla 1.8.1910. Velká voda trhala mosty, podemílala cesty a tropila velké škody. Také stavení stojící v blízkosti říčky Olešenky byla v nebezpečí, a tak se hasiči snažili je uchránit před zpustošením.

Spolek veteránů, jehož rok založení neznáme, zahrnoval také všechny vojáky v záloze. Veteráni nosili skvostné uniformy a péra na svých kloboucích jako 'Horští myslivci' Po 1. světové válce byly spolky veteránů úředně zrušeny, stejně tak jako některé jiné spolky. Stejně jako hasiči i veteráni měli své vlastní prapory. Ty byly v listopadu 1918 uschovány na bezpečném místě a teprve v říjnu 1938 byly vyzvednuty. Do května 1946 dostaly své čestné místo na radnici.