Elwiro Michał Andriolli urodził się 14 listopada (według kalendarza Juliańskiego 2 listopada) 1836 roku w Wilnie, gdzie 5 grudnia został ochrzczony w kościele Św. Jana. Był czwartym dzieckiem Francesco Andriollego i Petroneli Gośniewskiej. W dzieciństwie był dzieckiem wątłym i chorowitym. Kształceniem chłopca zajmowali się rodzice oraz Antoni Zaleski (1824-1885), zamożny ziemianin, malarz oraz rysownik, który miał wpływ na rozwój zainteresowań przyszłego artysty. Kolejnym etapem edukacji było ukończenie wileńskiego gimnazjum. Obserwując od dziecka prace ojca, Elwiro nie rozstawał się ze szkicownikiem. Był też uzdolniony muzycznie i śpiewał w chórze, którym dyrygował Stanisław Moniuszko (1819-1872). Jak wynika z jego wspomnień, publikowanych w „Kłosach” przy okazji relacji z podróży artystycznych po kraju, brał także udział w przedstawieniach teatralnych.