В 1939 году, уже став профессиональным рецидивистом, он по фиктивным документам получил фамилию Таврин, устроился начальником Туринской геологоразведочной партии Исыковского приискового управления, прииск «Урал-Золото». Видимо, его заворожило это название, и он решил, что сможет сорвать здесь хороший куш. (По другой версии, перед войной он по поддельным документам устроился следователем в Воронежскую прокуратуру.)
Но грянула война. 14 августа 1941 года его призвали в Красную армию. Вскоре он попал на фронт, где успел стать кандидатом в члены ВКП(б) и стать заместителем командира, а затем и командиром пулеметной роты 1196-го полка 369-й стрелковой дивизии 30-й армии Калининского фронта.
Возможно, его военная карьера продолжалась бы и дальше, но 29 мая 1942 года он был вызван к уполномоченному Особого отдела капитану Васильеву, который поинтересовался, почему Шилов переменил фамилию на Таврина. Сейчас трудно сказать, что наврал Шилов капитану Васильеву, но тот не стал задерживать его и отпустил в подразделение.
Более того, на другой день, 30 мая, Шилов был послан на разведку в немецкий тыл. Он уже понял, что Особому отделу стали известны его прошлые преступления, и не ждал ничего хорошего. Поэтому, оказавшись в немецком тылу, он умышленно отстал от своей группы, «потерялся» и при виде первого же немца поднял руки вверх. Вряд ли уже тогда он намеревался изменить Родине, просто надеялся до конца войны отсидеться в лагере военнопленных.
Он знал о том, что немецкие солдаты-фронтовики не особенно жалуют перебежавших к ним добровольно, тем более уголовников. Поэтому на допросе заявил, что он сын полковника царской армии, преследовался органами советской власти, в связи с чем и был вынужден перейти на сторону немцев. К Шилову отнеслись как к обычному военнопленному и направили в офицерский лагерь — Летцинскую крепость (Восточная Пруссия). Там в июле 1942 года и произошла роковая для Шилова встреча с одним из будущих ближайших помощников генерала Власова генералом Жиленковым, содержавшимся в том же лагере. Бывший рецидивист и бывший секретарь райкома ВКП(б) нашли общий язык. Жиленков рассказал, что, попав в плен, выдал себя за шофера, работал в немецкой воинской части, но был опознан и заключен в Летцинскую крепость. Настроенный крайне антисоветски, он обрабатывал военнопленных в соответствующем духе и написал такого же рода брошюру "Первый день войны в Кремле".
В 1943 году Шилов попал в Венскую тюрьму. (Впоследствии на допросе в Отделе НКГБ СССР по борьбе с бандитизмом он показал, что в тюрьму его посадили после попытки побега из лагеря военнопленных, однако этот факт ничем не подтвержден.) В июне 1943 года Шилова вызвали офицеры гестапо, назвавшиеся Байером и Тельманом, и предложили сотрудничать с германской разведкой. Без всяких душевных колебаний Шилов согласился. В августе 1943 года он был переведен из Венской тюрьмы в специальный лагерь СД близ города Зандберг и зачислен в особую команду (зондеркоманду).
Зондеркоманда состояла из 23 агентов германской разведки, намеченных для активной работы на территории СССР. В конце августа 1943 года Шилов был доставлен в Берлин к оберштурмбаннфюреру (подполковнику) СС Грейфе, который расспрашивал о его прошлом, выяснял причины, побудившие дать согласие на сотрудничество с германской разведкой. Грейфе рассказал о заданиях, которые придется выполнять на территории СССР — разведка, диверсии, террор, — и предложил подумать, что из этого больше устраивает Шилова, заявив, что снова вызовет его из лагеря в Берлин.
Шилов вернулся в Зандберг. Там произошла вторая встреча, окончательно решившая его судьбу. В начале сентября в лагерь приехали Власов и Жиленков, уже ставший его заместителем. Целью приезда была передача немцам отряда, сформированного из белогвардейцев и военнопленных, для участия в боях в Югославии. После «парада» Жиленков бродил по лагерю и беседовал с военнопленными. Шилов подошел к нему и они разговорились. Шилов рассказал, что согласился работать на германскую разведку и зачислен в зондеркоманду. Жиленков одобрил его поведение, заявив: "Наконец-то я увидел тебя там, где ты должен быть давно". В ходе дальнейшего разговора Шилов рассказал о том выборе, который предложил ему Грейфе.
Выслушав Шилова, Жиленков, чуть не брызгая слюной, в самых резких выражениях стал высказываться о советском правительстве и доказывать, что сейчас самой важной задачей является убийство Сталина, так как за этим последует развал Советского государства. Он горячо рекомендовал Шилову принять задание по террору и обещал по прибытии в Берлин принять необходимые меры для переброски Шилова в СССР. Сделав какие-то заметки в записной книжке, он вместе с Власовым уехал.
А вскоре Шилов вновь был вызван к Грейфе. Это было 4 или 5 сентября 1943 года. Грейфе вновь подробно расспрашивал Шилова о прошлом и причинах, по которым он выбрал задание по террору. Шилов сослался на рекомендации Жиленкова. После этого Грейфе предложил Шилову разработать и представить в письменном виде план совершения террористического акта. Для этого Шилова поселили в одной из гостиниц. В тот же день к нему приехал Жиленков, которому Шилов пожаловался на трудности в составлении плана. Жиленков увез Шилова к себе на квартиру и, как опытный аппаратчик, сам быстро составил план и предложил Шилову лишь переписать его. Большая часть плана состояла из антисоветских и антисталинских выпадов, доказывающих необходимость устранения Сталина, затем было указано, что теракт должен быть совершен путем проникновения на какое-либо торжественное заседание. Переписав план, Шилов лишь добавил, что ему нужны 500000 рублей, документы и пистолеты.
На следующий день Шилов вручил план Грейфе. Тот одобрил его и направил Шилова в распоряжение начальника команды «Цеппелин» ("Норд") майора Отто Крауса, в город Псков, куда Шилов и прибыл 23 сентября 1943 года. В Пскове он занимался физической подготовкой и тренировался в стрельбе. Там же он использовался как агент-провокатор по выявлению советских партизан и подпольщиков.
6 ноября 1943 года Шилова вновь вызвали в Берлин. Грейфе интересовался, как идет подготовка, и дал указание ускорить ее завершение. Шилову объявили, что из Пскова он будет переведен в Ригу, так как в Пскове якобы слишком много советской агентуры, которая может узнать о подготовке Шилова к переброске за линию фронта. 5 декабря Шилов прибыл в Ригу, куда вскоре в связи с обстановкой на фронте была переброшена вся команда "Цеппелин".
В это время в жизни Шилова произошли два события. Во-первых, у него появилась жена — Шилова (Адамчик) Лидия Яковлевна, двадцатиоднолетняя дамочка неизвестного происхождения и профессии. Она была предложена ему германской разведкой в качестве напарницы-радистки, подготовленной командой «Цеппелин». Агенты понравились друг другу, и у них началась семейная жизнь.
Во-вторых, сразу же по приезде в Ригу Краус заявил Шилову, что он должен быть заброшен под видом инвалида Отечественной войны. В этой связи он потребовал, чтобы Шилов согласился на хирургическую операцию, в результате которой он станет хромать на одну ногу. Краус связал Шилова с немецкими врачами, которые доказывали ему, что после войны сделают еще одну операцию, после чего нога станет нормальной. Шилов категорически отказался от этого, ибо предложение было нелепым хотя бы потому, что хромота — особая примета.
Тогда Краус предложил хирургическим путем сделать на теле следы ранений. Шилов отказывался и от этого, но под давлением Крауса вынужден был согласиться. В рижском госпитале Шилову под наркозом сделали большую рану на животе и две небольшие раны на руках. Он пролежал в госпитале 14 дней. Послеоперационные следы были схожи с зарубцевавшимися ранами. Чтобы скрыть этот факт от жены, Шилов по указанию Крауса сообщил ей, что уезжает в командировку на фронт, а по возвращении из госпиталя рассказал, что был ранен. После 20 января 1944 года подготовка Шилова была продолжена. С ним занимался сам Краус, но, кроме того, у него были три беседы со знаменитым в то время Отто Скорцени. Шилов знал, что Скорцени участвовал в похищении Муссолини, который был арестован после капитуляции Италии. Первая встреча состоялась в ноябре 1943 года в Берлине. Скорцени расспрашивал Шилова о его прошлом. Беседа носила в основном ознакомительный характер.