как открыть номера на дроме
Как скрыть/замазать регистрационный номерной знак на фотографии своего автомобиля
Всем привет! Данный пост будет полезен тем, кто обычно замазывает свои номера по разным причинам, не хочет возиться с компьютерными программами, и оперативно выполнить задачу с помощью своего телефона. Так как я сам искал сайты, плюс один способ, который придумал я сам (может конечно кто-то так уже и делал, но такого я не слышал).
Нашёл такой сайт: Hideframe. Тут всё просто, можно скрыть номер с телефона, но с компьютера будет проще.
Upd: в браузере Safari отказывается работать, в Chrome нормально делает своё дело.
С ним будет легко справиться на телефоне. Главное скачать приложение Facetune 2. Да-да, это то приложение, где девушки редактируют своё лицо или фигуру на фотографиях 😂.
Там нужно выбрать нужную фотографию, нажать на раздел «Ретушь»
Далее выбираем инструмент «Консилер» и просто закрашиваем номер пальцем, затем увеличиваем интенсивность ползунком и готово.
Если знаете ещё какие-то удобные методы скрыть гос. знак, можете делиться в комментариях, будет полезно!
Audi A5 Sportback 2019, двигатель бензиновый 2.0 л., 249 л. с., полный привод, автоматическая коробка передач — другое
Машины в продаже
Audi A5, 2019
Audi A5, 2017
Audi A5, 2018
Audi A5, 2017
Комментарии 23
Фото машины открываете в приложении Paint и ластиком затирается номер.
чувак а ты вкурсе что « Разглашение персональных данных человека без его согласия незаконно и влечет за собой ответственность в соответствии с трудовым, административным, а в случае умышленных действий — уголовным законодательством.»?
А есть программа чтобы изменить номер? Или свою надпись сделать?
Hideframe, к сожалению, работает только врукопашную.
Искал как-то программу, чтобы сама находила номер и аккуратно замазывала (или, еще лучше, заменяла на левые символы), но ничего не нашел.
Думал уже свою написать, но найти обученную нейросеть или хотя бы датасет для самостоятельного обучения, не так то просто. Все имеющиеся системы, судя по всему, приносят неплохие деньги и никто не будет так просто делиться )
Было бы очень крутое, если бы была в доступе такая программа
Полезный пост, спасибо!
Я когда тему увидел, сначала подумал, что про скрытие номеров от фото фиксации нарушений и вначале не мог понять, при чём тут компьютер и зачем его с собой возить.🤪
А какая разница если каждый день авто на улице, номера видно и так, тебя все равно найдут если нужно
В приложения по типу Номерограм и прочая лабуда, и так на улице сфоткают стоящее авто на парковке
Мне самому не нравится, что мои данные могут найти и любой прохожий пробьет тебя очень быстро, у нас в жк так за 2 минуты находят владельцев не правильно припаркованых авто — поэтому скрывать номер на фото у себя в каких то соц сетях — бесполезно
Да, и такое может быть.
Ну, хочется верить в лучшее, и хотя бы на какой-то процент снизить возможность пробить с какой бы там ни было целью
какие причины замазывать номер?
Лично мне неприятно было бы увидеть базу фотографий своей машины в каком-нибудь Номерограме. Плюс не хочется чтобы по номеру автомобиля пробили почти всю информацию про меня: ФИО, номер серия паспорта, адрес регистрации и т.д. Много мошенников есть, которые могут получить из этого выгоду. Просто лишний раз избегаю слива персональной информации
У меня машина так засветилась в номерограмме благодаря объявлению на дроме левой машины, рядом сфотали и всё.
Похожая ситуация была. Кто-то просто сфоткал улицу, и там задняя часть моей машины спалилась.
Если выложить объявление о продаже машины и не замазать номер, то номерограм выдаст всю информацию которую напишешь в объявлении: пробег, год выпуска, доп. информацию и тд.
И если номер красивый сохранять каждый раз, то там целая история жизни номера и покупаемых автомобилей получится
Там кстати интересная система слива номеров от дрома, если использовать их ретушь то с потрохами попадешь в номерограмм.
Похожая ситуация была. Кто-то просто сфоткал улицу, и там задняя часть моей машины спалилась.
Если выложить объявление о продаже машины и не замазать номер, то номерограм выдаст всю информацию которую напишешь в объявлении: пробег, год выпуска, доп. информацию и тд.
И если номер красивый сохранять каждый раз, то там целая история жизни номера и покупаемых автомобилей получится
«Если выложить объявление о продаже машины и не замазать номер, то номерограм выдаст всю информацию которую напишешь в объявлении»
ну так это же отлично — пробег, история обслуживания, количество объявлений. Как покупатель я бы рад был увидеть такую историю, а как продавец — считаю ее бонусом при продаже. А если номер замазан, возникает резонный вопрос: что скрывает продавец? Почему он не хочет чтобы покупатель видел всю историю? Пробег крученый, ДТП было, еще какие-то мутки?
Похожая ситуация была. Кто-то просто сфоткал улицу, и там задняя часть моей машины спалилась.
Если выложить объявление о продаже машины и не замазать номер, то номерограм выдаст всю информацию которую напишешь в объявлении: пробег, год выпуска, доп. информацию и тд.
И если номер красивый сохранять каждый раз, то там целая история жизни номера и покупаемых автомобилей получится
Так пробивают по VIN… А VIN под лобовым
какие причины замазывать номер?
Чем меньше персональных данных в сети тем лучше. Сложно так сразу сказать как их можно использовать но поверь применение им всегда найдется.
Blur еще есть прога
Да, видел вроде бы что-то подобное. Главное не нарваться на платные программы, или бесплатные с платными услугами 😂
Купить красивый номер на авто. Как купить и оформить в ГИБДД?
Как купить красивый номер для автомобиля
Если вы хотите себе красивые номера на автомобиль, то эта статья для вас.
Вариант получения красивых номеров в ГИБДД через знакомства с сотрудниками я не рассматриваю, т.к. это незаконно, и в нашем регионе за такой выдачей говорят, строго следят руководители ведомства. Получить красивый номер с новой серии возможно только в отдаленных отделениях, где снижен контроль и неразвита электронная очередь.
Для начала нужно решить, какие номера вы хотите. Красивые цифры, красивые буквы или может все вместе.
Нужно помнить, что в любом случае момент переоформления авто (где стояли красивые номера) основан на доверии продавца к покупателю. Так же не забывайте сохранять все договора купли-продажи для сдачи декларации. Все цены указал с учётом оплаты через Госуслуги и страхованием online.
В качестве примера расскажу свою историю.
У меня уже были красивые номера, которые я оставил на сохранение в ГИБДД и опоздал на 5 дней, чтоб их переоформить.
Как написал в инструкции выше, я оформил машину на себя с красивыми номерами. Затем написал заявление на сохранение ( для этого не нужно проходить осмотр ТС) и получил номера из новой серии по очереди на Акцент.
Следующим действием я поставил новую машину на учет с уточнением выдать мой красивый номер.
Если есть вопросы и комментарии пишите в Сообщения в нашем сообществе ВК NEXTAUTO
Легко в 3 шага! Как вычислить «ГНУСНОГО ПЕРЕКУПА» по объявлению?!
Легко в 3 шага! Как вычислить «ГНУСНОГО ПЕРЕКУПА» по объявлению?!
Мильён раз уже говорилось, но до сих пор мне частенько приходится объяснять как вычислить перекупа на сайтах Авто.ру, Авито, Дром. Посему чтоб в очередной раз не объяснять, а впредь всех вопрошающих слать по ссылке НА… решил я описать подробно, что нужно и куда нажать! Замечу, существуют способы «как платные так и бе3платные» в этой инструкции я расскажу о бе3платных способах! Давай договоримся о двух вещах! Во первых, я рассказываю всё поэтапно, а ты выполняешь простые действия и все счастливы! Во вторых, чё ты выкаешь постоянно, давай сразу на ты, лады?! 😉
ЧТО ТЫ ПОЛУЧИШЬ? Выполнив последующие 3 шага:
+ Сможешь вычислить большинство объявлений частников среди перекупов.
+ Узнаешь количество объявлений размещённых с данным телефоном.
+ Поймёшь на сколько цена автомобиля отклоняется от средне рыночной.
+ Будешь в курсе как и когда продавец менял цену автомобиля.
+ Увидишь какие фотографии были в объявлении ранее.
От перечисленной информации тебя отделяют всего 3 шага, поехали!
1) Шаг первый, базовый! Начнём с того что тебе необходим браузер Гугл.Хром. Версия браузера должна быть для настольного ПК, в мобильных версиях все необходимые нам функции НЕ РАБОТАЮТ. К примеру, мой любимый браузер Яндекс, НО (с некоторых пор Яндекс сменил движок Хромиум на Опера и нужные функции стали недоступны) для проверки автомобилей необходимо пользоваться именно Хромом, если Хром у тебя уже есть хорошо, если хрома нет жмите на ссылку www.google.ru/chrome/ скачивай/устанавливай и вуаля, начало положено!
2) Шаг второй, подготовительный. Заходи в «Хромированый магазин» по ссылке chrome.google.com/webstor…category/extensions?hl=ru и в левом верхнем углу в окно (поиск по магазину) печатаем слово «перекуп» и жмЁм кнопку «ввод/энтер/enter» у тебя перед глазами должно получиться вот так…
Устанавливай приложения «Перекупы дрома», «Перекуп клуб» и «Перекупы авто». В приложении «Перекуп клуб» нужно будет зарегистрироваться, но это просто. Заходите на perekupclub.ru жми регистрация и фсё!
Затем снова в окно (поиск по магазину) печатаем слово «дром» жмЁм кнопку «enter» и перед глазами должно получиться вот так…
Тут нам нужно приложение «Советник дрома» устанавливай!
Затем ещё разок в окно (поиск по магазину) печатаем слово «авинфо» жмЁм кнопку «enter» перед глазами должно получиться вот так…
и тут нам нужно (читаем голосом одного татуированного упыря из Черногории «да да ни удивляйся») приложение «AVinfo» устанавливай!
3) Шаг третий — шаг заключительный. У нас в Сибири пездестал почёта сайтов с авто объявлениями выглядит так: 1) Дром, 2) Авито, 3) Авто.ру! Если ты читаешь сеё по ту сторону Урала от меня, то у тебя будет с точностью до наоборот: 1) Авто.ру, 2) Авито, 3) Дром.
Открываем «Дром.ру» и сразу отмечу ЧТО ДРОМ-РЕДИСКА (но это не точно) с некоторых пор они возможно вступили в сговор с перекупами =), поскольку Дром не даёт посмотреть номер телефона продавца, если у вас включены вышеперечисленные «АнтиПерекупские» приложения, которые Дром назойливо/навязчиво предлагает удалить. Выхода два: каждый раз «вкючать/выключать» приложения либо телефоны просматривать в соседнем любом другом браузере.) Давайте рассмотрим на примере конкретного автомобиля Toyota Land Cruiser Prado (хотя на его месте может быть любой другой интересующий вас УАЗик) Жми tomsk.drom.ru/toyota/land…ed=2&unsold=1&go_search=2
Вот так выглядит Дром здорового АнтиПерекупа (справа) и Дром курильщика (слева) по необходимости Дром можно заменить на Авто.ру или Авито. Откроем для примера одно из объявлений.
но всё меняется, когда приходят они, «АнтиПерекупские» приложения)
Возможно ты меня спросишь, «Вова, зачем ты это делаешь?», так я отвечу, хочу что бы потенциальные покупатели не тратили впустую время, на просмотр «Вон той классной тачки от первого собственника», которая по факту является одной из 10 продаваемых им на данный момент. Замечу, что конечно не все перекупы гнусные, среди них есть нормальные, классные парни, но об этом как нибудь в другой раз!
Если ты считаешь данную информацию полезной, то ты знаешь что делать! Бери на вооружение! Дабы осложнить жизнь нерадивым перекупщикам и сделать «авто.рынок» чуточку прозрачнее и честней! 😉
У меня есть Ин100грам куда же без него. Оригиналы своих статей я размещаю в Свой.Зен, а вот Мой.ВК куда можно закидывать рабочие моменты. Мой Ютуб, для которого уж много накопилось! Всё интересное НА ВЕЧНО копирую в опальный телеграм, где я всё тот же «avtosibirsk» 😉
Медвежья услуга от auto.ru и немного о подборах недорогих авто
Многие, наверное, уже в курсе того, что сайт auto.ru внедрил бесплатную услугу подмены телефонного номера при подаче объявления. Т е, при размещении своего объявления, вам предлагается абсолютно другой номер телефона, причем, что самое главное, свой собственный вам менять не придется. Для чего это сделано? В первую очередь для того, чтобы оградить вас от бесконечного количества смс-спама. Вроде бы как, идея хорошая, но!
Самым главным недостатком является то, что дозвониться на этот подменный номер продавцу бывает крайне непросто. Я с этим сталкивался уже неоднократно, идут гудки, причем по тональности они отличаются от обычных, а потом начинает играть какая-то музыка, а счетчик телефонного разговора уже стартует с этого момента. Получается, что до продавца не могут дозвониться потенциальные покупатели. Да, скорее всего этот «косяк» «допилят», но когда – неизвестно.
Ну, и как вы поняли, все уловки с Телеграм-ботом, а также «пробивкой» номера телефона больше не работают. Но, не все так плохо. Есть еще расширения для браузера, правда только для «Хрома»: перекуп-клуб, перекупы Дрома и т д. Я тут как-то заморочился, решил их все сравнить. Иногда они что-то показывали, иногда нет. Лишь одно из них показывало информацию бОльшую, чем другие. Посмотрим на примере:
Тут мы видим, что этот номер телефона как раз-таки подменный, т е это абсолютно «левый» номер, звонки на который, автоматически переадресуются на реальный номер продавца. Телеграм-бот бессилен:
Однако, расширение Avinfo говорит нам о том, что данный продавец так же выставлял объявления с других номеров:
И тут у нас уже целый список, соответсвенно, делаем вывод о чем? Правильно, вы уже и так сами все знаете. Наверняка, в комментариях кто-то спросит, как и где взять это расширение для браузера, поэтому скачать его можно по ссылке. Кстати, а вы знаете, что Телеграм-бот теперь привязан к базе ГИБДД и можно просто отправив ему VIN-номер автомобиля сразу же получить ответ с данными? Тут, вообщем-то нет ничего нового, просто это удобнее, чем через браузер телефона, если вы, например, находитесь непосредственно у автомобиля и компьютера, подключенного к интернету у вас под рукой нет.
Безусловно, все это очень здорово, однако уповать на одни лишь расширения и боты не стоит. Поверьте, ушлых перекупов не меньше ушлых разоблачителей, поэтому проверить все, не выходя из дома, у вас все равно не получится. А вообще, не стесняйтесь звонить продавцам и задавать вопросы, именно в общении с человеком и кроется ваш успех. Задавайте как можно больше открытых вопросов (на которые нельзя ответить да или нет). Только сами не запутайтесь:) Поэтому можете даже сделать себе памятку, посидите, подумайте, какие вопросы задавать и в каком порядке. Но, если честно, то и это вас не обезопасит от встречи с перекупом на 100%. Ну, а если вам без разницы, у кого машину покупать, то запасайтесь свободным временем и катайтесь, ищите, выбирайте.
О перекупах сказано уже слишком много и, как правило, только негатив, вот вам одна из моих историй: Честные перекупы. Миф или реальность?
Тем не менее, да, хорошие машины бывают и у них, а сами перекупы иногда делают все правильно и никаких претензий к ним нет: История покупки Nissan Teana
Просто реально оценивайте свои шансы попасть именно на честного и порядочного перекупа, поверьте, они крайне невелики. Однако, ничто не мешает и реальному собственнику, который отъездил на машине несколько лет, навешать вам лапши на уши и продать упилка.
Все то, что вам непременно желательно знать до того, как приступить к осмотру самого автомобиля по ссылкам ниже:
Ну, и чтоб два раза не вставлять, напишу немного про подбор недорогих автомобилей, тем более тема эта более, чем актуальна. Рассмотрим ее на примере Хундай Гетц. Итак, обратилась ко мне очень хорошая знакомая моего очень хорошего знакомого:) Нужна первая машина, бюджет 350тр (я скорректировал, т к изначально был 300тр), обязательно автомат. Что я знаю о Гетцах по 350? Отличная машина, если найти хорошую! А какая в вашем понимании хорошая машина за 350тр?
В общем, первая проблема заключается в том, что у людей слишком завышенные ожидания от машины за 350тр на автомате. Ок, тут мы пообщались немного и поняли друг друга.
Далее. В данном ценовом сегменте вам точно пригодятся различные «пробивоны» продавцов, т к перекупов тут гораздо больше, чем реальных продавцов. И такие понятия, как притертое крыло или бампер на деле может оказаться вообще, чем угодно.
Что касаемо поиска. Смотрите, у меня ушло на это три недели. Три недели, Карл! Чем старше машина, тем сложнее ее найти в достойном состоянии. Казалось бы, очевидные вещи, правда? Но, ведь посмотрите, сколько в продаже этих Гетцов и все они такие красивые на фотографиях:) Просто поймите одну вещь, если вы ищете недорогую машину, готовьтесь идти на компромиссы.
Вот первый реальный вариант, без окрасов, из первых рук, «косяки» следующие:
Для чего и как мы скрываем госномера автомобилей в объявлениях Авито
Привет. В конце прошлого года мы стали автоматически скрывать номера автомобилей на фотографиях в карточках объявлений на Авито. О том, зачем мы это сделали, и какие есть способы решения таких задач, читайте в статье.
Задача
На Авито за 2018 год было продано 2,5 миллиона автомобилей. Это почти 7000 в день. Всем объявлениям о продаже нужна иллюстрация — фото автомобиля. Но по государственному номеру на нём можно найти много дополнительной информации о машине. И некоторые наши пользователи стараются самостоятельно закрывать госномер.
| |
| |
| |
Причины, почему пользователи хотят скрывать госномер, могут быть разными. Со своей стороны мы хотим помогать им защищать свои данные. И стараемся улучшать процессы продажи и покупки для пользователей. Например, у нас уже давно работает услуга анонимного номера: когда вы продаёте автомобиль, для вас создается временный сотовый номер. Ну а чтобы защитить данные о госномерах, мы обезличиваем фотографии.
Обзор способов решения
Чтобы автоматизировать процесс защиты пользовательских фотографий, можно воспользоваться сверточными нейронными сетями для детектирования полигона с номерным знаком.
Сейчас для детекции объектов используются архитектуры двух групп: двухэтапные сети, например, Faster RCNN и Mask RCNN; одноэтапные (singleshot) — SSD, YOLO, RetinaNet. Детектированием объекта является вывод четырёх координат прямоугольника, в которые вписан объект интереса.
Упомянутые выше сети способны находить на картинках множество объектов разных классов, что уже является избыточным для решения задачи поиска номерного знака, потому что машина у нас на картинках, как правило, всего одна (бывают исключения, когда люди фотографируют свою продаваемую машину и её случайную соседку, но это происходит достаточно редко, поэтому этим можно было пренебречь).
Ещё одна особенность этих сетей состоит в том, что по умолчанию они выдают bounding box со сторонами, параллельными осям координат. Это происходит так, потому что для детектирования используется набор заранее определённых видов прямоугольных рамок, называемых anchor boxes. Если точнее, то сначала с помощью какой-то сверточной сети (например resnet34) из картинки получают матрицу признаков. Потом для каждого подмножества признаков, полученного с помощью скользящего окна, происходит классификация: есть или нет объект для k anchor box и проводится регрессия в четыре координаты рамки, которые корректируют её положение.
Подробнее об этом можно прочитать здесь.
После этого есть ещё две головы:
одна для классификации объекта (собака/кошка/растение и т.д),
вторая (bbox regressor) — для регрессии координат рамки, полученной на предыдущем шаге, чтобы увеличить соотношение площади объекта к площади рамки.
Для того, чтобы предсказать повернутую рамку бокса, нужно изменить bbox regressor так, чтобы получать ещё и угол поворота рамки. Если этого не делать, то получится как-то так.
Кроме двухэтапного Faster R-CNN, есть одноэтапные детекторы, например RetinaNet. Он отличается от предыдущей архитектуры тем, что сразу предсказывает класс и рамку, без предварительного этапа предложения участков картинки, которые могут содержать объекты. Для того чтобы предсказывать повернутые маски, нужно также изменить голову box subnet.
Один из примеров существующих архитектур для предсказания повернутых bounding box — DRBOX. Эта сеть не использует предварительный этап предложения региона, как в Faster RCNN, поэтому она является модификацией одноэтапных методов. Для обучения этой сети используется K повернутых под определенными углами bounding box (rbox). Сеть предсказывает вероятности для каждого из K rbox содержать таргет объект, координаты, размер bbox и угол поворота.
Модифицировать архитектуру и заново обучить одну из рассмотренных сетей на данных с повернутыми bounding boxes — задача реализуемая. Но нашу цель можно достигнуть проще, ведь область применения сети у нас гораздо уже — только для скрытия номерных знаков.
Поэтому мы решили начать с простой сети для предсказания четырёх точек номера, впоследствии можно будет усложнить архитектуру.
Данные
В задании дана фотография автомобиля. Необходимо выделить номерной знак автомобиля, используя для этого четырёхугольник. При этом следует выделять государственный номер максимально точно.
С помощью Толоки можно создавать задания по разметке данных. Например, оценивать качество поисковой выдачи, размечать разные классы объектов (текстов и картинок), размечать видео и т.д. Их будут выполнять пользователи Толоки, за плату, которую вы назначите. Например, в нашем случае толокеры должны выделить полигон с госномером автомобиля на фото. В целом это очень удобно для разметки большого датасета, но получить высокое качество довольно сложно. На толоке много ботов, задачей которых является получить с вас деньги, наставив ответы рандомно или с помощью какой-то стратегии. Для противодействия этим ботам есть система правил и проверок. Основной проверкой является подмешивание контрольных вопросов: вы размечаете вручную часть заданий, пользуясь интерфейсом Толоки, а далее подмешиваете их в основное задание. Если размечающий часто ошибается на контрольных вопросах, вы его блокируете и разметку не учитываете.
Для задачи классификации очень просто определить, ошибся размечающий или нет, а для задачи выделения области это не так просто. Классический способ — считать IoU.
Если это отношение меньше некоторого заданного порога для нескольких заданий, то такой пользователь блокируется. Однако для двух произвольных четырехугольников посчитать IoU не так просто, тем более, что в Толоке приходится это реализовать на JavaScript. Мы сделали небольшой хак, и считаем, что пользователь не ошибся, если для каждой точки исходного полигона в небольшой окрестности находится точка, отмеченная разметчиком. Ещё есть правило быстрых ответов, чтобы блокировались слишком быстро отвечающие пользователи, капча, расхождение с мнением большинства и т.д. Настроив эти правила, можно ожидать довольно неплохую разметку, но если нужно действительно высокое качество и сложная разметка, нужно специально нанимать фрилансеров-разметчиков. В итоге наш датасет составил 4к размеченных картинок, и стоило всё это 28$ на Толоке.
Модель
Теперь сделаем сеть для предсказания четырёх точек области. Получим признаки с помощью resnet18 (11.7M параметров против 21.8M параметров у resnet34), далее делаем голову для регрессии в четыре точки (восемь координат) и голову для классификации, есть на картинке номерной знак или нет. Вторая голова нужна, потому что в объявлениях о продаже машины не все фотографии с машинами. На фото может быть деталь автомобиля.
Подобное нам, конечно, детектить не надо.
Обучение двух голов делаем одновременно, добавив в датасет фото без номерного знака с таргетом bounding box (0,0,0,0,0,0,0,0) и значением для классификатора «картинка с номерным знаком / без» — (0,1).
Тогда можно составить единую лосс функцию для обеих голов как cумму следующих лоссов. Для регрессии в координаты полигона номерного знака используем гладкий L1 loss.
Его можно интерпретировать как комбинацию L1 и L2, который ведёт себя как L1, когда абсолютное значение аргумента велико и как L2, когда значение аргумента близко к нулю. Для классификации используем softmax и crossentropy loss. Экстрактор признаков — resnet18, используем веса, предобученные на ImageNet, дальше дообучаем на нашем датасете экстрактор и головы. В данной задаче мы использовали фреймворк mxnet, так как он является основным для computer vision в Авито. Вообще, микросервисная архитектура позволяет не привязываться к конкретному фреймворку, но когда имеешь большую кодовую базу, лучше использовать ее и не писать тот же самый код заново.
Получив приемлемое качество на нашем датасете, мы обратились к дизайнерам, чтобы нам сделали номерной знак с логотипом Авито. Сначала мы конечно попробовали сделать сами, но выглядел он не очень красиво. Дальше требуется изменить яркость номерного знака Авито на яркость оригинальной области с номерным знаком и можно накладывать логотип на изображение.
Запуск в прод
Проблема воспроизводимости результатов, поддержки и развития проектов, решённая с некоторой погрешностью в мире backend- и frontend-разработки, всё ещё стоит открытой там, где требуется использовать модели машинного обучения. Вам наверняка приходилось разбираться в легаси коде моделек. Хорошо если в readme есть ссылки на статьи или опенсорс-репозитории, на которых базировалось решение. Скрипт для запуска переобучения может упасть с ошибками, например, поменялась версия cudnn, и та версия tensorflow уже не работает с этой версией cudnn, а cudnn не работает с этой версией драйверов nvidia. Может, для обучения использовался один итератор по данным, а для тестирования и в продакшене другой. Так можно продолжать довольно долго. В общем, проблемы с воспроизводимостью существуют.
Мы стараемся убрать их, используя nvidia-docker окружение для обучения моделек, в нём есть все необходимые зависимости для сuda, также туда устанавливаем зависимости для питона. Версия библиотеки с итератором по данным, аугментациями, инференсу моделек — общая для стадии обучения/экспериментирования и для продакшена. Таким образом, чтобы дообучить модель на новых данных, вам нужно выкачать репозиторий на сервер, запустить shell скрипт, который соберет докер-окружение, внутри которого поднимется jupyter notebook. Внутри у вас будут все notebook’и для обучения и тестирования, которые точно не упадут с ошибкой из-за окружения. Лучше, конечно, иметь один файл train.py, но практика показывает, что всегда требуется смотреть глазами на то, что выдаёт моделька и что-то менять в процессе обучения, так что в конце вы всё равно запустите jupyter.
Веса модели хранятся в git lfs — это специальная технология для хранения больших файлов в гите.До этого мы пользовались артифактори, но через git lfs удобнее, потому что скачивая репозиторий с сервисом, вы сразу получаете актуальную версию весов, как на продакшене. Для инференса моделей написаны автотесты, так что не получится раскатить сервис с весами, которые их не проходят. Сам сервис запускается в докере внутри микросервисной инфраструктуры на кластере kubernetes. Для мониторинга производительности мы используем grafana. После раскатки мы постепенно увеличиваем нагрузку на инстансы сервисов с новой моделькой. При выкатке новой фичи мы создаем а/б тесты и выносим вердикт по дальнейшей судьбе фичи, опираясь на статистические тесты.
В результате: мы запустили замазывание номеров на объявлениях в категории авто для частников, 95 перцентиль времени обработки одной картинки для скрытия номера равен 250 мс.