Как CarPrice стал самой цифровой компанией российского авторынка

Денис Долматов: Компания родилась четыре года назад. Для этого было две причины. Первая – на российском рынке не было подобного сервиса, но он существовал в других странах. Безопасная продажа любого автомобиля всего за два часа, причем клиент получает деньги не через неделю или месяц, а сразу – эта идея успешно работает на нескольких континентах.

Так сложилось, что на вторичном рынке автомобилей продажи осуществлялись только между физическими лицами со всеми вытекающими из этого последствиями – рисками, неудобством, общением с разными не очень приятными людьми. Поэтому основатели сервиса были практически уверены в том, что он будет востребован, тем более, что конкурентов у него не было. Через полгода после его создания начали заключаться первые контракты.

На сегодняшний день CarPrice – это по сути ИТ-продукт, доступ к которому можно получить с помощью сайта или приложений. Клиентское приложение позволяет разместить заявку, выбрать удобное время и место для продажи. Инспекторское приложение используется при проведении осмотра автомобиля. А дилерское предназначено для покупателей – они видят появляющиеся на площадке лоты и торгуются за них.

Денис Долматов: Допустим, вы владелец автомобиля, который покатался на нем три года и решил его продать. Вы обращаетесь в нашу компанию: заходите на сайт carprice.ru, устанавливаете мобильное приложение или звоните в колл-центр. Размещаете заявку на осмотр и последующую продажу, выбираете удобное вам время и адрес и приезжаете туда на своем автомобиле с полным комплектом документов. Инспектор берет ваши документы, проверяет их юридическую чистоту. Затем он осматривает автомобиль по нашей запатентованной методике. Длится это от 20 до 40 минут. После этого образ этой машины в виде фотографий, видеофайлов и описаний загружается на аукционную площадку и становится доступным для торгующихся дилеров. В течение получаса они изучают информацию и делают ставки на повышение. В это время вы сидите в офисе, пьете кофе и наблюдаете за ходом аукциона на дэшборде.

В итоге абсолютно на любой автомобиль формируется рыночное предложение. Поскольку это живой аукцион, оно может быть более или менее привлекательным. Наша задача состоит в том, чтобы привлечь как можно больше дилеров для того, чтобы торги шли более активно и их результаты были наиболее привлекательными для продавца.

После того как торги закончились, вам объявляют итоговую цену. Если она вас устраивает, вы тут же заключаете договор купли-продажи, получаете деньги наличными или на банковский счет. Машина остается у нас, и мы сами отправляем ее покупателю. Если цена вас не устраивает, вы без каких-либо дополнительных затрат и обязательств едете домой.

Юрий Буйлов: Ежедневно на наши пункты осмотра приезжает порядка 500 машин. Перед тем, как выставить автомобиль на онлайн-аукцион, мы оцениваем его по 600 параметрам, используя запатентованную технологию CarPrice.Realtime. В процессе осмотра каждого автомобиля делается около 100 фотографий хорошего качества. Дорогие автомобили снимаются на видеокамеру.

В результате формируется огромный массив данных – изображений и видео, доступ к которым получают покупатели – более 40 000 профессиональных участников рынка со всей страны, которые делают ставки и готовы выкупить авто всего за 30 минут. Поэтому мы предъявляем очень высокие требования к масштабированию и отказоустойчивости объектного хранилища.

Схема работы сервиса

Самые известные на мировом рынке объектные хранилища – это Amazon S3 (Simple Storage Service), Google Cloud Storage и Microsoft Blobs Storage. Для хранения фото- и видео-контента мы использовали облачное хранилище Amazon S3. Однако из-за того, что сервера находятся за пределами РФ, трафик получается достаточно дорогой. Кроме того, наши дилеры могут находиться в регионах, где нет широкополосного интернета, и торговаться как с десктопов, так и с мобильных устройств. И для них очень важна скорость доставки качественного контента. А обеспечить ее из-за океана достаточно сложно. Плюс, как известно, Amazon-сервисы частично попали под блокировку. Поэтому мы решили заменить объектное хранилище на решение отечественной компании. Рассмотрели несколько сервисов и остановились на Mail.Ru Cloud Solutions.

Денис Долматов: Мы решали задачи поэтапно. Для оптимизации затрат на трафик и увеличения скорости доставки контента подключили операторов CDN с серверами на территории РФ. Однако само хранилище так и оставалось в облаке Amazon S3.

Стоимость 1ТБ данных (март 2018)

В качестве альтернатив рассматривали облачные хранилища от Mail.Ru Cloud Solutions, Servers.ru, Selectel, «Техносерв» и «Ростелеком». Servers.ru и Selectel не подошли из-за отсуствия S3-совместимого API. «Техносерв» и «Ростелеком» оказались при наших объемах трафика менее выгодны по деньгам. В итоге выбор пал на Mail.Ru Cloud Solutions (MCS) ввиду S3-совместимого REST API, низкой стоимости и отзывчивой техподдержки.

Юрий Буйлов: На первом этапе мы распределили трафик для того, чтобы хранилище данных Amazon S3 было доступно на территории Российской Федерации. Для этого мы воспользовались услугами российских операторов. В результате в начале апреля этого года весь трафик уже раздавался с серверов на территории России.

На втором этапе нам надо было перенести почти 10 терабайт данных из облачного хранилища Amazon S3 в хранилище Mail.Ru Cloud Solutions. Нам удалось за один вечер силами одного разработчика и одного администратора перенести горячие данные по текущим аукционам. А затем в течение недели мы переносили архивные данные – это около 30 терабайт.

Основной сложностью этого процесса было то, что в это время Amazon был уже частично заблокирован в России, и данные приходилось переносить через промежуточные сервера, не попавшие под блокировку. Для этого наш разработчик написал специальный скрипт, с помощью которого мы завершили эту работу в течение недели.

Юрий Буйлов: Конечно. Теперь загрузка данных об автомобилях наших клиентов происходит значительно быстрее, а значит, им приходится значительно меньше времени проводить в нашем офисе в ожидании результатов аукциона. Нашей компании удалось существенно сократить затраты – теперь мы платим за сервис примерно в 4 раза меньше. Благодаря тому, что хранилище данных находится в России, а не за рубежом, дилеры могут быстрее загрузить видеоролики и принять решение, торговаться им или нет. И, конечно, мы очень выиграли с точки зрения качества технической поддержки – с Amazon было довольно сложно договориться, а сотрудники Mail.Ru Group очень отзывчивые. Мы общаемся с ними в режиме реального времени через чат, в то время как в Amazon на обработку каждого запроса уходил как минимум день.

Юрий Буйлов: Мы используем микросервисную архитектуру, которая дает нам свободу применения различных технологий, подходов, языков программирования и баз данных. Компания активно развивается. Уже сейчас мы используем технологии контейнеризации от Mail.Ru Group на базе технологии Kubernetes – через нее проходит около 50% нашего мобильного трафика. Кстати, я был приятно удивлен тем, что у Mail.Ru Cloud Solutions новые версии Kubernetes появляются быстрее, чем на аналогичных зарубежных сервисах.

Кроме того, в нашей компании серьезное внимание уделяется большим данным, аналитике и машинному обучению, поэтому мы планируем использовать PaaS-сервисы Mail.Ru Cloud Solutions для их обработки. Но пока это в стадии проекта.

Денис Долматов: Мы хотим накапливать и обрабатывать данные о каждом автомобиле, который проходит через CarPrice, для того, чтобы иметь возможность строить прогнозы – например, сколько он будет стоить через некоторое время. Думаю, это поможет нашим клиентам в принятии решения о его продаже. Естественно, этот массив данных будет очень ценным не только для нас, а для всех участников автомобильного и смежных рынков. Например, для банков при выдаче кредитов или для страховых компаний при расчете суммы страховки.

Для качественной обработки данных нам необходима скорость, устойчивость и надежность платформы. Помимо этого, мы рассчитываем, что развитие CarPrice в целом будет идти по пути ускорения предоставления услуг. Например, если сегодня данные на сервер загружаются в течение нескольких минут, то в будущем мы хотим добиться того, чтобы процесс их передачи и обработки как на стороне владельца автомобиля, так и на стороне дилера происходили фактически мгновенно. И поэтому продолжаем работать над оптимизацией.

Юрий Буйлов: Во-первых, было бы полезно создать сервис автоматический миграции, например, в виде формы, где я выбираю Amazon, нажимаю на кнопочку и все данные автоматически переливаются в облако Mail.Ru Cloud Solutions. Сейчас этим занимался наш собственный разработчик, который писал соответствующий скрипт. Во-вторых, надо реализовать функции мониторинга качества услуг, создать аналитические инструменты, которые позволят увидеть, насколько быстро, например, идет загрузка на сервера или отдача данных, как задублированы данные и пр.

Если мы говорим про PaaS, то там та же проблема – нет качественного мониторинга. Сегодня PaaS и IaaS фактически отличаются наличием или отсутствием Kubernetes, а этого мало. Мне бы хотелось полностью отказаться от собственных администраторов платформы и просто стать ее пользователем. А за качество пусть отвечает вендор. Но при этом я хочу в понятном для бизнеса виде наблюдать за тем, как все работает.

Денис Долматов: В данный момент мы считаем себя самой цифровой компанией на автомобильном рынке. У нас есть В2В-транзакции, которыми в будущем могли бы обмениваться между собой и автодилеры. Однако сегодня уровень проникновения ИТ у них очень низкий. И, наверное, это справедливо – их бизнес заключается в другом. Поэтому мы хотели бы создать сервис, который будет максимально легко интегрироваться с ИТ-сервисами автомобильных компаний для того, чтобы стать провайдером необходимых им услуг.