Python захватил мир машинного обучения - это факт. Но когда дело доходит до продакшена, ситуация не так однозначна. Помню проект в крупном банке три года назад: команда data science натренировала модель для детекции мошеннических транзакций на Python, а потом два месяца мучились с интеграцией в существующую систему на Java. Микросервис на Flask тормозил, REST API добавлял лишние 200 миллисекунд латентности, а десериализация...

Помню, как лет пять назад коллега спросил: можно ли запустить детекцию объектов прямо в браузере? Тогда я посмеялся - какой браузер, нужна серверная ферма с GPU. Сейчас же распознавание лиц в видеочате или детекция жестов работают локально, и никто уже не удивляется. WebAssembly перевернул представление о том, что может JavaScript. ONNX Runtime Web позволяет запускать модели машинного обучения с производительностью,...

Когда я впервые попытался подключить свой MCP сервер к Claude Desktop, думал что это будет как с любым другим API - указал эндпоинт, авторизовался, готово. Но нет. MCP требует конфигурирования на стороне клиента, и каждое приложение делает это по-своему. Причём документация местами отсутствует или устарела, приходилось разбираться методом проб и ошибок.

Что такое MCP сервер и как его создать. Часть 1

Клиентские приложения для...

Model Context Protocol - это не очередной API и не замена REST. Это скорее мост между вашей языковой моделью и реальным миром данных. Представьте: у вас есть Claude или другой AI-ассистент, который умеет болтать, но не имеет доступа к вашим базам данных, файлам или внешним сервисам....

Python давно стал языком машинного обучения по умолчанию. Jupyter-блокноты, PyTorch, scikit-learn - весь этот мир крутится вокруг интерпретируемого языка с динамической типизацией. Но когда дело доходит до продакшена, картина меняется. И здесь Go начинает показывать зубы.

Go не заменяет Python в исследованиях и экспериментах. Там он и не нужен - у Python экосистема богаче, а скорость...

Помню тот день, когда наш техлид пришёл на планёрку с новой идеей - прикрутить AI-ассистента к внутренней базе знаний компании. Все сразу заговорили про Python, LangChain, модные фреймворки. А я сидел и думал: «У нас же весь стек на Java, зачем городить огород с микросервисами на разных языках?»

Тогда я ещё не знал про Langchain4j. Больше того - я вообще сомневался,...

Когда я только начинал свой путь в программировании, мне казалось, что создать игру - это что-то из области фантастики. Помню, как в далеком 2007 году, работая над своими первыми проектами, я втихаря на обеденных перерывах писал свою версию "Виселицы" на Python 2.5. Казалось бы, зачем тратить время на примитивную игру, когда вокруг столько передовых технологий? Но именно эта...

15 сентября 2021 года Oracle представил Java 17 - долгожданную LTS-версию (Long-Term Support), которую многие энтерпрайз-разработчики встретили с нескрываемым облегчением. После нескольких лет быстрых релизов каждые шесть месяцев, Java 17 стала своеобразным маяком стабильности в бушующем море...

[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах

Один из самых показательных проектов был связан с анализом логов телекоммуникационного...

Когда-то при упоминании языков для анализа данных все автоматически думали только о Python, R и, может быть, немного о Scala. C# воспринимался исключительно как инструмент для энтерпрайз-разработки, создания десктопных приложений под Windows и, в лучшем случае, бэкенда для веб-сервисов. Прошло несколько лет, и ситуация кардинально...

Квантовые вычисления долгое время казались чем-то абсолютно недоступным. Еще бы - кванты, суперпозиции, запутанность и прочая физика высоких энергий. Не каждый готов погрузиться в изучение квантовой механики ради того, чтобы написать пару строчек кода на квантовом...

Ключевое преимущество PyTorch — его питоновская натура. В отличие от TensorFlow, который изначально был построен как статический вычислительный граф, PyTorch предлагает динамический подход. Это означает, что вы можите менять архитектуру сети на лету, отлаживать код привычными...

Квантовые вычисления перевернули наше представление о том, как работать с данными, а Q# стал одним из ключевых языков для разработки квантовых алгоритмов. В традиционых системах мы оперируем битами — элементарными ячейками, которые могут хранить только 0 или 1. Кубиты же,...

Еще совсем недавно, когда речь заходила о машинном обучении, C# разработчики обреченно вздыхали и тянулись к Python. Мир искуственного интеллекта словно был огражден невидимым забором с табличкой "только для Python-разработчиков". Но времена изменились, Microsoft выпустила в свет ML.NET, а сообщество разработчиков порадовало нас TensorFlow.NET - и вуаля, разработчики на C# получили...

Python — язык, заслуживший любовь миллионов разработчиков своей простотой и выразительностью, а OpenCV (Open Source Computer Vision Library) — библиотека компьютерного зрения с открытым исходным кодом, которая делает сложные алгоритмы анализа изображений доступными через понятный интерфейс. Вместе они превращаются в идеальный...

Собрать достаточно большой датасет для обучения нейронной сети — та ещё головная боль. Часами вручную размечать картинки, скармливать их ненасытным алгоритмам и молиться, чтобы модель не сдулась при встрече с реальным миром. Знакомая ситуация? Ещё бы.

Аугментация изображений — это...

В машинном обучении существует фундаментальное разделение между параметрами и гиперпараметрами моделей. Если параметры – это те величины, которые алгоритм "изучает" непосредственно из данных (веса нейронной сети, коэфициенты линейной регрессии), то гиперпараметры – конфигурационные настройки, определяющие саму процедуру обучения. Они задаются "вручную"...

Объединение библиотеки компьютерного зрения OpenCV с современным языком программирования C# создаёт симбиоз, который открывает доступ к впечатляющему набору возможностей. Ключевое преимущество этого тандема — баланс между производительностью и удобством разработки. OpenCV, с её оптимизированными алгоритмами, написанными на C/C++, обеспечивает молниеносную скорость обработки, критичную для задач реального времени,...

Компьютерное зрение — одна из тех технологий, которые буквально меняют мир на наших глазах. Если оглянуться на несколько лет назад, то сложно представить, что алгоритмы смогут не просто распознавать объекты на фотографиях, но и воссоздавать трёхмерные модели из...

Градиентный спуск — алгоритм, который на первый взгляд кажется тривиальным, но если копнуть глубже, то обнаруживаешь, что он напоминает упрямого альпиниста, спускающегося с горы в тумане. Только вместо компаса у него — частные производные, а вместо карты — функция потерь. Если отбросить метафоры, то в основе градиентного спуска лежит простая идея: найти минимум функции, двигаясь против её градиента. Звучит просто, но дьявол, как всегда, в деталях.

Основное

...

Суть трансферного обучения проста: взять модель, которая уже научилась решать одну задачу, и адаптировать её для решения другой, похожей задачи. Мозг человека работает по схожему принципу. Изучив игру на пианино, мы гораздо быстрее осваиваем синтезатор. Прочитав "Войну и...

В машинном обучении размер имеет значение. С ростом сложности моделей и объема данных одиночный процессор или даже мощная видеокарта уже не справляются с задачей обучения за разумное время. Когда модель вроде BERT или GPT требует нескольких недель для обучения на одном устройстве...

Сверточные нейронные сети (CNN) — потрясающий инструмент машинного обучения, который буквально перевернул мир компьютерного зрения. Но почему именно они? Что такого особенного в их архитектуре, что делает их настолько эффективными при работе с изображениями? Давайте копнём глубже.

Анатомия сверточной сети

В основе CNN лежит концепция, вдохновлённая устройством зрительной коры животных....

TensorFlow.NET — порт знаменитого фреймворка TensorFlow для платформы .NET, позволяющий C#-разработчикам погрузиться в мир глубокого обучения без необходимости осваивать Python. Сам часто использую его в проектах, когда интеграция с существующим .NET-кодом важнее популярности Python-стека.

Долгое время в экосистеме .NET зияла огромная дыра, когда дело касалось глубокого обучения. Конечно,...

Мир данных вокруг нас растёт с каждым днём, и умение эффективно обрабатывать информацию стало необходимым навыком. Специалисты по машинному обучению ежедневно сталкиваются с задачами предобработки данных, выделения признаков, обучения моделей и всё это должно работать как единый механизм. Именно поэтому конвейеры машинного обучения...

Обработка естественного языка (Natural Language Processing, NLP) — одна из самых быстрорастущих областей искусственного интеллекта, которая позволяет компьютерам понимать, интерпретировать и генерировать человеческий язык. В эпоху, когда ежедневно создаются петабайты неструктурированных текстовых данных, умение автоматически извлекать из них смысл становится критическим навыком для любого специалиста по данным. Python, благодаря своей гибкости, читаемости...

Искусственные нейронные сети — удивительная технология, позволяющая компьютерам имитировать работу человеческого мозга. Если вы хотя бы немного интересуетесь современными технологиями, то наверняка слышали о таких проектах, как ChatGPT или Midjourney — это яркие примеры применения нейросетей. Но что происходит внутри этих сложных систем? Как они "учатся" и "мыслят"?

На первый взгляд может показаться, что нейросети — это что-то запредельно...

Перенос ML-моделей из лаборатории в продакшн сопровождается целым комплексом проблем. Нередко код, который отлично работает на локальной машине, отказывается функционировать в промышленной среде. Существует также проблема масштабирования. С ростом количества запросов к модели требуется обеспечить балансировку нагрузки и отказоустойчивость. Кроме того, некоторые модели нуждаются в специфических ресурсах, таких как GPU, что усложняет их развертывание. В машинном обучении эти...

Многие воспринимают нейронные сети как магию, способную решить любую задачу — от распознавания лиц до написания романов. Но правда в том, что нейросети — это всего лишь математические модели, которые умеют обрабатывать данные особым образом.

Что действительно могут нейросети?...

Здравствуйте, я разработал маленький сериализатор, им можно сериализовать 2D матрицы, например для загрузки данных весов из обученной сети например из Theano.Pickle формат может быть сложным, а такой формат можно и на контроллеры разместить(с C/Cpp программами).
2D списки не проверяет, но должны быть 2D списками.
...