к тому времени ты уже локально сможешь поднять достойную модель которая будет делать более менее вменяемый кодинг на своем железе которое будет лишь разовой инвестицией.

зачем "поднимать" какую-то модель? Оффлайновые ИИ модели уже давно активно предлагаются на рынке, в том числе и для кодинга. Понятно, что их нужно обновлять время от времени, но сути это не меняет - можно купить условный "чат гпт", думаю весит пару гигов, не более, и пользоваться им оффлайн на всю катушку, при этом так же его дообучать, подстраивать под свои нужды, учить хорошим манерам, наказывать и держать в узде, поощрять за хорошее поведение - в общем, воспитывать из него хорошего программиста.

Оффлайново ничего приличного дообучить у вас не выйдет. Там пара сотен видеокарт нужна и петабайт памяти. Разве что уже с готовыми весами болван предлагается

пара сотен видеокарт нужна обучить модель с нуля, скормив ей весь текст в интернете, а то, что не текст - преобразовать в текст и тоже скормить.

а вот уже готовую обученную нейросеть, с заготовленной подсетью для именно дообучения, дообучать десятком-другим промптов в день - никаких сотен видеокарт не нужно. эта самая подсеть - типа конституции, её знания априори в каждый запрос включаются - так и обучают под себя. даже пресловутый чат гпт или что там у кого - каждому предоставляет немного памяти для именно индивидуализации, куда можно (и нужно) записать то, что сеть обязана делать при каждом обращении к ней. это условная подсеть, предназначенная именно для дообучения под свои нужды.

нейросеть - это несколько тысяч матриц весов, упорядоченных и связанных между собой определённым образом, топологией сети, она не много весит, но получить такую матрицу, да, дорогого стоит. Но когда получена - тиражировать её даже проще, чем дистрибутивы Виндоуз.

Пары сотни видеокарт, чтобы скормить весь текст в сети не хватит 😄. А так-то при достаточно большом контексте вам и для инференса столько потребуется. Они ж именно с этой целью бесполезные дата-центры сейчас по всему миру строят. Не столько с целью обучения, сколько для инференса. Он ведь тоже недешевый.
Но простые приложения да, можно и на обычном компутере запустить. Наверное, оно даже что-то поможет автоматизировать.

И что это должно продемонстрировать? 🙂

ок, пусть будет пара тысяч, или пара сотен тысяч - от этого изменилась как-то суть сказанного? Обучил кто-то сеть, записал в файл, и продаёт - в чём проблема? Оффлайновые ИИ модели давно предлагают на рынке, не нужно никаких подписок, установил и пользуйся, обновляй время от времени. Ценность таких моделей в их заточенности, специализациях - именно этим они бьют универсалов типа чата гпт. Чату гпт до перфоманса таких сетей как до китая раком - вот это и есть ниша спец сетей, многие из которых оффлайновые, и они её займут.

Да нет у них особой ниши, ИМХО. Ну вот есть у вас сеть, заточенная на «экспертность в С++» и кодовая база на 100 миллионов строк кода с разнообразнейшими извращениями. И вот тут-то все это заточенное и продемонстрирует всю свою полную бесполезность. Оно может быть будет полезно просто как замена каким-то простым кодовым генераторам. Ну, пока по крайней мере. В общем, я этими штуками пользоваться пробовал и пока что всеобщего восторга не понял 🥲

Интересно, что об этом думают хозяева продуктов написанных на С++? Они наймут несколько программистов для сопровождения своего кода, или купят такую сеть, с подпиской для возможности обновления, и несколько меньше программистов?

Надо, наверное, себя спросить. Ну типа, если я хочу новый телевизор, я его иду покупать в универмаг типа Призмы, где есть всё, от прокладок до компьютеров, или всё-таки в магазин, специализирующийся на продаже бытовой техники, включая телевизоры?

То что это демонстрирует :) хранилище бесплатных моделей :) может кто еще не знает:)

Продолжают покупать программистов. Это вывод на базе работы в компании с оборотом во много миллиардов. По крайней мере пока что.

Интересно, отчего так упал спрос на джуниоров? Был, был, вдруг херак - упал в разы. Кто за них работает? Программистской работы каждый год стабильно становится больше, и будет ещё больше экспоненциально.

Ну, потому что хайп сейчас. За пределами ай-ай истерики, учитывая нынешнее плачевное состояние мировой экономики и фрагментацию глобального рынка, инвестиций в ИТ мало. Так что не согласен с тем, что «программистской работы становится больше». Разве что бесплатной.
У нас, кстати, джуниоров как нанимали, так и нанимают. Ну, это пока есть за счет чего расти.

В защиту специализации - вы сравнивали когда-нибудь качество порно, сгенерированного спец порно сетью, с какой-нибудь обычной на слуху, типа грока. Ну день и ночь же! Ну если не сравнивали, то попробуйте. Я это к тому, что специализация всегда лучше и качественнее, чем универсализм, и поэтому специализация победит, и в ИИ сетях тоже, так же как магазины спорт/охота/детское/хозтовары/компьютеры/бытовая техника и ещё куча других спец побеждают Призмы и им подобных в продажах этого самого спец. Удел призм - прокладки, морковь, яйца и носки.

Тем не менее, качество продукта, сгенерированного живыми актерами и оператором - все еще на голову выше 😄. Ну, наверное, дороже обходится 🤷🏻

Надеюсь, так и останется. Человек - чудо природы, двоичные системы могут лишь приближаться к способностям человеческого мозга, имитируя его работу. Ключевое тут - работа мозга. Не рук, ног, или тела, а именно мозга. А вот то, что делается руками, тем более изнурительным или опасным физическим трудом, думаю, подлежит замене уже в обозримом будущем.

Это только правда в редких случаях, у нас ии точно пишет лучше чем %80 живых:)

Про запуск серъезных моделей локально, сейчас на горизонте не видно чтобы к этому все шло в ближайшие годы: нету таких обещающих архитектур нейронных сетей и железа. Можно в приватном облаке (на серьезном оборудовании) чтобы получить более-менее приемлимые результаты в кодогенерации. И вообще сейчас вроде тренд переключился с самих LLM на построение тулзов для LLM. Следующий прорыв в AI может и лет через 10-15 быть, т.к. AI зимы уже были, сейчас фокус на adoption существующих технологий, fine-tuning под конкретные области, на тулзах для AI и т.п. пошел.

Какие-то очень странные заявления. Уже сейчас можно поднять дома модели до 70B, с хорошей картой с 24Г будет даже не очень медленно, а 30+ вообще комфортно. 7-13 вообще будет щелкать как орешки.

Какой размер контекста?
на 64 гб NPU 50 tops с контекстом в 128кб скорость падает буквально чуть ли не до 0.
Задание простейшее - дать summary Алисы в Стране Чудес в 200 слов (в общем-то весь контекст и есть текст книжки, + 1 предложение задания).

На контексте в 32 кб работает нормально, только это слишком мало.

ну это не супер умно пихать всю книгу через модель. 32kb совершенно достаточно даже для целой книги. разбиваешь на 32кб куски получаешь из этого абстракт и так до конца книги, потом можешь все абстракты подытожить. тут не лимит железа и моделей важен, а то как ты работаешь с информацией.

Кстати вот юз кэйс для ии, накупил я себе esp32 s3 контроллеров, захотелось чего-то нового. Так вот сделал вот такой девайсик который слушает. Пребаферит 5сек и если распознаёт человеческие голоса стримит звук на мой сервак. Так вот без ИИ, так как я этим раньше не занимался у меня всё это заняло бы несколько дней. Ну там почитать доки контроллера, изучть распиновку, написать все, ну и так далее. Сейчас это все заняло пару часов, дольше всего я паял. Офигеть весь изжёгся, хорошо хоть дом не спалил:) к чему я это? К тому что ИИ этот как суперсила:)

Уважаемый lexer, вы напрасно передёргиваете в теме про порно. Речь ведь не о сравнении реала и виртуала. Речь о сравнении общего ИИ, и специализированного. Продолжу стоять на своём, что специализированный ИИ имеет огромную нишу, и рано или поздно займёт её. Точно так же как среди нас есть водители, уборщики, программисты-джависты, программисты-фронтэндщики, психотерапевты, биологи, сексологи и пр - точно так же ИИ будет специализироваться, и будут появляться нейросети-бухгалтера, нейросети-турагенты, нейросети-пылесосы и тд.

У меня сын так роботов собирает. Делает фотку запчастей, отправляет её ИИ, и просит составить схему, и дать инструкции по сборке - вуаля, робот поехал, пищит и моргает всеми лампочками :)

Тут чуть сложнее, написать алгоритм который не все время тупо стримит, а отбирает то что важно, довольно сложно, но я думю ты это и сам понимаешь :)

а не надо пихать всю книгу, всё разваливается и становится медленным на еще меньшем контексте. Да можно потратить 20-40к евро и взять пару-тройку видеокарт. Но мне кажется эти деньги на токены намного эффективней.

Дома пытался прикрутить умный дом к локальной модели. Gemini Flash/Qwen/GPT-OSS, они все резко становились тупыми/ответ занимал 3-5 минут, когда я задавал вопрос: "что сейчас работает дома?" Этот вопрос дёргал mcp сервер, mcp сервер возвращал статус ~200 разных entities. Это хватало убить контекст или сделать процессинг конекста неоправданно долгим.

Запускал на m4 max 64gb. С текущими ценами на видео/оперативку, не вижу как нарастить это дома

Полностью согласен.
Только это пока сам принцип массовых LLM именно такой - они все stateless.
Нет никакой памяти "на той стороне", каждый раз посылается вся история.

Раз говорим о "кодогенерации", то один простой запрос человека состоит из 5-7 внутренних сообщений между локальным агентом и удаленным сервером. В каждом сообщении примерно 50 кб сразу заняты (identity, user information, available tools). Отдельно список новоявленных skills, workflows и прочего (только список - название и кратенькое описание, банальный speckit и десяток скиллов дают 20 кб). И только потом уже что-то о проекте и какая-то история текущей задачи.

Если значительно уменьшать контекст, то качество работы падает непропорционально сильно.

Я согласен что сейчас купить кредиты дешевле. Например Киро 1000 кредитов стоит 20 баксов. Этого достаточно на пару недель, если не раскидываться:) я вот для домашних проэктов вообще использую бесплатный тир гугла. Там чтото типа 10 запросов в минуту, и 250к токенов контекста в минуту. Мне пока достаточно:) но это не меняет того факта что ранить дома становится проще и дешевле со времинем

А Эл.схему на плате печатной спаяет сын? Ну т.е. конденсаторы,тиристоры с транзисторами и диодами, там ещё пару микросхем? :)
Дать ему пригошню "букашек", паяльник и схему. :)

Думаю справится. Недавно заказывал мне микросхему какую-то, и экранчик - купил ему, пусть паяет! :)

Это кстати очень успокаивает, как медитация. :)

C цифровыми все достаточно несложно на самом деле. Очень сложные аналоговые. Особенно, то, что связано с радарами и антеннами. Там без хорошей теоретической базы справиться будет невозможно. И никакой AI не поможет.
С цифровыми схемами самая сложная часть - не сборка по готовым рецептам, а дизайн. Но и он больше похож на обычное программирование.

А запах плавленой канифоли - ароматерапия! Главное стол не прожечь.

А ты тоже любишь паять. ) Я в юной молодости очень много чего напаял и усб контроллеры и джойстик собрал из консервных банок крышек от кокаколы и контроллера для усб. Лет так 20 назад. С тех пор все поменялось. Да и не надо стало. Может попаял бы еще. Но кажется, это никому не нужно.

Интересные новости сегодня с фондового рынка - акции софтверных компаний падают из-за того, что ИИ модель Claude 5, позиционирующаяся как программистская, показала выдающиеся результаты в тестах по программированию, а акции компаний по предоставлению юридических и информационных услуг обвалились из-за того, что заточенная на эти сервисы модель от той же Anthropic (она же производит и Claude) показала ну очень сильные результаты тестов.

Специализация ИИ моделей - сила!

Выгонят нас всех скоро.

Ну я с каждым днём это осознают все больше и больше. Вон только лехер и тэикмех отказываются принять происходящее:)
В принципе я не вижу что ии не сможет заменить со временем даже в их область. :)

не вижу причин, по которой ИИ не сможет заменить кого-либо на этой планете. Не завтра, конечно, но и не через 100 лет.

Уже продаете избытки электричества, выработанные солнечными панелями от Маска? И, как там, большинство катаются на электричках? 😅 это все из ваших прогнозов лет 7 назад.
Вы, Сухов, очень быстро впечатляетесь новыми «технологиями», поэтому не всегда достаточно критично оцениваете. Нынешние модели себя уже исчерпали. А новых и не будет ближайшие лет 50 еще 🤷🏻. Да и не нужно никому это.

Не так. Я слишком оптимистично оцениваю скорость внедрения инноваций, ибо меряю по себе, признаю это. Ценность инноваций от этого не уменьшается, их время уже пришло, но не пришло пока то время, когда они полностью завоюют мир.

Ну, когда-нибудь какие-то инновации точно приходят на смену тому, что есть сейчас. Только это совсем не факт, что будет то, что вы сегодня считаете «инновациями». Например, те же электрические автомобили через 50 лет могут вовсе исчезнуть 🤷🏻. На сегодняшний момент у «скорости внедрения ИИ» цель только одна - это триллионный IPO. И от инноваций эта цель далека. По крайней мере, я вижу, что ни одной задачи за пределами создания примитивных шаблонов эта ерунда пока что не решает. Изменю свое мнение, если увижу обратное.

Мне импонирует, что вы следите за моими постами, читаете, запоминаете, прямо приятно стало. У меня, например, нет такого - вот ни одной вашей мысли не то, что 7-летней давности, даже годовой давности не припомню, ну кроме постоянного пессимизма по поводу инноваций.
Но следите, цитируйте, запомнайте - мне от этого только приятно, спасибо. :kiss:

Это лишь говорит о том, что у меня память хорошая 😅. Да и пессимизм пока что по результатам оправдывается. Хотя конкретных высказываний вы и не помните: это очень расхожее смещение оценок - запоминание только того, что лично импонирует 🤷🏻

Память, говорите, хорошая? Ок, тогда не напомните, что по поводу перехода на электромобили говорил Кидр?

Как по мне, так по результатам оправдывается как раз оптимизм. ИИ пишет программы по текстовому ТЗ, типа, "напиши программу Змейка для андроида, только не обычную, а трёхмерную, с 50 уровнями сложности, каждый пусть отличается визуально" и получить через 30 секунд работающую программу. Но пессимизм не порок, пессимируйте дальше, я не возражаю.

Я конкретных цифр не помню. Помню, что скептически, вроде, высказывался и спорткары любил.
А теперь скажите-ка в чем смысл реализации «программы змейка»? Это банальный конструктор, который собирает из готового новое готовое. Тольк хуже 🤷🏻. Вот, скажем, у меня две видеокарты одновременно кадр рисуют и где-то иногда между ними race condition возникает. Но не на всех. А только на некоторых. И вот я в своей кодовой базе пытаюсь заставить курсор это исправить. Вот когда хотя бы близко попадать начнет, можно будет о реальных задачах говорить 🤷🏻
Я к тому, что пока дата центры за сотни миллиардов пишут змейки, они не очень-то и нужны и выходят дороже, чем пара программистов, месяц работы которых для получения змейки будет стоить сильно дешевле

а смысл примерно такой же, как просить на интервью у программиста написать код для решения какой-нибудь задачи, ровно такой же смысл. только программисту для этого учиться нужно лет 15, и потом зарплату он попросит не маленькую, а ИИ делает это из коробки и просит оплачивать ему только электричество.

Вы реально не следите за новостями науки, и не в курсе сколько уже полезных изобретений и открытий сделано с помощью ИИ, и какие реально полезные применения уже существуют? А что же вы читаете, извините, сидя в туалете?

Ну вот достоверного, если это не журналистский хайп, то я ни одного такого достижения не видел. ИИ пока не доказал ни одной теоремы и на свете нет ни одной компании, которая создала бы сколько-нибудь полезный продукт исключительно (или по большей части) с помощью ИИ.
Разница между программистом, который обучался 15 лет и ИИ в том, что этот программист еще через 5 лет, если соображает, сможет решать уже и такую задачу, как я описал выше. А ИИ так и будет дальше змейку писать.

Я не считаю, что у ИИ нет ниши. Есть, в т.ч. и в моей сфере. Но я в корне не согласен, что он «всех заменит». Заменит только тех и только там, где работа реально была механической и хорошо поддавалась статистическому описанию. По крайней мере, в том виде, в котором он есть сейчас.

С вашим мнением невозможно поспорить, ибо это мнение, так сказать, прогноз. Ну, подождём, посмотрим как оно обернётся. Как по мне, так технологическая революция ускоряется с каждым годом, жаль что внедрение инноваций не поспевает за скоростью изобретений, но это ожидаемо.

О технологической революции можно будет говорить по прохождении качественного скачка. Пока что последним таким скачком был 350нм тех процесс. литографии (да и с этим можно поспорить наверное)

Тут я соглашусь. Я тоже не считаю, что ИИ всех заменит. Я считаю, что ИИ (скажем, через некоторое время) сможет выполнять большинство из тех работ, которые выполняются людьми сейчас. К тому времени люди будут выполнять уже другие работы, не те, что сегодня. В том времени работа найдётся и ИИ, и людям.

По моему скромному мнению, ИИ сейчас пытаются применять немного не там (в первую очередь, желая оправдать массивные инвестиции - опять же, по моему мнению). Утрируя, я не хочу, чтобы ИИ генерировал плохие шаблонные фильмы, чтобы у меня было больше времени мыть посуду. Я не против, чтобы он хорошо мыл посуду, пока условный я буду снимать (желательно) хорошие фильмы 🙂

Мир такой, какой есть, и драйверы в нём не всегда благие намерения, а чаще алчность, жажда наживы, желание жить слишком хорошо, желание потреблять больше необходимого, желание власти, и прочее не из заповедей. Осуждать это глупо, так как именно эти желания в природе большинства людей заложены, поэтому имеем именно то, что и должны иметь при таком наборе целей у большинства из нас.

Штука в том, что человеческие стремления не исчерпываются только этими драйверами. И плохие фильмы и книги продавать, выдавая их за хорошие, можно лишь в течении некоторого времени. Пока не станет очевидно, что король - голый.

Нельзя также недооценивать влияние ИИ на социум с точки зрения мотивации к чему-то стремиться, что-то делать. ИИ реально делает людей ленивее и тупее. Пару лет вайб-кодинга, и забываешь как программы писать - это факт! Не говоря уже о том, чтобы помнить АПИ каких-нибудь библиотек. А зачем (мозг засорять), если ИИ всё знает и всё помнит. Это отрицательное воздействие ИИ на социум. Эффект для ума точно такой же, как эффект для тела от внедрения комбайнов и тракторов на поля и получения огромного количества пищи трудом десятка человек, вместо десятка тысяч - тело многих просто ожирело, точно так же "ожиреют" мозги большинства людей будущего, и это печально.

Говорить, что ИИ всех заменит, всё равно, что говорить, будто-бы человек произошёл от обезьяны. ИИ заменит многих из тех, кто есть сейчас, и в том времени, когда он их заменит, эти люди будут заняты чем-то другим. Точно так же в настоящем мире нет тех "обезьян", от которых произошли люди. Те "обезьяны", человекоподобные, не существуют в настоящее время, часть из них эволюционировало в человека, часть вымерла - те обезьяны, которые сегодня по пальмам скачут - очень далеки от тех, от которых мы "произошли", иначе не скакали бы по пальмам, а тоже эволюционировали в человека.

Помимо выделенного, существует намного более "близкая" и опасная перспиктива: ИИ можно использовать для генерации спама из псевдофактов. Таких, что отделить настоящую информацию от вымышленной станет чрезвычайно сложной задачей. В итоге, пару поколений спустя, когда все обучавшиеся на материале, созданном людьми, вымрут. Новые люди рискуют потерять возможность в принципе отличать факты от вымысла. Тут есть определенный риск вообще утратить рациональный научный базис, на котором построена современная цивилизация. Т.е. технологии-то останутся. А вот знания мы рискуем потерять.

да не. ии это просто инструмент. Есть плюсы и минусы. Что то делает хорошо что то плохо. Я про свой опыт выше говорил. Сомневаюсь что с его помощью можно поработить Землю. Можно какие то свои проекты прототипы мутить на которы раньше не было и сил и времени и умений (ну скажем я бэкендер я во фронт не умею). А так чисто по себе могу сказать оно ОЧЕНЬ здорово пампит твой личный перформанс усиливая его раз так в десять в некоторых направлениях. И теперь ты сам можешь сделать то на что раньше не было сил и умений. В одно лицо небольшой проект вытащить можно снизу и до верху. Это ж здорово.

Смотря, какой проект 🤷🏻

там написано какой: не большой :)

а напомни что там Кидр говорил, я если честно не помню:) А так то я до сих пор уверен что век двс завершается.