lexer

Ты цены на память видел?

     

KiDr

Видел, это сейчас бум, через пару лет бесплатно буду выдавать

-----------------
Думал я, думал, ничего полезного не придумал и решил наплевать!

     

lexer

Если производители железа для консьюмеров к тому моменту по миру не пойдут)) А то будем все у дата-центров время арендовать с тонких клиентов.
А вообще, твои б слова... эх

     

Kluwert

А смысл?

     

KiDr

Я лично ищу себе подходящий сервак чтобы ранить модели локали. я бы такую взял с удовольствием, но пока дороговато. До 2к можно найти не плохой вариант который будет ранить средний модели относительно быстро. Хочется чуть оживить дом. Так для интереса в основном

-----------------
Думал я, думал, ничего полезного не придумал и решил наплевать!

     

KiDr

Кстати кто-то там говорил про контектс. Опус 4.6 недавно вышел, там какой-то заоблочный контекст. В принципе уже слишком большой

     

A19

Я сам "фанат" Opus, что Gemini и Grok (и разные китайские модели) будут бодренько делать в несколько итераций (иногда в несколько десятков) - Opus сделает гораздо быстрее. OpenAI Codex не пробовал.

Но ради истины - у Claude еще с Sonnet 4 контекст 1 миллион. Sonnet 4.5 - миллион. Opus 4.5 был исключением.
Gemini - тоже давно до миллиона.
Grok 4 Fast - вообще до 2 миллионов.

В общем-то контекст в миллион-два уже давным-давно стандарт.

2 проблемы:
1) У них у у всех от примерно 200к контекста - отдельная цена (раза в 2 выше, причем далеко не всем дают доступ).
2) В подписку никто не включает расширенный контекст (миллиона вообще ни у кого нет). Исключение - самые дорогие Ultimate/Enterprise продажи фирмам, но и там пока "честные" 500к (при этом IDE всё равно пытается сжать всё ниже 200к)

Еще в больших контекстах известная проблема - модель хорошо понимает только начало и конец, середина меньше влияет на результат. Надеюсь, скоро это решат.

У локальных LLM скорость падает сильно при росте контекста.

Кто еще ни разу не пробовал и не хочет тратить деньги:

1) Gemini CLI или Antigravity, есть бесплатные лимиты на неделю (вот как раз на них недавно выяснял, как на Ultimate подписке - всё еще пробует ужать в 128к контекста.

2) OpenCode Zen ( https://opencode.ai/docs/zen/#pricing )
Бесплатные GLM 4.6, GLM 4.7, Minimax M2.1 и Kimi K2.5.
(в любой момент прервут, но для теста нормально).

     

KiDr

ай м сори, но это для меня блабладавщина я лично пока ещё не упёрся в контекс. Вот так чтоб прям не хватало, может конечно вы там сразу геном человека грузите. Мне вполне пока хватает....

-----------------
Думал я, думал, ничего полезного не придумал и решил наплевать!