Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №246 /llama/
Аноним
04/07/26 Суб 09:52:15
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1642639 (OP)
>>1639857 (OP)
> зачем вам поднимать модель на оборудовании за 300к
Потому что в этом смысл треда. Пердолить модельки потому что можем и хотим. Кто то считает пряники, кто то гладит хвостики, кто то спасает галактику, а кто то наслаждается шестью пар сиськами и инопланетной тентаклей.
>дипсрёньк флеш
Виновая моделька, хули.
С одной стороны да. С другой стороны, имея локальный инференс ты имеешь доступ к ризонинг блокам, в случае того же флеша ты можешь пердолить его ризонинг как тебе вздумается и он буквально будет писать : ну нет, я так делать не могу, тогда это будет цензурой.
Кому то в целом важна анонимность и он не желает логи сливать, другие запускают несколько малых и сидят вайбкодят. Тут в целом вопрос готов ли ты сливать деньги на хобби? Ты же не задаешься вопросом, нахуя некоторые покупают снегоходы или красят миньки.
А есть способ вообще смотреть мышление модельки в режиме реального времени и редактировать так, чтобы она не сваливалась в паттерн который вызывает сейфти?
ДА БЛЯТЬ. РАСКРОЙ ГЛАЗА НАХУЙ.
ЛОКАЛЬНЫЙ ИНФЕРЕНС ЗАКОНЧИЛСЯ БОЛЬШЕ ЧЕМ ПОЛ ГОДА НАЗАД. НЕТ ПАМЯТИ СУКА. ВООБЩЕ. СОВСЕМ НЕТ.
СНАЧАЛА НА РАМ, ПОТОМ НА ВИДЮХИ.
СОБИРАТЬСЯ ПОД ЛОКАЛКИ СЕЙЧАС НУЖНО БЫТЬ ЕБНУТЫМ, ПОКУПАТЬ ЖЕЛЕЗО ПО ЦЕНАМ ДЛЯ БОЛЬШИХ ФИРМ И КАБАНОВ.
КИНУЛИ ВАС ЧЕРЕЗ ХУЙ. ТУТ ЛЮДИ БЛЯТЬ ПРОСТО ПК ПОД ИГРУЛЬКИ СОБРАТЬ НЕ МОГУТ, ВЫ ТО КУДА ЛЕЗЕТЕ.
ЕСЛИ РАНЬШЕ ЭТО БЫЛО НУ ОК ЗАТРАТНО, ТО ТЕПЕРЬ Х10 ЗАТРАТНО, А ЦЕНЫ НА КЛАУД ТОЛЬКО ПАДАЮТ
Спокуху оформи, агент носатиков-рептилоидов.
Клауд всегда будет сосать. Даже если временно ситуация стала трудной для локалочек, к конечном итоге выбор всегда один: либо ты делаешь локалку, либо ты сосёшь.
И как я погляжу, тебе очень нравится вкус хуя. Аж не можешь держать это в себе.
Ну дорого, да. Можешь за цодами доедать. Ну хочется людям, люди пердолятся. Их право. Потом не нойте что у вас аккаунт забанили или очередную модель удалили.
Как там в классике было:
«Тот, кто способен уничтожить вещь, контролирует её полностью» — Фрэнк Герберт, «Дюна».
То что у меня на диске - работать будет независимо и предсказуемо от того, когда там корпам очередная шиза с обновлением модели стукнет, после чего новая версия опять разучится в очевидные знания и навыки. Прошлой осенью грок рулил в IT. Сейчас же это тупая хрень которая буквально ничего не умеет - gemini много лучше справляется, хотя той же осенью он у грока отсасывал с присвистом.
>грок
Какой же Маск всё-таки пидор. Так топил за открытый/свободный AI, и в итоге нихуя не опенсорсит. Ладно флагманскую модель зажал, но мог бы 30b-100b локалочку народу дать на базе Грока, как это делают Гугл и Мистрали.
Он вроде недавно намекнул что что-то ещё опенсорснет как новый грок выйдет
я б четвёртого грока доел, он смешной
> сущие копейки
Так только кажется, если пользоваться активно и постоянно, то набегает не так уж и мало.
А дальше как с такси vs личный автомобиль, владение vs аренда и т.п. Бахвальство своей "выгодой и свободой" обрывается в момент, когда Ержану лень ехать в ебеня кроме как за х15 от тарифа, тетя Люся решила удвоить аренду и подобное.
Ну и конечно же приватность. Негоже заинтересованным знать the special way we fuck, буквы и личную информацию.
Сам факт пользования корпосетками ничего плохого не несет, но применять его везде - пиздец.
>>1645783
Скорее безальтернативность корпов закончилась тогда или еще раньше. Буквально лень напрягаться чтобы выставить очередной счет какому-то сраному стартапу потому что можно сделать на локалочке без риска заинтересовать интерпол, или еще не дай бог самому такие деньги платить.
>>1645809
Вот кстати да, третий протухнет раньше чем релизнется. Точнее уже.
В гайде все очень четко и главное актуально рассказано, например разделение moe мое-слоев между рам и врам, мега-не очевидная вещь и спасение для бомжей с 12гб.
Ставлю лайк, геммочка очень нравится, я конечно еще не скатился до ролевухи, но как локальный ассистент очень годно.
Кстати, текст очень разнится от температуры. В теории может отвечать нормально и не так скучно. Иногда сходит с ума, если поднимать для креатива. В некоторых постах Фифи отвечала ВАЙ-ВАЙ-ВАЙ, и сленг как у Гоги был.
>>1645783
Ты в курсе, сколько люди денег тратят вообще на развлечения и хобби? У меня обычные знакомые наносеки покупали LEICA и наборы стёкол за 1 млн и больше, при этом они не были фотографами, снимали раз в месяц, а их зарплаты были 200-300к всего лишь, что явно не вписывается в бюджет. И фоткали они спины котов на улице телевиком, а также жопы тян, в то время как бомжары с китовым объективом фоткали голых тян, ничего не боялись, становились фотохруферами за 15к/час работы через год съёмок и практики.
Ну ещё была отдельная секта гиродрочеров, которые не фоткали, а покупали оборудование на пару миллионов и обсуждали бурлеск на карл цейс, жарко споря.
Поэтому вполне нормально купить хоть за два миллиона себе железо, если есть деньги. Не все тратят деньги на то, чтобы из денег делать деньги.
>бомжей с 12гб
Врам? Нахуй тебе ебаться если у тебя 12гб врам. Ну что блять за соя, я нахуй на 16озу+6врам кручу гемму mxfp4 которая весит под 16.6 гб. Ты же можешь ваще взять IQ3_XSS 31б геммы и крутить ее на видяхе
>двухбитный малыш 122B-A10B
Кринж. Зачем еРПшить с ужаренным в говно лоботомитом квена когда есть гемма в 8 битах?
Да, в тот же.
Ну я так же мыслил, почти 70% цены загнул китайцу за не тот цвет, линии и еще кое-что.
У 64 + 24 есть эир, у 128 + 24 есть эир побольше - ни у одних ни у других не лезут фулл веса дипсика, а без них он мех и лучше юзать обозначенные модели
Это нужно фетиш на даунов иметь.
>>1646009
> эир
> эир побольше
Это иносказательно или буквально?
Да ты шутишь. Я вот не могу сказать своего мнения, так как пока только начал катать. Но тут в треде даже рецепт квантика был. Но даже по первым впечатлениям, 2квант глм отправляется в мусорку. У нас новый чемпион в написании буковок о приготовлении омлета в пушистой общаге. Но, время покажет. Пока особых проблем, кроме дропа KV кэша не заметил.
> Какой же Маск всё-таки пидор
Мащк это торговец красивыми словами и обещаниями. Его работа - пиздеть.
Чёт мне подсказывает что глм в 2кванте с глубочайшим проглотом отсосет от умницы в агентских задачах. Зачем их вообще сравнивать?
Tell you what
Listen to you
See?
Look!
Look at you
Look at me
Look at it
Look at me, really look at me
It’s practically begging you
You're practically begging
practically vibrating
it's practically screaming
Just accept
Admit it!
And the best part?
Никак не могу начать его нормально тестировать после тех скринов что я прошлом треде постил, вместо этого скроллю гитхаб и хф в поисках малейших фиксов ламы от васянов и пинаю кодекс чтобы думал как еще его ускорить. Уже почти поборол падение промпт процессинга и уже добился +- норм скорости, сейчас пытаюсь разобраться как дспарк работает и навайбкодить поддержку.
Слушай, я не могу понять почему на ламе он периодически сбрасывает весь промт с ошибкой кеширования. И ладно бы врамы не хватало, так еще 10гб свободных. Не сталкивался?
В быстрых зирошотах разве что. Или если там настолько заквантовано что он сразу зашизеет. Планка геммы в подобном всеже не сказать что высокая.
>>1646047
> после тех скринов что я прошлом треде постил
Это какие?
> Уже почти поборол падение промпт процессинга и уже добился +- норм скорости
Ого, звучит круто. Выкладываешь куда?
Для использования надо минимум 89гб видео.
Дебил, видеоплеера достаточно одного на хотябы 8гб
Гайд в шапке для кого писали ?
>надо минимум 89гб видео
Туда ли ты зашел, сынок? Это тред успешных людей.
мимо 241гб видео кун
> надо минимум 89гб видео
Так скачай побольше, что ты как не родной.
>241гб видео кун
А что так мало?
Мимо с лимитом от провайдера за то, что дохуя качаю
> А что так мало?
Подержи мое пиво Тот что на 21 - ссд рейд, и еще дважды по стольку в других пеках
Я с ним не ерпшу. Просто люблю запускать лоботомитов, чтобы оценить. Это мой фетиш.
Гемма для порносекса такой себе выбор, кстати. Из маленьких квен 27 3.6 для этого подходит куда больше. Пишет сочно. 27 3.5 не такой сочный, но умнее в целом. Хоть и обе модели не годятся именно для ролевой игры качеством выше порнофанфика.
А если ты про гемму МоЕ, то это гига параша как для РП, так и для кума. При сравнении с 31 не выдерживает никакой конкуренции, вот даже близко не стоит. Разве что язык у МоЕ побогаче, чем у 12, внезапно. 12 будто бы говнокодер чистейший.
По апи лучше даже моделей в два раза больше него для рп. Просто из-за датасета. Но он как-то странно пишет, не дотягивает до художественного уровня геммы даже, хоть и знает много. Какие-то гроковские вайбы в этом плане. Тем не менее это лучшее, что есть.
Пришлось аццки пердолить промптами стилистическими, чтобы он стал писать лучше. Плюс у флеша, как и у про, ролевое обучение есть. Если он понимает, что это ролевуха, то его ризонинг звучит так "Ого! Какой же у него большой член! Он меня порвёт!!! Что же мне делать?..", совсем забывая про нарратив и сцену. И если в ерп это нормально, то в обычном, где много действующих лиц и сцена большая, всё очень печально. У про тоже. И у флеша какая-то адская цензура, в то время как у про полный ноль. Согласен вообще на всё.
Короче, когда он дойдёт до локалок, придётся тащить пресети4ки с асига или писать самим.
> Короче, когда он дойдёт до локалок
Если ты про текущую релизную/превью версию то уже 3й месяц пошел если что. Хз насчет чистого ерп, не назвать выдающимся, но просто в рп он приятен без всяких шизопресетов и прочего, от них только слопификация и деградация. По дефолту флеш совмещает и приличный управляемый стиль, и внимание к контексту без крупных ошибок, и разнообразие. Покумить - просто гемму или кого-то еще возьми и не парься.
> почему на ламе он периодически сбрасывает весь промт с ошибкой кеширования.
Странно, вот чтобы прям с ошибкой - нет.
Ну вообще сталкивался с тем что логика чекпоинтов в ламе ублюдская и часто сбрасывает, настолько, что я свою написал.
>И если в ерп это нормально, то в обычном, где много действующих лиц и сцена большая, всё очень печально
Так ты дурик, ты вычитал как фёрст-пёрсон ризонинг включить, а как третий режим ризонинга для сложных сцен, режиссёра, написанный в том же гайде, не вычитал? Беги гугли билля
>>1646059
Скачал уж 27б квен, такая же хуйня. Пишет хуйню какую-то. На чатмле ничего не пишет. На других темплейнах корявое 1 предложение. Сука, его под линью возможно запустить?
Есть какой-то аналогичный маркдаун в таверне чтобы было типо как сообщения, но без цветной подсветки кода?
>Это какие?
Те что с повествованием в стиле диско элизиума >>1643725 →
>Выкладываешь куда?
https://github.com/NovNovikov/llama.cpp
> tensor-parallel plus --n-cpu-moe crash fix on MoE models
Пикрел
Раз ты шаришь, поясни за реализацию кэша дипсика4 и диапазона mlp/атеншна.
>Раз ты шаришь, поясни за реализацию кэша дипсика4 и диапазона mlp/атеншна.
Даже не буду притворяться что я сам настолько шарю. Я больше по "вижу проблему, пинаю искусственного идиота чтобы нашел причину, проверяю что его гипотеза звучит логично, потом пинаю чтобы исправил, пока не исправит, контроллируя чтобы совсем в дебри не лез и хуйни не делал".
Насчет твоего вопроса от себя могу сказать что там не стандартный KV кэш, он состоит из нескольких разных слоев с разной компрессией, при этом совсем нет привычного V кэша. Attention и MLP тоже хитровыебанны. А на пике то что моя нейронка порывшись в файлах сказала - я бы ей верил, она мне этот кэш на дипсике вдвое ускорила.
>tensor-parallel plus --n-cpu-moe crash fix on MoE models
Это я просто уже готовый PR влил.
> Сука, его под линью возможно запустить?
Разумеется. У меня прекрасно и пишет в РП и кодит. Только я не страдаю с Text Completion, и давно на OpenAI Compatible API перешел для коннекта между ламой и клиентами (Chat Completion в таверне).
Хром скачивает файл, а потом снова начинает его скачивать с нуля.
hf cli не пашет, потому что хуй знает, куда он там коннектится, соответственно непонятно что добавлять в перечень сайтов во всякие приблуды для пробивания DPI.
Подскажите, пожалуйста, что за хуйня? Нормально скачивалось не так давно.
У меня то же самое. При этом, если качать с фуррифокса, всё нормально.
И тут я понял, что я хлебушек - hf cli downloader просто нифига не отображает нормально, диспетчер задач показывает, что всё скачивается.
>Разумеется. У меня прекрасно и пишет в РП и кодит. Только я не страдаю с Text Completion, и давно на OpenAI Compatible API перешел для коннекта между ламой и клиентами (Chat Completion в таверне).
Я точно знаю, что кобольд поднимает Chat Completion, а лламацпп поднимает его? Или какой-то параметр нужен для этого?
Поставил таверну с кобальтом, прикрутил модель сена, вроде робит, но перс на английском отвечает, как сделать, чтоб на русике?
Алсо, а где можно брать готовые карточки персонажей?
> https://botbooru.com
> https://www.characterhub.org
> https://www.chub.ai
>но перс на английском отвечает, как сделать, чтоб на русике?
Я думаю у тебя гемма по гайду, а поэтому тебе всего лишь стоит написать сообщение на русском и перевести first massage. Приветственную эту хуйню переведи через нейронку или переводчик и вставь в карточку
>лламацпп поднимает его
Через llama-server, llama-cpp-python, да и вообще через любой фронтенд. Опенвебуи, лимонад, лм студио
Так я вот тебе и говорю, у меня sh лламы-сервер. Она же локалхост поднимает вначале, какой параметр меняет на Chat Completion?
>как сделать, чтоб на русике?
В любое поле системного промпта добавь "отвечай на русском". Ну и сам начни на русском писать. Скорее всего промпт не понадобится если самое первое сообщение будет на русском.
>у меня sh лламы-сервер
Должно быть уже по дефолту включено на нём. Попробуй в http://xxx.xxx.xxx.xxx:xxxx/v1 долбануться товерной или что там у тебя
Ты немного не так это понял. Да, если у тебя на балансе 10 баксов, то у тебя открывается доступ к бесплатным моделям с тысячей ответов в день, но это только модели из категории free.
Да, пасибо, я это и имел в виду но всё равно буду накатывать локалку, благо пека позволяет
>>1646485
Я пробовал пиздеть на русском, лишь одним предложением ответила, а дальше опять на инглише. Попробую в промте прописать.
Мне вообще нейронка одним из вариантов предложила gbnf прикрутить, но чет дельного на эту тему не нашёл.
Я добавил промт в авторские заметки в таверне.
Keep character information and system data in English, but generate all responses (dialogue, actions, descriptions) in Russian when user writes in Russian.
Кто уже потестировал? Как она в РП?
>авторские заметки
Creator's Notes? Это не попадает в промпт.
Либо Post-history instruction, либо Character's Note с глубиной вложения 0 или 1.
> не попадает в промпт
Куда-нибудь напиши "основной диалог на русском". Когда уже появится несколько ответов - можешь удалить, дальше сама продолжит. Лучше действительно удалить, потому что если контекст соответствуют - модели могут делать довольно иммерсивные вставки других языков.
>>1646539
Хз с чего плакать сильнее, с размера или нового атеншна, который замучаешься портировать на что-то кроме серверных блеквеллов.
> Хз с чего плакать сильнее, с размера или нового атеншна, который замучаешься портировать на что-то кроме серверных блеквеллов.
С размера. Портирование можно подождать или в самом плохом случае самому сделать, а вот кол-во памяти от ожидания не вырастет.
У меня не то что памяти нету чтоб её запустить, у меня такого кол-ва памяти нету даже чтоб её просто скачать и любоваться на эту папку размером 3.6ТБ.
Ну, память то можно и докупить пусть медленно и со временем цепляя плашки по одной домучать до терабайта. А вот заставить работать это lsa, когда там даже с обычным дипсиковским сложности, да еще корректно и правильно - можно убить десятки часов и ловить одну фрустрацию. И там будет мучать горькая мысль что зря память покупал. С дипсиком сильно проще потому что модель довольно хайповая и есть мелкая версия архитектурно схожая, а тут врядли подъедет.
Тяжело в общем.
Первое сообщение карточки в чате на русском должно быть + твои ответы все на русском. Обычно любая модель от квена до геммы тогда автоматом сама русский подхватывает. Memory в кобальте может быть на английском с историей персов, это не влияет. Если не подхватывает, пишешь в Memory выдавать все ответы на русском.
Попал в какой-то сюреалистичный сюжет на ровном месте. Попробую так же с геммочкой поролплеить, есть ощущение, что процесс получше пойдет. По крайней мере кодить не заставят, и не придется доку вьюжс читать.
Думаю, следующий этап --- это симулировать с моей стороны полноценные тулколы, и делать всякие такие вещи типа через них, а не просто как паук или восьмирукий Шива, сразу в 5 буферов писать кал на языках путан и ява скрипт.
Кобольд прекрасно понимает Chat completion и связывается с бэкендом llama.cpp.
Надо указывать https://host:port/v1 и обязательно отметить Chat completion API галку в кобольде и Add Ver. Num галку. Выбор уровня reasoning тоже работает, там где это поддерживается.
Еще в самой llama.cpp можно --chat-template-file твойтемплейт.txt указывать, если ты свой темплейт нашел-сделал, будет в кобольде его использовать тогда. Так что совместимость там идеальная.
Добавь в темплейт без кода, мол ты юзер который в нем ни в зуб не шарит. Заодно в матане и всякой техночуши не шаришь. Выйдет интереснее, будет тебя чисто гуманитарными заданиями грузить.
Можно попробовать. Но, я кстати, не против повыводить всякую математическую желательно статистическую, чтобы напрягаться и читать всякую дрисню от яйцеголовых не пришлось. Можно задать ему персону студента, который хочет делать простые домашки.
Почему мне пришлось полдня вайбкодить на питоне движок такой ролевки? Уроды бля
Это говно. Сейчас новая мета, отыгрывать самому агента (можно несколько) и задавать нейронке личность типичного пользователя. Попробуй, еще захочешь, базарю.
Ну начну с плюсов.
1. Красиво пишет. И на русском. До этого фаворитом русика была гемма. Теперь она на втором месте.
2. Умный. Ну впринципе как ГЛМ.
3. Цензура? Лолчто. Пишет что угодно. Кум отличный.
А теперь минусы.
1. Плохо следует инструкциям по мере роста промпта. Это прям основная беда, можно было бы простить все остальное, но это - нет. Может прямо игнорировать целые куски инструкции, например предписывающие писать что-то новое, похожего чему не было в прошлом сообщении.
2. Ризонинг. Он очень странный и вместо размышлений моделька реально думает от лица "char" или "user", тоесть описывает мысли от первого лица. Полезность такого ризонинга честно говоря вызывает вопросики.
3. Скрытая соя. Тот случай, когда соя находится не на поверхности, а глубже. Дипсик постоянно сглаживает углы и пытается ненавязчиво поворачивать сюжет к магии дружбы и взаимопомощи, и на ровном месте руинить персонажей, злых делать раскаивающимися, нейтральных - добрыми, а добрых - вообще иисусиками какими-то, даже когда это не имеет даже малейшей базы в характере персонажа и сюжетной ситуации. Тут наблюдается контраст с геммой - она на том же самом сценарии превращает всех мужских персонажей в мамкиных садистов, одержимых "обладанием", а всех женских - в потерявших разум от ебли обезумевших блядей, желающих только члена. А у Дипсика даже Фифи какая-то ванильная.
>плашки по одной домучать до терабайта
Видюшки надо до терабайта. Рам ты нормально собираешь один раз и все, только полная замена на х2 плашки. Да и больше 254 на одном цпу вообще мало смысла, если ддр4. Толку от терабайта без скорости?
>>1646609
>любоваться на эту папку размером 3.6ТБ
И нахуя она в 16 бит тебе?
Алсо, ждем битнетов. Вот хули им мешает сделать гибрид только с экспертами в битнете? Только отсутствие оптимизации под гпу, там в нем 0 смысла. НО зато на цпу оно реально быстрее может считаться. А если еще и сделать мое консистентное с плавным переключением экспертов, то мтп будет ахуенно ускорять как на плотной.
Но кто же ради нас такое будет пилить...
> Видюшки надо до терабайта.
Это слишком тяжело. В теории могло быть возможно если бы а100 80-гиговые полезли на вторичку занидорого. Но приличной цены там не будет и амперы - тухляк с совсем вялой поддержкой.
Можно попробовать помечтать о 8х про6000, но в текущих реалиях это только невозможные мечты. Хотя, конечно, посадить кими управлять ассистенткой в опенклоу, делать все массовые вещи и спавнить рои агентов ею вместо 100б звучит заманчиво.
> Рам ты нормально собираешь один раз и все, только полная замена на х2 плашки.
Меняешь плату на двусоккет и докупаешь второй камень, который как 1.5 плашки 64гиговых стоит вместо как 8 раньше.
> и сделать мое консистентное с плавным переключением экспертов
То оно будет работать как кусок говна, ибо теряется сам смысл. Норм мтп и моэ отлично ускоряет.
>Красиво пишет. И на русском.
>безволосая киска
>Нравится то, что ты видишь?
Спасибо за авторитетное мнение.
>наблюдается контраст с геммой
Ну тут как раз ничего удивительного, гемма знает только два характера. Если не тыкать её и постоянно не напоминать, что персонаж чуть сложнее спермоглотной шлюхи, она в эту шлюху кого-угодно превратит. Ибо ваши эти сексы всегда должны быть по согласию. Даже если это насилие, давление или дефолтный рейп, значит где-то там в глубине души персонаж всё равно этого хочет. Значит всё прилично, всё по согласию.