а есть тут ламадрочеры? в смысле дрочеры в llama.cpp
ну вот, например, вопрос: я упёрся в предел 16 GPU. нет, я не ограбил банк, просто это майнинговые говнократы на ядрах pascal которые я взял по 50 баксов, когда они стоили 50 баксов года 4 назад
они висят на 1х райзерах и распределены по RPC нодам
и это даже работает!
кстати, хочешь возоржать? у меня одна нода на orange pi 5 с 16 гигами RAM и она, конечно, в разы отстаёт от паскалей и e5-2696 v3, но в целом её присутствие в кластере имеет смысл. варианты запуска Qwen3.5-122B-A10B-Opus-Reasoning-Q6_K.gguf с участием апельсинки, ксеона и части паскалей даёт 4.5 токена в секунду, а если заменить апельсинку паскалями, то 6. просто как эксперимент.
так вот: я упёрся даже не в 16 GPU, а в 16 бэкэндов и просто менять константы в llama.cpp перед компиляцией не помогает. у меня просто тупо получаются лишние карты, а в наше время это лютое расточительство
Comment too long. Click
here to view the full text.
Хочу попробовать составить собственный философский язык.
Суть следующая:
Язык устроен по координатной системе в виде 4х-мерной координатной сети.
На каждой оси расположены слоги вида: CV. Слоги кодируют определенный смысл, который возрастает от слога к слогу, параллельно с тем, как возрастает сложность произношения слога.
Каждая ось кодирует какой-то свой смысл, я пока еще не придумал какой. Единственное, что точно известно: ось t (4 ось) кодирует время.
Каждая ось обладает собственным набором согласных:
- Ось x - глухие согласные
- Ось y - звонкие согласные
- Ось z - сонорные согласные
- Ось t - гортанная смычка.
Набор гласных для каждой оси: a,o,u,i,e.
Любое слово кодируется как координаты точки в четырехмерной сети координат.
Comment too long. Click
here to view the full text.