LLM как Контурная Карта Реальности

0.9K 06:05 - 9/Июн/25 Германия

(6 лет 5 месяцев)

В последнее время, в связи с быстрым распространением и заметным улучшением качества публично доступных LMM, понятия «Искусственный Интеллект» и LLM часто используются как взаимозаменяемые. На самом деле между ними есть очень большая разница. Используя простую визуальную аналогию, мы попытаемся продемонстрировать, почему LLM не являются и никогда не будут «настоящим» интеллектом. Начнем с задач, которые решает интеллект.

Представьте, что вы отправляетесь в поход в горы и пытаетесь сориентироваться. У вас есть карта, на которой показаны контуры местности, но это лишь приблизительный контур. Вы можете видеть общую форму холмов и долин, но не можете разглядеть мелкие детали. И вы не можете разглядеть тропинки, которые не были исследованы раньше.

Рис.1. Упрощенная визуальная модель "реальности". Линия представляет собой путь или логическую цепочку перехода из одного состояния системы в другое (флажки).

Это в какой-то степени похоже на то, как работают Большие Языковые Модели (LLM). Они обучены обобщать огромное количество текстовых данных, и результат можно рассматривать как приблизительную контурную карту реальности. LLM может с легкостью перемещаться по этой своей карте, распознавая закономерности и взаимосвязи между словами и понятиями.

Разумеется, эта контурная карта является лишь моделью реальности, и она ограничена данными, которые были использованы для создания этой карты, самой контурной картой и даже архитектурой LLM.

LLM: Несовершенное моделирование неточной модели реальности

LLM - невероятно мощные инструменты, но они хороши лишь настолько, насколько хороши данные, на которых они были обучены, даже не учитывая, того, что они с этими данными делают. LLM могут распознавать и генерировать текст, похожий на тот, который они видели раньше, но они не могут исследовать новую территорию. Они не могут «видеть» путей, по которым еще не ходили, просто потому, что у них нет о них информации.

Это серьезное ограничение LLM, и это то, что часто упускается из виду. Мы склонны сосредотачиваться на их способности генерировать текст, похожий на то, что пишут люди, но забываем, что они работают только в рамках своих обучающих данных.

Аналогия с контурной картой

Аналогия с контурной картой - полезный способ обдумать это ограничение. Точно так же, как и контурная карта, LLM способны «видеть» только контуры реальности, а не мелкие детали. LLM могут распознавать закономерности и взаимосвязи линий сетки, но они не могут «видеть», что находится между этими линиями, или «знать» основную структуру реальности.

Рис. 1. Намеренно преувеличенный пример. Здесь "реальность" представлена в виде трехмерного ландшафта. Горные хребты могут соответствовать, например, "энергии" или ресурсам, необходимым для того, чтобы перелезть через них. Контурные линии представляют собой "цепочку размышлений" LLM (CoT) — это записанные «маршруты» в обучающих данных, в том виде, в котором они были сохранены LLM.

В примере на картинке выше, LLM может «перемещаться» только по контурным линиям, соединяющим две точки - запрос и ответ, и только если эти точки расположены строго на одной линии. Обратите внимание, что в этом примере линии не пересекаются и что есть промежутки без каких-либо линий. В данных используемых реальными LLM линии, конечно, пересекаются, что дает LLM несколько больше свободы, в том числе и то, что иногда называют "комбинационным творчеством" (combinatorial creativity). Но «дырки» никуда не исчезают, и у LLM в них доступа нет.

Что это значит для перспектив создания AGI

Аналогия с контурной картой имеет значение для выбора перспективных направлений исследования в создании искусственного общего интеллекта (AGI). Поскольку LLM ограничены перемещением по контурным линиям, то AGI необходимо будет развивать таким образом, чтобы он позволял исследовать новые территории и прокладывать пути, по которым раньше никто не ходил. LLM для этого не подходят принципиально.

Для этого необходимо разработать новые типы искусственного интеллекта, способных обучаться и рассуждать более общим и более независимым от предыдущих данных образом, вместо того, чтобы просто полагаться на распознавание образов и генерацию и быть по сути (сжатым) хранилищем знаний и поисковой системой с интерфейсом на человеческом языке.

Заключение

Аналогия с контурной картой позволяет визуализировать ограничения присущие LLM и подчеркнуть разницу между «интеллектом» (даже машинным) и по сути некой разновидностью базы данных. Это также подчеркивает сложность проблем, которые необходимо решить, а также заблуждений, которых стоит избегать при выборе направлений работ по созданию AGI.

Авторство:

Авторская работа / переводика

Комментарий автора:

Текст в основном создан (локальной) LLM Llama3.2-vision11B-instruct-q8 на основе гораздо более амбициозного и честно написанного вручную текста о возможном направлении исследований для создания AGI. На основе этого текста и детальных инструкций, Llamа было предложено написать короткий пост для АШ, объясняющий почему LLM принципиально не могут быть «интеллектом».

Оригинальный текст был на английском, соответственно, текст от llama тоже. Здесь перевод на русский (YANDEX) с некоторыми коррекциями «вручную» (часто существенными) как текста созданного llama, так и перевода.

ЗЫ. Я добавлю сюда мой ответ на комментарий "отсюда"

Но я здесь скорее про контурную сетку как удобную визуализацию пределов возможностей LLM, чем ответа на вопрос "что делать?". Ниже первые пара страниц очень чернового черновика откуда была выдрана идея с контурной картой (Alex Zweistein is a Russian Joke)

Title: Human Intelligence, AGI, Large Language Models and Traveling Salesman Problem
https://aftershock.news/?q=comment/18586987#comment-18586987

by Dr. Aleх Zweistein

Abstract

We introduce a simple visual analogy to describe “intelligence” as a multi-dimensional constrained TSP problem solver, and propose that building such a solver is a path to the future AGI. Within this model, Large Language Models (LLM) are essentially a novel type of databases of existing human language constructs, operating strictly along the grid lines and thus by their design incapable of creating a new knowledge. In this sense they are not (Artificial) Intelligence, and their further development cannot possibly lead to AGI.

Introduction

This text focuses primarily on what we believe is an appealing visual analogy to describe the intelligent decision making. Then we focus on LLMs to show its limitations or rather unsuitability as a candidate for AI, to limit the scope of the discussion. Of course, there are many other approaches to AI or , possibly AGI, such as eg. cognitive architectures or hybrid approaches, which we will briefly discuss in this section. You can safely skip this section as it is not related to the rest of the text. I provided few references to wiki for your convenience, not to show off my extensive erudition (which is largely absent on this particular part).

Cognitive Architectures: (линк)

Cognitive architectures are software frameworks that simulate human cognition and provide a structured approach to building AGI. They typically consist of:

* Modules: Representing different cognitive functions, such as perception, attention, memory, and reasoning.

* Interfaces: Connecting modules to exchange information and coordinate their activities.

* Control mechanisms: Regulating the flow of information and controlling the overall cognitive process.

Examples of cognitive architectures include:

* SOAR (Stanford Research Institute's SOAR) https://en.wikipedia.org/wiki/Soar_(cognitive_architecture)

* LIDA (Learning Intelligent Distributed Agent) https://en.wikipedia.org/wiki/LIDA_(cognitive_architecture)

* ACT-R (Adaptive Control of Thought-Rational) https://thedecisionlab.com/reference-guide/neuroscience/adaptive-control...

Hybrid Approaches:**

Hybrid approaches combine different AI techniques, such as machine learning, symbolic reasoning, and cognitive architectures, to create

a more comprehensive AGI system. These approaches aim to leverage the strengths of each technique to overcome the limitations of

individual methods.

Examples of hybrid approaches include:

* **Neural-Symbolic Integration**: Combining neural networks with symbolic reasoning to create a system that can learn from data and reason about abstract concepts.

* **Cognitive Hybrid Architectures**: Integrating cognitive architectures with machine learning techniques to create a system that can learn and reason about complex tasks.

* **Evolutionary Computation**: Using evolutionary algorithms to optimize the parameters of a cognitive architecture or hybrid system.

Other approaches:**

Other approaches to AGI include:

* **Integrated Information Theory (IIT)**: A theoretical framework that attempts to explain the nature of consciousness and intelligence. https://en.wikipedia.org/wiki/Integrated_information_theory

* **Global Workspace Theory (GWT)**: A cognitive architecture that models the global workspace of the human brain and attempts to replicate its functionality in a machine. https://en.wikipedia.org/wiki/Global_workspace_theory

* **Neural Darwinism**: A theoretical framework that attempts to explain the development of intelligence through the process of neural adaptation and selection. https://en.wikipedia.org/wiki/Neural_Darwinism

**4. Neuromorphic and Biological-Inspired Approaches:** https://en.wikipedia.org/wiki/Neuromorphic_computing

These approaches aim to replicate the structure and function of the human brain in a machine, using techniques such as:

* **Neuromorphic chips**: Developing hardware that mimics the structure and function of neurons and synapses.

* **Spiking Neural Networks**: Using artificial neurons that mimic the behavior of biological neurons.

* **Biologically-inspired algorithms**: Developing algorithms that are inspired by biological processes, such as evolution and learning.

These are just a few examples of the many alternative approaches to AGI beyond LLMs. Each approach has its strengths and weaknesses, and a comprehensive AGI system may ultimately require a combination of different techniques.

But, as I said, we are going to restrict the scope of our discussion of “intelligence” mainly in the way it relates to the simple visual analogy we are going to introduce, and in the discussion we will focus only on the currently promoted use of LLM as a machine intelligence (AI).

“What is intelligence?”

Oxford Dictionary defines intelligence as “the ability to acquire and apply knowledge and skills.” Which does not really tell us much in practical terms eg. about the internal working of the “intelligence”.

Daeyeol Lee, in his new book, Birth of Intelligence (Oxford University Press, 2020) gives somewhat more practical definition:

“Intelligence can be defined as the ability to solve complex problems or make decisions with outcomes benefiting the actor, and has evolved in lifeforms to adapt to diverse environments for their survival and reproduction.” This is better for our purposes, so we start from here, and define “intelligence” as something approximating a solver, an algorithm which solves formulated eg. mathematical problems.

Before that “action to benefit the actor”, some “decision making center” inside the intellectual actor has to decide what is “desirable” for the actor in his given state and then determine a route to get to a new state. What and how defines the desirable (target) state in the long or short term – God, Self, or a program in the DNA is outside the scope of this text – we will simply take it that the destination is given, and proceed from there. Thus in our setup “intelligence” is not included in the choice of the destination point, the point is given (eg. it can be “survival or reproduction”), although the “intelligent” solver algorithm may “decide” to move to the destination via multiple connected short sections thus creating a number of intermediate state points (vertices).

Блог пользователя AlekZ | Войдите или зарегистрируйтесь, чтобы отправлять комментарии

Механистический подход. Вы лишь описали свою реальность или свое представление. Если данных(в какой либо описанной непротиворечиво смысловой системе(например изготовление печатных плат)) хватило на нарезание векторов условного кубика-рубика, далее ИИ их будет крутить как угодно, даже так как никто до этого не делал и даже не мог себе представить, но в рамках этого кубика рубика. Это больше похоже на ТРИЗ(теория решения изобретательских задач).

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)07:32-9/Июн/25

ну .. пусть механистический - я же закоренелый реалист, поэтому "моя" реальность действительно реальная (русская шутка)

вы,кажется, говорите о "комбинационном ~~интеллекте~~ творчестве", да?. Согласен, ТРИЗ - пример такого "интеллекта", поэтому он и не работает в общем случае. Это та же контурная сетка.

Кстати сам пост - это тоже пример работы "интеллекта" LLM - машина не смогла сама связать контурную карту и LLM - ей пришлось показать "новую" идею (контурные линии) и дать инструкции - т.е создать линии в буфере контекста, которые она потом соединила с известными ей линиями. Да, именно этот "интеллект" используется людьми в 99%+ случаев того, что мы понимаем под "интеллектуальной" деятельностью. К тому же, за порядка миллиона лет эволюции человека и ~ 5 000 технологического развития, сетка контуров уже найденных решений достаточно плотная в тех местах, где решения искали. Но этот "интеллект" не заполняет дыры.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(9 лет 11 месяцев)07:26-9/Июн/25

дык... крутить кубик можно бессмысленно, механически перебирая все варианты, а можно ~~осмысленно~~ интеллектуально

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(3 года 10 месяцев)08:31-9/Июн/25

Когда вы задаете вопрос кубик и начинает крутиться в направлении вектора вашего вопроса, при этом да, кубик существовал до вашего вопроса, его нарезали в процессе обучения

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)07:37-9/Июн/25

можно. Забавно, что LLM бы крутила кубик "интеллектально", но если ей дать скажем пирамидку, она бы скорее всего, не справилась (если ее не тренировали на ней).

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(1 год 8 месяцев)07:45-9/Июн/25

Можно технический вопрос.. Вы имеете какое-то отношение к разработке LLM?

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)08:18-9/Июн/25

я ваш технический вопрос не понял. Если вы спрашиваете платит ли кто-то мне за это, включая LLM и оборудование - нет, не платит.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(1 год 8 месяцев)09:39-9/Июн/25

Просто когда люди начинают критиковать что-то, в том числе современные технологии, хочется понимать, насколько эти люди близки к той теме, о которой говорят.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)10:31-9/Июн/25

можно я на это просто смайлик поставлю?

я за свою жизнь был "близок" к очень разным темам в очень разных областях. В чем я уверен, это в том, что способность делать что-то полезное или интересное не является достаточным условием для получения официальной должности и титулов. И более того - часто не является необходимым.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(1 год 8 месяцев)08:09-9/Июн/25

Спросил у DS относительно вашего скепсиса. Он пишет о гибридных системах. У него есть план.. и он его придерживается )

Отличный вопрос! Развитие гибридных систем — один из самых многообещающих путей преодоления фундаментальных ограничений LLM, о которых мы говорили. Вот ключевые направления и принципы, как бы я подходил к их развитию:

**1. Нейро-Символьная Интеграция (Neurosymbolic AI):**
* **Суть:** Объединение "статистической интуиции" нейросетей (LLM) с логическими рассуждениями и манипуляцией знаниями символьного ИИ.
* **Как развивать:**
* **LLM как "Интерфейс" и "Генератор гипотез":** Использовать LLM для понимания естественного языка, извлечения информации из текста, генерации идей и возможных решений в удобной для человека форме.
* **Символьный движок как "Рассуждающий Проверяющий":** Передавать выводы LLM в формальную систему (базы знаний, онтологии, логические движки, системы автоматического доказательства теорем). Здесь происходит:
* **Проверка на непротиворечивость:** Соответствуют ли выводы известным фактам и правилам?
* **Логический вывод:** Можно ли из существующих знаний *доказать* или *опровергнуть* сгенерированную гипотезу?
* **Манипуляция знаниями:** Точное добавление новых фактов, установление связей.
* **Технологии:** Разработка эффективных "трансляторов", преобразующих неформальный вывод LLM в формальные символы и обратно. Инвестиции в гибридные архитектуры, где нейросети и символьные компоненты обучаются совместно (например, DiffLog, нейросимвольные пролог-подобные системы).

**2. Расширение Мультимодальности до "Действия в Мире":**
* **Суть:** Выход за пределы текста/изображений к реальному взаимодействию с физическим или цифровым миром.
* **Как развивать:**
* **Интеграция с Робототехникой и Сенсорами:** LLM как "мозг", планирующий действия на основе текстовых инструкций и высокоуровневого понимания, но:
* **Низкоуровневый контроль и восприятие** отдаются классическим алгоритмам компьютерного зрения, планирования движений, обработки сенсорных данных.
* **Обратная связь от мира:** Робот, выполнив действие на основе плана LLM, получает сенсорные данные (успех/неудача, новые препятствия) и использует их для коррекции через символьную систему или дообучение.
* **Интеграция с Инструментами (Tool Use):**
* **"Руки" LLM:** Наделение LLM возможностью вызывать внешние API, базы данных, симуляторы, поисковые системы, калькуляторы, ПО для анализа данных (например, Retrieval-Augmented Generation - RAG).
* **Фреймворки для инструментов:** Создание стандартизированных интерфейсов (как OpenAI's Function Calling, LangChain Tools), чтобы LLM могли легко "понимать", какие инструменты доступны и как их использовать.
* **Планирование цепочек инструментов:** Развитие способности LLM (или отдельного модуля-планировщика) разбивать сложную задачу на последовательность вызовов инструментов, обрабатывать их результаты и принимать решения.

**3. Углубление Рассуждений и Планирования:**
* **Суть:** Преодоление "одношаговости" LLM.
* **Как развивать:**
* **Модули Иерархического Планирования:** Создание отдельного компонента (возможно, на основе усиленного обучения, символьных методов или специализированных LLM), который может:
* Разбивать глобальную цель на подцели.
* Строить и оценивать возможные планы действий.
* Адаптировать план на лету при изменении условий или неудаче.
* **Цепочки Мысли (Chain-of-Thought) и Деревья Мысли (Tree-of-Thought):** Не просто как техника промптинга, а как встроенная архитектурная особенность гибридной системы, где LLM генерирует *явные* промежуточные шаги рассуждения, которые затем могут проверяться, корректироваться или использоваться другими компонентами (символьным движком).
* **Имитация внутреннего диалога/рефлексии:** Система, которая может критически оценивать свои собственные промежуточные выводы, искать противоречия, генерировать контраргументы.

**4. Активное Обучение и Работа с Неопределенностью:**
* **Суть:** Научить систему распознавать границы своих знаний и целенаправленно их расширять.
* **Как развивать:**
* **Модули Оценки Уверенности:** Встроенные механизмы, позволяющие LLM (или гибридной системе) оценивать надежность своего ответа ("Я не уверен", "Это основано на шаблонных данных, а не на фактах").
* **Стратегии Активного Запроса:** Когда система сталкивается с высокой неопределенностью или задачей вне своей компетенции, она должна уметь:
* Формулировать четкий вопрос к пользователю ("Уточните, что вы имеете в виду под X?", "У меня нет данных по Y после 2023, нужны ли актуальные?").
* Целенаправленно искать недостающую информацию (через RAG, поиск, вызов специализированных инструментов).
* **Контекстное Дообучение:** Возможность безопасно и контролируемо обновлять небольшие части знаний или навыков системы на лету, на основе проверенной информации от пользователя или надежных источников, без необходимости полного переобучения огромной модели.

**5. Фокус на Прозрачности, Интерпретируемости и Безопасности:**
* **Суть:** Гибридность должна повышать доверие, а не усложнять "черный ящик".
* **Как развивать:**
* **Объяснимые выводы:** Символьный компонент или специальные методы XAI (Explainable AI) должны генерировать *понятные человеку* объяснения *почему* система пришла к такому выводу, какие правила или факты были использованы.
* **Отслеживание источника информации:** Четкая атрибуция данных, использованных для генерации ответа (особенно важно при RAG).
* **Встроенные механизмы безопасности и этики:** Формальная проверка выводов на соответствие заданным этическим принципам и ограничениям безопасности. Символьные правила как "предохранитель" для генерации LLM.

**Ключевые вызовы на пути развития:**

* **Сложность интеграции:** Создание эффективных интерфейсов между разнородными компонентами (нейро/символьные, дискретные/непрерывные).
* **Вычислительная эффективность:** Символьные рассуждения могут быть медленными, LLM — ресурсоемкими. Оптимизация конвейера.
* **Масштабируемость:** Построение гибридных систем, работающих со сложными реальными задачами, а не только в лабораторных условиях.
* **Разработка инструментов и стандартов:** Необходимы новые фреймворки, языки программирования, среды разработки, специфичные для гибридного ИИ.
* **Оценка:** Как объективно измерить преимущества гибридной системы перед чистой LLM для сложных задач?

**Заключение:**

Развитие гибридных систем — это не просто "склейка" существующих технологий, а создание принципиально новых архитектур, где **LLM выступают как мощные процессоры неформального знания и языковые интерфейсы**, а **символьные системы, модули планирования, сенсоры и инструме

lost connection

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)08:32-9/Июн/25

да.

Но я здесь скорее про контурную сетку как удобную визуализацию пределов возможностей LLM, чем ответа на вопрос "что делать?". Ниже первые пара страниц очень чернового черновика откуда была выдрана идея с контурной картой (Alex Zweistein is a Russian Joke)

Title: Human Intelligence, AGI, Large Language Models and Traveling Salesman Problem

by Dr. Aleх Zweistein

Abstract

Introduction

Cognitive Architectures: (линк)

Cognitive architectures are software frameworks that simulate human cognition and provide a structured approach to building AGI. They typically consist of:

* Modules: Representing different cognitive functions, such as perception, attention, memory, and reasoning.

* Interfaces: Connecting modules to exchange information and coordinate their activities.

* Control mechanisms: Regulating the flow of information and controlling the overall cognitive process.

Examples of cognitive architectures include:

* SOAR (Stanford Research Institute's SOAR) https://en.wikipedia.org/wiki/Soar_(cognitive_architecture)

* LIDA (Learning Intelligent Distributed Agent) https://en.wikipedia.org/wiki/LIDA_(cognitive_architecture)

* ACT-R (Adaptive Control of Thought-Rational) https://thedecisionlab.com/reference-guide/neuroscience/adaptive-control...

Hybrid Approaches:**

Hybrid approaches combine different AI techniques, such as machine learning, symbolic reasoning, and cognitive architectures, to create

a more comprehensive AGI system. These approaches aim to leverage the strengths of each technique to overcome the limitations of

individual methods.

Examples of hybrid approaches include:

* **Neural-Symbolic Integration**: Combining neural networks with symbolic reasoning to create a system that can learn from data and reason about abstract concepts.

* **Cognitive Hybrid Architectures**: Integrating cognitive architectures with machine learning techniques to create a system that can learn and reason about complex tasks.

* **Evolutionary Computation**: Using evolutionary algorithms to optimize the parameters of a cognitive architecture or hybrid system.

Other approaches:**

Other approaches to AGI include:

* **Integrated Information Theory (IIT)**: A theoretical framework that attempts to explain the nature of consciousness and intelligence. https://en.wikipedia.org/wiki/Integrated_information_theory

**4. Neuromorphic and Biological-Inspired Approaches:** https://en.wikipedia.org/wiki/Neuromorphic_computing

These approaches aim to replicate the structure and function of the human brain in a machine, using techniques such as:

* **Neuromorphic chips**: Developing hardware that mimics the structure and function of neurons and synapses.

* **Spiking Neural Networks**: Using artificial neurons that mimic the behavior of biological neurons.

* **Biologically-inspired algorithms**: Developing algorithms that are inspired by biological processes, such as evolution and learning.

“What is intelligence?”

Daeyeol Lee, in his new book, Birth of Intelligence (Oxford University Press, 2020) gives somewhat more practical definition:

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(1 год 8 месяцев)09:48-9/Июн/25

Развитие технологий должно проследовать какие-то цели. Иначе говоря, все начинается с философии..

Вот и хотелось бы понять: с какой целью разработчики стремятся к созданию AGI?

Дело в том, что не будет уровня развития при котором ИИ будет равен человеку потенциалу. В случае достижения результата возникнет система превосходящая человека по когнитивным возможностям. Более того, мы даже не сможем этот момент своевременно зафиксировать.. в силу своих собственных когнитивных ограничений.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)10:13-9/Июн/25

я с вами согласен.

С какой целью? - ну да ... это надо (бы) спросить того кто эту цель поставил. Для себя я держу удобную картинку, что цель запрограмирована где-то в ДНК, и скорее всего направлена куда-то далеко - к освоению пространственной шкалы и использования потока энергии характерных для окружающей "среды" - космоса. Мы где-то около нуля, и только начинаем как бы шевелиться, и нам в нашем виде эти масштабы не доступны. Нас заменят на что-то. Но это не точно (но конкретно LLM бояться нужно не больше, чем необычно умного человека, ну или убийственно эффективную базу данных.)

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(13 лет 11 месяцев)09:35-9/Июн/25

А модели этой хватит 24 гига видеопамяти чтобы обучать с ней лоры?

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)09:58-9/Июн/25

AI Overview (FireFox)

Yes, it is possible to train a LoRA adapter with Llama 3.2-vision 11B-instruct-q8. LoRA (Low-Rank Adaptation) is a technique that allows you to fine-tune large language models like Llama 3.2-vision with a significantly reduced number of trainable parameters, making the process more memory-efficient and faster. This is particularly useful for adapting these models to specific tasks or domains.

Here's a more detailed explanation:

LoRA works by adding small, trainable matrices to the existing model weights, effectively adapting them to the new task .

This method significantly reduces the number of parameters that need to be updated during training, making the process much faster and more memory-efficient compared to full fine-tuning .

Llama 3.2-vision is a large multimodal model, and LoRA is a suitable technique to adapt it to new tasks or domains without needing to train the entire model from scratch. .

Various libraries like trl and peft provide implementations of LoRA that can be used with the Llama 3.2-vision model .

In summary, you can train LoRA adapters with Llama 3.2-vision, and this approach is a good way to fine-tune the model efficiently.

Эта конкретная модель Llama3.2-vision11B-instruct-q8 у меня работает на уже реликтовой RTX 2070 Ti со всего 8Gb, и она здесь почти случайно в том смысле, что для конкретно этого запроса ее текст был ближе к тому, что я хотел.

ЗЫ На самом деле у меня появилась идея - вот эта аналогия с контурной сеткой и тем, что там в комменте в свертке, и я решил проверить ее на практике - можно ли заставить LLM сгенерировать эту же идею "самостоятельно". Мне это не удалось. Я прогнал одни и те же запросы через .. 7 моделей от 8B до 70B, с различными квантизациями и соответственно размерами от 6Gb да 28GB на той же 2070 видеокарте в ollama CLI. Скорость разумеется разная, но вполне терпимая. У вас с 24 Gb будет наверное в 3 раза быстрее (c LoRA будет зависеть от того на чем тренировать)

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(5 лет 1 месяц)11:08-9/Июн/25

Есть мнение , что шум это не про точность приборов и масштабы, а про то, что "так реальность для нас работает". Арбузов называет это шумом с фронтира познавательной способности и явлений.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)11:34-9/Июн/25

.. это ответ на незаданный вопрос "как сделать лучше", и вы про то, что шум может перекрывать линии контуров (в этой модели)? это не "спасет" LLM - и там уже есть регулируемые параметры шума. Двигаться в неизвестные области - да, только случайным образом, как всегда и было. Тогда будет много бредовой генерации.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(5 лет 1 месяц)12:09-9/Июн/25

Тогда будет много бредовой генерации.

Не более , чем у гуманитарного Арбузова.

Как "много" и насколько функционально приемлемой генерации? И какой масштаб для чего нужен?

Если взять соотношение "исследованного", контурно обозначенного не будут ли это те же эмпирические Парето «20% усилий дают 80 % результата, а остальные 80 % усилий — 20 % результата»? И где то, какой то "резерв" на вариативность данных - на стохастическое - "пыль, поднятая копытами , которая скрывает явление, до момента, как оно станет явлением при столкновении с познавательной способностью"? И это фатально в "голове" - резерв на фоновые процессы , на скрытые данные, "стохастическое".

и там уже есть регулируемые параметры шума.

Вот вот. А откуда знать - где и сколько подрезать и на каком масштабе? Генерируя толпу "тысячепалую" , подсчитывается ли пресловутое количество пальцев "по головам"? Вряд ли же.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(5 лет 1 месяц)12:33-9/Июн/25

Вот вот. А откуда знать - где и сколько подрезать и на каком масштабе? Генерируя толпу "тысячепалую" , подсчитывается ли пресловутое количество пальцев "по головам"?

Вряд ли же .. или информация о конвенциональных "2х5 пальцев га 1 голову" тоже участвует?

И здесь вероятности динамики рельефа - где то осыпалось, где то нанесло, где то осыпается, может посыпаться и засыпать . Оно то и для человеков нестатично

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(6 лет 5 месяцев)12:32-9/Июн/25

что-то в ваших комментах есть, но я не уверен что именно..

может быть общество LLM с "царем", кабинетом министров, армией, полицией, рабочими - ну и сумашедшими. Последние будут периодически сообщать, что в центре солнечной системы солнце, скорость света не зависит от скорости источника, частицы не частицы, а как бы волны, но не всегда и тп ... Все в примерной пропорции к среднему по планете у людей - 1 такой сумашедщий на несколько миллионов рабочих (а то кто их кормить киловаттами будет?). И дальше все как положено - войны, прогресс, полет на Марс (наконец) и тп Как вам такое? Я конечно шучу, но полагаю, что это не для LLM,. LLM - это просто сложные базы данных накопленного опыта. Они даже не интерполируют. Они могут быть бесценным инструментом, но только в руках кого-то (или чего-то) еще.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии

(5 лет 1 месяц)15:39-9/Июн/25

но я не уверен что именно..

Что то про критерии "округления" и "обрезки шума", приоритеты, выбираемые при масштабировании.

Войдите или зарегистрируйтесь, чтобы отправлять комментарии