Разработка разумных машин

Наша миссия — развивать научно-теоретические исследования и практическое применение в сферах искусственного интеллекта и машинного обучения. Научно-теоретические исследования сосредоточены на «Общем Искусственном Интеллекте» (AGI — Artificial General Intelligence). Он олицетворяет давнюю мечту человечества создать разумные машины, которые смогут решать широкий спектр задач без специального программирования, адаптирующиеся под любую из них.

О нас

OCCAM — это частная некоммерческая исследовательская лаборатория, основанная
доктором Артуром Францем и Михаэлем Лёффлером.

Контакты

Исследования

Задачи

Не случайно центральной задачей исследований в OCCAM является поиск коротких объяснений различных наблюдений. По большому счету, именно этого требует бритва Уильяма Оккама и именно это было формализовано в теории универсальной индукции Рэя Соломонова несколько десятилетий назад.

Исследования в OCCAM — это наши попытки практического применения универсальной индукции. Мы опираемся на разработку эффективных алгоритмов сжатия данных. Формально алгоритмическая теория информации применяется для создания прочной и общей математической основы. Представления, полученные с помощью алгоритмов сжатия, используются для формирования заземленных рассуждений , приобретения концепций и общения с помощью языка, с целью построения агента, способного делать выводы на основе повседневного мышления. На наш взгляд, решение этих проблем станет огромным шагом на пути к созданию AGI.

Исследовательские проекты

  • Инкрементное сжатие как теория глубокого обучения

    Мы разработали теорию инкрементного сжатия, позволяющую эффективно находить короткие представления для произвольных строк, которые могут быть сгенерированы композицией функций. В определенном смысле, это именно тот тип представлений, который используется многими методами глубокого обучения. Наша теория объясняет, почему глубокое обучение действенно. Кроме того, в своих исследованиях мы подробно рассказываем о том, каким образом его можно усовершенствовать.

  • Теория иерархического сжатия

    Инкрементное сжатие — это эффективный способ поиска коротких представлений для данных, сгенерированных композицией функций. Хотя он гораздо эффективнее универсального поиска, его не достаточно для практического применения, поскольку нам не известно, как искать эти функции. Но для данных реального мира обычно характерна локальная корреляция, это обстоятельство можно использовать, применив иерархию сжатия с ветвлением. Подробнее об этом можно узнать в следующей публикации.

  • Эффективный поиск с оптимальным смещением

    Осуществить поиск в Тьюринг-полном пространстве алгоритмов очень сложно. Было бы очень полезно иметь метод, использующий простую оптимизацию параметров вместо поиска по всем программам. В каком-то смысле функцию поиска выполняют искусственные нейронные сети (ИНС). Всем хорошо известно, что ИНС — это универсальные аппроксиматоры. Проблема в том, что универсальные аппроксиматоры могут аппроксимировать произвольные функции, но посредством сложного представления, сложность которого превышает самую простую функцию в Тьюринг-полном пространстве. А как же можно заставить нейронные сети учитывать симметрию и закономерности данных? Подробнее ознакомиться с данной темой можно в этой статье блога.

    Кроме того, эффективная индукция должна иметь оптимальное смещение, т.е. простые представления должны проверяться первыми. Как в универсальные аппроксиматоры можно ввести смещение к простоте?

  • Специализация алгоритмов

    Работа специалиста по машинному обучению обычно заключается в выборе и настройке алгоритма для выполнения конкретной задачи. Иногда — в разработке нового алгоритма. Как этот процесс можно реализовать с помощью общего алгоритма? Существует ли общая алгоритмическая специализация? Можно ли разработать общий алгоритм, способный взять произвольную задачу и вывести специальный алгоритм, предназначенный для решения узкого класса задач, к которому принадлежит его текущая проблема?

  • Понятие «сложности» в физике

    Почему для природных данных возможно иерархическое сжатие? Вопросы наподобие масштабной инвариантности и самоорганизованной критичности тесно взаимосвязаны с иерархическим сжатием и степенными законами. Существует ли для этого более глубокая физическая причина?

    В физике отсутствует формализация простоты/сложности. Энтропия Больцмана формализует только количество возможных состояний системы. В статистическую механику необходимо ввести понятие алгоритмической энтропии.

Публикации

Перечисленные ниже публикации дают представление о научных исследованиях в OCCAM. Для начала рекомендуем прочитать статью, излагающую основные позиции (position paper).

On hierarchical compression and power laws in nature

Since compressing data incrementally by a non-branching hierarchy has resulted in substantial efficiency gains for performing induction in previous work, we now explore branching hierarchical...

Franz A. On Hierarchical Compression and Power Laws in Nature //International Conference on Artificial General Intelligence. – Springer, Cham, 2017. – С. 77-86.

July 13, 2017

Просмотреть публикацию
Some Theorems on Incremental Compression

The ability to induce short descriptions of, i.e. compressing, a wide class of data is essential for any system exhibiting general intelligence. In all generality,...

Franz A. Some Theorems on Incremental Compression //International Conference on Artificial General Intelligence. – Springer International Publishing, 2016. – С. 74-83.

June 25, 2016

Просмотреть публикацию
Toward Tractable Universal Induction Through Recursive Program Learning

Since universal induction is a central topic in artificial general intelligence (AGI), it is argued that compressing all sequences up to a complexity threshold should...

Franz A. Toward tractable universal induction through recursive program learning //International Conference on Artificial General Intelligence. – Springer, Cham, 2015. – С. 251-260.

July 15, 2015

Просмотреть публикацию
Artificial general intelligence through recursive data compression and grounded reasoning: a position paper

This paper presents a tentative outline for the construction of an artificial, generally intelligent system (AGI). It is argued that building a general data compression...

Franz A. Artificial general intelligence through recursive data compression and grounded reasoning: a position paper //arXiv preprint arXiv:1506.04366. – 2015.

January 06, 2015

Просмотреть публикацию
Will super-human artificial intelligence (AI) be subject to evolution?

There has been much speculation about the future of humanity in the face of super-humanly intelligent machines. Most of the dystopian scenarios seem to be...

September 06, 2013

Просмотреть публикацию

Блог

Разработка разумных машин — сложная задача. Очень сложная. В этом блоге обсуждаются некоторые из проблем, связанных с нашим методом.

Hierarchical epsilon machine reconstruction

Hierarchical epsilon machine reconstruction

Having read this long paper by James P. Crutchfield (1994) “Calculi of emergence”, we have to admit, that it is very inspiring. Let’s think about...

Universal approximators vs. algorithmic completeness

Universal approximators vs. algorithmic completeness

Finally, it has dawned on us. A problem that we had troubles conceptualizing is the following. On the one hand, for the purposes of universal...

The merits of indefinite regress

The merits of indefinite regress

The whole field of machine learning, and artificial intelligence in general, is plagued by a particular problem: the well known curse of dimensionality. In a...

Using features for the specialization of algorithms

Using features for the specialization of algorithms

A widespread sickness of present “narrow AI” approaches is the almost irresistible urge to set up rigid algorithms that find solutions in an as large...

AGI-16 Arthur Franz - Some theorems on incremental compression

AGI-16 Arthur Franz - Some theorems on incremental compression

Arthur Franz presents his talk “Some theorems on incremental compression” at the Ninth Conference on Artificial General Intelligence ( AGI-16 ) in New York

The physics of structure formation

The physics of structure formation

The entropy in equilibrium thermodynamics is defined as , which always increases in closed systems. It is clearly a special case of Shannon entropy ....

Incremental compression

Incremental compression

A problem of the incremental approach is obviously local minima in compression. Is it possible that the probability to end up in a local minimum...

Scientific progress and incremental compression

Scientific progress and incremental compression

Why is scientific progress incremental? Clearly, the construction of increasingly unified theories in physics and elsewhere is an example incremental compression of experimental data, of...

Recursive unpacking of programs

Recursive unpacking of programs

One idea that we have been following is the idea of simple but deep sequences. Simple in terms of Kolmogorov complexity and deep in terms...

Learning spatial relations

Learning spatial relations

The big demonstrator that we have in mind is the ability to talk about some line drawing scene, after having extracted various objects from it...

Extraction of orthogonal features

Extraction of orthogonal features

The lesson from those considerations is the need for features. Each of those relations does not fix the exact position of the object but rather...

Extending the function network compression algorithm

Extending the function network compression algorithm

So, what are the next steps? We should expand our attempts with the function network. That, it seems, is the best path. One thing that...

Вакансии

Заинтересованы в работе над увлекательными исследовательскими проектами?

Если вы — ученый в одной из смежных областей или студент из Одессы, изучающий компьютерные науки, математику или физику, приглашаем вас к сотрудничеству. У нас есть несколько открытых вакансий в сфере научно-технического исследования, преимущественно в дискретной математике и программировании. Ниже перечислены вакансии для программистов и исследователей.

Текущие предложения

Исследователь
  • Ученый, специализирующийся в сфере алгоритмической теории информации или соседних областях дискретной математики
Программист
  • в Python, с опытом оптимизации алгоритмов в крупных проектах разработки ПО