Згідно з моніторингом 1M AI News, співзасновник OpenAI Андрій Карпатья на X поділився своїм недавнім відкриттям: побудова персональної бази знань із використанням LLM є ціннішою, ніж написання коду. Наразі більша частина його витрат token’ів перейшла від операцій із кодом до операцій із знаннями.
Повний робочий процес складається з п’яти кроків:
- Збір даних: індексує вихідні документи — статті, статті/праці, репозиторії коду, датасети, зображення тощо — у директорію raw/, а за допомогою LLM виконує інкрементальну «компіляцію» в markdown wiki, що містить резюме, зворотні посилання, категоризацію концептів і взаємозв’язок між статтями
- Інтерфейс перегляду: використовує Obsidian як фронтенд для перегляду сирих даних, зкомпільованого wiki та похідних візуалізацій; вміст wiki повністю підтримується LLM, люди майже не редагують напряму
- Запити відповідей: коли wiki накопичується до певного масштабу (у його одному напрямі досліджень уже близько 100 статей і 400 тис. слів), можна ставити LLM складні запитання, і LLM самостійно здійснює пошук у вмісті wiki та відповідає; спочатку він думав, що потрібен RAG, але індексні файли й резюме, які автоматично підтримує LLM, у цьому масштабі вже достатні
- Зворотне повернення результатів: результати запитів генеруються у форматі markdown, слайдів Marp або графіків matplotlib, після перегляду в Obsidian вони архівуються назад у wiki, щоб особисте дослідження постійно накопичувало напрацювання
- Перевірка якості: LLM регулярно робить для wiki «перевірку стану», виявляє неузгодженості в даних, доповнює відсутню інформацію, знаходить зв’язки між концепціями; інкрементально підвищує повноту даних
Карпатья каже, що він ще додатково розробив деякі інструменти, наприклад, простий пошуковий індекс-движок для wiki: його можна використовувати самому на веб-інтерфейсі або передавати LLM як інструмент командного рядка для обробки більших запитів. Він вважає, що на разі цей робочий процес — це лише «збірка з купи скриптів», але за ним ховається можливість «неймовірного нового продукту». Далі він уявляє таке: кожне запитання, поставлене фронтірній моделі, можна доручити групі LLM автоматично зібрати тимчасовий wiki, виконати перевірку якості, зробити кілька ітераційних раундів, а в підсумку вивести повний звіт — «значно більше, ніж один .decode()».
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
