Одна страница на все вопросы: и для тех, кто просто хочет начать, и для тех, кто настраивает доску под конкретного ребёнка.
Видео никуда не уходит. Если пользуетесь камерой, записи не ведётся: лицо разбирается прямо в браузере, на сервер не уходит ни одного кадра. Микрофон, если включите чтение реакции, меряет только громкость — речь не распознаётся и не сохраняется. Всё, что человек выбрал, набрал и почувствовал, остаётся на вашем компьютере: журнал и таблицу вы сохраняете себе сами, кнопками, и сами решаете, показывать ли их кому-то.
Что мы всё-таки считаем. Чтобы понимать, доходят ли люди до работы с программой, страница сообщает разработчику обезличенные технические данные: какая страница открыта, какой канал выбран, получилось ли включить камеру, сколько длился визит, размер экрана. Ни одной выбранной карточки, ни буквы текста, ни одной эмоции туда не попадает, IP-адрес не записывается. Если не хотите и этого — напишите, пришлю папку для запуска с компьютера: оттуда не отправляется вообще ничего.
Ставить ничего не нужно. Программа открывается в браузере, как обычный сайт. Лучше всего работает в Chrome; в Safari часть возможностей может вести себя иначе. Если вам дали не ссылку, а папку с файлами — смотрите последний раздел этой страницы, «Если вам дали папку, а не ссылку».
| Что | Зачем |
|---|---|
| Компьютер (Mac или Windows) | Ноутбук или настольный — без разницы, лишь бы тянул браузер и камеру. |
| Веб-камера | Нужна для управления взглядом, головой или морганием. Без камеры тоже можно: коснитесь карточки или щёлкните по ней мышью — фраза прозвучит. |
| Браузер Chrome | Рекомендуется. Safari тоже открывает страницу, но часть возможностей может вести себя иначе. |
| Интернет | Не нужен, если запускаете с папки на компьютере — все библиотеки уже внутри. Нужен один раз, если открываете по ссылке (см. ниже про объём загрузки). |
Распознавание лица и руки работает прямо в браузере, а не на сервере — значит, сам «движок» распознавания и модели должны попасть на ваш компьютер. Это разовая загрузка: браузер кладёт их в кэш, при следующих открытиях они не качаются заново.
| Что грузится | Размер | Когда |
|---|---|---|
| Движок распознавания (WebAssembly) | ~9 МБ | Один раз при первом включении камеры |
| Модель лица (взгляд, голова, моргание, мимика) | ~3,6 МБ | При первом включении камеры |
| Модель руки (палец-указка) | ~7,5 МБ | Только если открыли «Палец-указку» или включили канал «Палец» |
Итого при первом запуске около 13 МБ, и ещё ~7,5 МБ, если пользуетесь пальцем. Сама страница весит мелочь — почти весь объём это модели. На медленном интернете первое включение камеры может занять минуту, дальше уже мгновенно.
Если вам дали папку с программой, всё это уже лежит внутри и качать ничего не нужно — папка занимает около 30 МБ на диске (в ней обе сборки движка, браузер берёт подходящую).
Шаги идут именно в этом порядке: каждый следующий опирается на предыдущий. Пропускать можно только те, что помечены «не обязательно».
Это основной рабочий режим, а не украшение: карточки крупнее, промахнуться труднее, ничего лишнего не отвлекает. Заходи в него до калибровки — иначе точки съедут (см. шаг 4).
Панель управления вверху экрана полупрозрачная и проявляется при наведении мыши. На ней всё, что нужно для полного цикла настройки, без выхода обратно:
| Кнопка | Что делает |
|---|---|
| Режим: … | Переключить способ управления на ходу, по кругу: Моргание → Глаза → Голова |
| Калибр. головы / Калибр. взгляд | Калибровка по 4 углам (шаг 6) |
| Калибр. мимика | 3 секунды спокойного лица (шаг 8) |
| Сбор датасета | Набор данных для обучения модели (шаг 7) |
| ✕ Выход | Вернуться к обычному виду. Работает и клавиша Esc |
Внизу постоянно виден статус: какой режим включён, откалибровано ли, используется ли модель, идёт ли сбор датасета и сколько повторов уже набрано. Так сбор можно вести целиком в полноэкранном, не гадая, пишутся данные или нет.
Зачем это. Доска говорит, что человек выбрал, но не говорит, рад ли он этому. Чтение мимики отвечает на второй вопрос: показывает 😊 доволен / 😐 нейтрально / 😟 недоволен и записывает в журнал, что происходило в этот момент — какая карточка была выбрана или подсвечена. Из этого потом собирается сводка: на что человек реагирует хорошо, а что стабильно вызывает недовольство. Это особенно ценно, когда человек не может сказать словами.
Как включить. Блок «Реакция и журнал» на панели → «Калибровка мимики (спокойное лицо)», 3 секунды спокойно в камеру. Дальше работает само.
Как выключить. Сними галочку «Читать мимику постоянно» в том же блоке — распознавание остановится, ничего фиксироваться не будет. Отдельно выключается «Микрофон (звук реакции)»: он измеряет только громкость вокализации, запись звука не ведётся и никуда не отправляется. Обе галочки не влияют на выбор карточек — доска работает точно так же.
Что учитывать. Когда человек сильно поворачивает голову, чтобы выбрать карточку, мимика в этот момент не читается: поворот искажает лицо, и показания были бы ложными. Всё считается относительно спокойного лица из калибровки, поэтому её стоит повторить, если человек устал или заметно сменился свет.
Галочка «Различать эмоции подробно» добавляет вместо двух состояний шесть: радость, удивление, огорчение, злость, неприятно, испуг. Работает только после калибровки мимики.
Читайте это честно. Два основных состояния (доволен / недоволен) устойчивы — вариантов мало, ошибиться трудно. Шесть эмоций надёжны заметно меньше, и вот почему: разбор идёт по напряжению мышц лица относительно спокойного, а при двигательных нарушениях мимика часто атипична — лицо может не складываться в «типовое» выражение вовсе. Ближе всего друг к другу испуг и удивление: у них общие мышцы (поднятые брови, раскрытые глаза), и путаница между ними наиболее вероятна.
Поэтому рядом с эмоцией стоит пометка уверенности — «уверенно», «похоже» или «слабый сигнал». Когда лидер не отрывается от второго места, вместо догадки честно показывается «спокойно». Опирайтесь на журнал за несколько сессий, а не на отдельный кадр: устойчивое «на эту карточку раз за разом огорчение» — это сигнал, а одна вспышка на экране — нет.
Галочка выключается независимо от основной: можно оставить только «доволен / недоволен», если подробности шумят. На выбор карточек ни одна из них не влияет.
Как улучшить под конкретного человека. В блоке «Разметка» есть кнопки подробных эмоций — нажимайте ту, что видите на самом деле, в момент, когда она происходит. Метки ложатся в журнал рядом с показаниями мышц, и по ним потом можно подогнать пороги под это лицо, а не на глаз. Это тот же приём, что с обучением модели взгляда.
| Что видишь | Что делать |
|---|---|
| «Нет доступа к камере» | Браузер заблокировал камеру. Открой настройки сайта (значок замка/камеры в адресной строке) и разреши, потом обнови страницу. |
| «Камера не найдена» | Проверь, что камера физически подключена и не отключена в настройках устройства. |
| «Камера занята другим приложением» | Закрой Zoom, другие вкладки с видео или другое приложение, использующее камеру. |
| Калибровка не удаётся | Убедись, что лицо (или рука — для «Пальца») хорошо освещено и полностью видно в кадре, затем попробуй ещё раз. |
| Курсор дёргается / промахивается | Обычно значит — пересветило, лицо не по центру кадра или свет сбоку. Пересядь ближе к источнику света лицом к нему и перекалибруйся. |
| «Размер доски изменился — повторите калибровку» | Калибровку делали в окне, а работаете на весь экран (или наоборот): углы доски теперь в других местах экрана. Пройди калибровку заново в том виде, в котором будешь работать. |
| В «Моргании» карточки выбираются сами | Обычное моргание тоже считается. Сдвинь «Порог моргания» вправо — моргать придётся сильнее. |
| «Не загрузилось распознавание лица» | Не дошли файлы распознавания — обычно из-за интернета. Обнови страницу. Карточки при этом можно выбирать касанием или мышью. |
| Канал | Когда подходит | Как настраивается |
|---|---|---|
| Голова | Есть контроль поворота головы | Простая калибровка по 4 точкам — этого достаточно, обучение датасетом не нужно. |
| Палец | Есть частичный контроль руки/пальца | Тоже калибровка по 4 точкам (страница hand.html), плюс отдельная калибровка порога тапа (щипок или шевеление пальцем). |
| Глаза | Контроль головы/руки нет или слабый | Простая калибровка по 4 точкам даёт слабый результат (около 50–60%). Нужна обученная модель — на доске это блок «Сбор датасета» → «Обучить модель»: несколько повторов «посмотри на карточку», после чего точность около 99%. |
| Моргание | Универсальный запасной вариант | Настройки не требует, но медленнее остальных — карточки перебираются по очереди. |
Правило простое: голова и палец — обычная калибровка, глаза — почти всегда через обучение модели, а не формулу.
Чем экран физически меньше, тем меньше разница во взгляде между его углами — камере труднее отличить «смотрит влево» от «смотрит вправо». На маленьком экране стоит сесть ближе, чтобы углы снова разошлись.
Единственного правильного расстояния нет: оно зависит от экрана, камеры и самого человека. У нас откалибровалось на 13-дюймовом ноутбуке примерно с вытянутой руки — это отправная точка, а не норма. Пробуйте другие экраны, камеры и расстояния — это только приветствуется: калибровка каждый раз покажет, стало лучше или хуже, а удачную настройку можно сохранить профилем (см. ниже).
На доске (board.html) калибровку можно сохранить под именем и переключаться между несколькими — например, разное время суток или разные дети. Кнопка «Сохранить калибровку» в панели настроек, список сохранённых — там же. Данные хранятся в этом браузере (localStorage), между устройствами не синхронизируются — экспортируй JSON, если нужно перенести.
Игры и тесты (catcher.html, chase.html, balance.html, draw.html, grid.html, hand.html) запоминают только последнюю калибровку автоматически — без списка профилей, этого им достаточно.
Что это за страницы и кому они нужны — в разделе «Что ещё есть, кроме доски». Меню со ссылками — hub.html.
Кроме доски общения в папке лежит ещё десяток страниц. Они делятся на три группы, и путать их не стоит: одни — средство общения, другие — способ понять, какой канал доступен конкретному человеку, третьи — просто занятие без задачи.
| Страница | Что это и когда открывать | Калибровка |
|---|---|---|
| Средство общения — то, ради чего всё | ||
Доска общенияboard.html |
Основной инструмент. Человек выбирает карточки и составляет высказывание, программа его озвучивает. С этого начинают и этим пользуются каждый день. | 4 угла, профили сохраняются |
Экранная клавиатураkeyboard.html |
Для тех, у кого сохранена грамота: набор слов по буквам, а не выбор готовых символов. Три раскладки — по группам букв, Т9 и все буквы сразу. Если человек читает и пишет, клавиатура даёт неограниченный словарь там, где карточек не хватит. | 4 угла |
| Оценка возможностей — открываются один раз, до занятий | ||
Сетка 2×2…5×5grid.html |
Отвечает на вопрос, годится ли доска этому человеку вообще. Доска работает на четырёх карточках, то есть на раскладке 2×2. Если 2×2 в сетке даётся уверенно — можно заниматься. Если срывается, дело не в доске: сначала нужен другой канал (голова вместо глаз, палец) или другая посадка и освещение. Размеры крупнее 2×2 показывают запас: если человек уверенно берёт 3×3, значит канал сильный и четыре карточки он не перерастёт по точности — упрётся в их количество. Если на 5×5 не выходит, это не поломка: у канала есть физический предел, и знать его надо до занятия, а не во время. | 4 угла |
Рисовалкаdraw.html |
Показывает, тянет ли человек непрерывное ведение, а не только выбор из нескольких зон. Заодно хорошо видно утомляемость: линия к концу занятия «плывёт». Полезна и как свободное занятие — рисовать можно просто так. | 4 угла |
Палец как указкаhand.html |
Отдельный канал для тех, у кого рука работает частично: указательный палец ведёт курсор, щипок или шевеление другого пальца — нажатие. Не замена взгляду и голове, а вариант для другого человека. | своя — порог нажатия по образцу |
| Занятие и мотивация — без задачи и без проигрыша | ||
Ловецcatcher.html |
Ловить падающие предметы, двигаясь влево-вправо. Самая простая из трёх: одна ось, мгновенная реакция, промах ничем не наказывается. Хорошо заходит первой — на ней видно, что «я двигаю то, что на экране», без объяснений. | только лево-право, 2 точки |
Погоняchase.html |
Движущаяся цель, которую нужно догнать. Сложнее Ловца: работают обе оси сразу. | 4 угла |
Баланс-шарикbalance.html |
Удерживать шарик, наклоняя поле. Тренирует именно удержание — то же самое, что нужно для выбора карточки задержкой взгляда, но в игровой форме. | только нейтральная точка |
Ни в одной игре нельзя проиграть. Промах не штрафуется, конца игры нет — это сделано намеренно. Ребёнок, который и так каждый день упирается в то, что у него не получается, не должен получать ещё и «вы проиграли» от программы.
Порядок, который экономит время. Сначала сетка на 2×2 — убедиться, что канал вообще держит четыре зоны. Потом доска. Игры — между занятиями и для первого знакомства с камерой, когда объяснять словами ещё рано. Рисовалка — если нужно понять, доступно ли ведение, или просто занять человека без задачи.
Наборы карточек. В настройках доски есть переключатель «Набор карточек»: «Нужды», «Занятие», «16 фраз» и «Свой». Механика выбора у них одинаковая — удержание взгляда или головы либо моргание-сканирование по четырём зонам. Разное только то, что на карточках и что происходит после выбора. Выбранный набор запоминается в этом браузере.
Как выйти из группы. Никак — доска возвращается наверх сама: сразу после произнесённой фразы, а если внутри группы двенадцать секунд ничего не выбрано, то по тишине. Ячейки «назад» намеренно нет: она заняла бы четверть доски, и самую частую ошибку — вход не в ту группу — пришлось бы исправлять ещё одним точным попаданием. Здесь ошибка исправляется бездействием.
Пока открыта группа, вверху доски видна её название — в том числе в полноэкранном режиме, чтобы не гадать, почему на доске другие карточки.
Наборы черновые. Состав групп и формулировки придуманы разработчиком, а набор «Занятие» добавлен по первой просьбе практика-дефектолога — окончательный вид должны определить специалисты. Если увидите, что нужно другое, — напишите: поменять содержимое можно, не трогая логику работы.
Страницы index.html и dossier.html — не для занятий: первая разбирает сохранённые журналы, вторая описывает сам проект.
Что можно. На каждую из четырёх карточек — фото (снять телефоном или выбрать файл) или эмодзи, подпись, фраза, которую доска скажет, и при желании свой записанный голос до 10 секунд. Место можно оставить пустым: оно ничего не говорит, а перебор в «Моргании» его пропускает — так получается выбор из двух или трёх. Есть готовые карточки: команды («Ещё», «Закончили», «Помоги», «Другое», «Повтори», «Подождите», «Не хочу», «Моя очередь», «Дай», «Отдохнуть»), приветствие, вопросы «Где?» и «Что это?», ответы, нужды, люди, занятия, чувства — их картинки и фразы совпадают со встроенными наборами.
На бумаге. Кнопка «Распечатать набор на бумагу» под наборами печатает лист A4: доску с карточками на тех же местах, что на экране, и маленькие карточки около 4×4 см для альбома. Бумажная копия нужна, когда компьютера рядом нет — символы у ребёнка при этом остаются теми же (ЦЛП, 2022, с. 133). Печатать лучше на плотной бумаге или картоне: глянцевая плёнка даёт блики (там же, с. 96).
Сам или с подсказкой. В «Дополнительно → Разметка» после выбора карточки можно отметить, сделал ли его ребёнок сам или с подсказкой взрослого. В сводке журнала по каждой карточке видно, сколько раз сам. Умение считают освоенным, когда ребёнок пользуется им без подсказки 3–4 занятия подряд (там же, с. 109).
Как собрать — по методическим рекомендациям ИКП по АДК для детей с ТМНР (2023):
Где хранится. Только в этом браузере — фото и голос никуда не отправляются. Если очистить данные браузера, наборы пропадут, поэтому сохраните файл: «Изменить» → «Скачать файл». На другом компьютере — «Свой» → «Загрузить из файла» → «Сохранить и показать». Так один и тот же набор будет и дома, и на занятии.
Отдельная страница — «Словарь сигналов» — для детей, которые пока сообщают о себе не карточками, а движением, звуком, выражением лица. Взрослые отмечают, что ребёнок сделал и что это, по их мнению, значит; из записей сам складывается словарь: что сигнал чаще значит, в каких ситуациях, сколько взрослых его отмечали. Это электронная версия листа сверхинтерпретации и раздела паспорта коммуникации (ЦЛП, 2022, с. 73–74, 118–125).
Камера — по желанию и только как подсказка. Она замечает поворот и наклон головы, улыбку, открытый рот, закрытые глаза, брови, громкий звук — за 4 секунды до отметки, по сравнению с тем, как этот ребёнок выглядит обычно. Руки, тело и дыхание не видит. Пороги ещё не проверены на живых наблюдениях: всё, что камера отметила зря, снимается одним нажатием.
Вместе. Каждый взрослый отмечает у себя и вписывает своё имя; файлы собираются в один словарь кнопкой «Загрузить файл», повторы не дублируются. Пометка «устойчиво» появляется, когда сигнал отмечен не меньше 3 раз, в 70% случаев с одним значением и хотя бы двумя взрослыми. Лист для паспорта печатается от лица ребёнка: что я делаю, что это значит, как со мной быть.
Этот раздел нужен только тем, кто ставит «Смотрю-Говорю» на компьютер, где интернета может не быть. Если у вас есть ссылка — просто откройте её, здесь ничего делать не надо.
Почему нельзя просто щёлкнуть по файлу. Если открыть страницу двойным кликом, браузер из соображений безопасности запретит ей читать соседние файлы в папке — а там лежит распознавание лица. Страница откроется, но камера не заработает или полезет в интернет за библиотеками. Поэтому папку нужно не «открыть», а «запустить».
Как запустить. В папке есть два файла — выберите свой и щёлкните по нему дважды:
Откроется чёрное окно с текстом, а следом — браузер с программой. Чёрное окно не закрывайте, пока работаете: пока оно открыто, «Смотрю-Говорю» работает. Закончили — закройте его, и программа остановится.
Что может пойти не так. Честно о двух случаях, которые встречаются чаще всего:
Нужен ли интернет. При запуске из папки — нет, всё лежит внутри и работает полностью автономно. Если открываете по ссылке, интернет нужен, чтобы страница загрузилась; дальше связь можно потерять, начатое занятие продолжит работать. Видео в обоих случаях остаётся на вашем компьютере.
Тому, кто разбирается в технике: это обычная статическая папка, годится любой веб-сервер. Подробности и способ обновить библиотеки — в файле README.md в той же папке.