Актуализация: Apple спомена втора инспекция на сървъра и професионална компания за компютърно зрение очерта възможността какво може да бъде това – описано в „Как може да работи втората инспекция“ по-долу.
След като разработчиците направиха обратно инженерство на части от нея, ранната версия на системата Apple CSAM беше ефективно измамена, за да маркира невинно изображение.Apple обаче заяви, че има допълнителни предпазни мерки, за да предотврати това да се случи в реалния живот.
Последното развитие настъпи, след като алгоритъмът NeuralHash беше публикуван на уебсайта за разработчици с отворен код GitHub, всеки може да експериментира с него...
Всички системи за CSAM работят чрез импортиране на база данни с известни материали за сексуално насилие над деца от организации като Националния център за изчезнали и експлоатирани деца (NCMEC).Базата данни се предоставя под формата на хешове или цифрови отпечатъци от изображения.
Въпреки че повечето технологични гиганти сканират снимки, качени в облака, Apple използва алгоритъма NeuralHash на iPhone на клиента, за да генерира хеш стойност на съхранената снимка и след това я сравнява с изтегленото копие на CSAM хеш стойността.
Вчера разработчик заяви, че е реконструирал алгоритъма на Apple и е пуснал кода в GitHub – това твърдение беше ефективно потвърдено от Apple.
В рамките на няколко часа след пускането на GitHib, изследователите успешно са използвали алгоритъма, за да създадат умишлено фалшиво положително - две напълно различни изображения, които генерират една и съща хеш стойност.Това се нарича сблъсък.
За такива системи винаги има риск от сблъсъци, тъй като хешът, разбира се, е силно опростено представяне на изображението, но е изненадващо, че някой може да генерира изображението толкова бързо.
Преднамереният сблъсък тук е само доказателство за концепцията.Разработчиците нямат достъп до хеш базата данни на CSAM, което би изисквало създаването на фалшиви положителни резултати в системата в реално време, но това доказва, че атаките на сблъсък са относително лесни по принцип.
Apple ефективно потвърди, че алгоритъмът е в основата на собствената им система, но каза на дънната платка, че това не е окончателната версия.Компанията също така заяви, че никога не е възнамерявала да я пази поверителна.
Apple каза на Motherboard в имейл, че версията, анализирана от потребителя в GitHub, е обща версия, а не окончателната версия, използвана за откриване на CSAM в iCloud Photo.Apple каза, че също е разкрила алгоритъма.
„Алгоритъмът NeuralHash [...] е част от подписания код на операционната система [и] изследователите по сигурността могат да проверят дали поведението му отговаря на описанието“, пише в документ на Apple.
Компанията продължи да казва, че има още две стъпки: стартиране на вторична (тайна) система за съвпадение на собствен сървър и ръчен преглед.
Apple също така заяви, че след като потребителите преминат прага от 30 съвпадения, втори непубличен алгоритъм, работещ на сървърите на Apple, ще провери резултатите.
„Този независим хеш беше избран, за да отхвърли възможността грешният NeuralHash да съвпада с криптираната CSAM база данни на устройството поради противникова намеса на не-CSAM изображения и да надвишава прага на съвпадение.“
Брад Дуайър от Roboflow намери начин лесно да прави разлика между двете изображения, публикувани като доказателство за концепцията за атака при сблъсък.
Любопитен съм как изглеждат тези изображения в CLIP на подобен, но различен екстрактор на невронни функции OpenAI.CLIP работи подобно на NeuralHash;взема изображение и използва невронна мрежа, за да генерира набор от вектори на характеристики, които се съпоставят със съдържанието на изображението.
Но мрежата на OpenAI е различна.Това е общ модел, който може да преобразува изображения и текст.Това означава, че можем да го използваме за извличане на разбираема за хората информация за изображението.
Пуснах двете изображения на сблъсък по-горе през CLIP, за да видя дали също е заблуден.Краткият отговор е: не.Това означава, че Apple трябва да може да приложи втора мрежа за извличане на функции (като CLIP) към откритите CSAM изображения, за да определи дали са истински или фалшиви.Много по-трудно е да се генерират изображения, които мамят две мрежи едновременно.
И накрая, както споменахме по-рано, изображенията се преглеждат ръчно, за да се потвърди, че са CSAM.
Изследовател по сигурността каза, че единственият реален риск е всеки, който иска да дразни Apple, да предостави фалшиви положителни резултати на рецензенти.
„Apple всъщност е проектирала тази система, така че хеш функцията не трябва да се пази в тайна, защото единственото нещо, което можете да направите с „не-CSAM като CSAM“ е да дразните екипа за реагиране на Apple с някои нежелани изображения, докато внедрят филтри за елиминиране анализ Тези боклуци в тръбопровода са фалшиви положителни резултати“, каза Никълъс Уивър, старши изследовател в Института за международни компютърни науки към Калифорнийския университет, Бъркли, пред Motherboard в онлайн чат.
Поверителността е въпрос, който предизвиква нарастваща загриженост в днешния свят.Следвайте всички доклади, свързани с поверителността, сигурността и т.н. в нашите указания.
Бен Лавджой е британски технически писател и редактор за ЕС за 9to5Mac.Той е известен със своите колони и статии в дневника си, изследвайки своя опит с продуктите на Apple във времето, за да получи по-изчерпателни отзиви.Той също така пише романи, има два технически трилъра, няколко късометражни научнофантастични филма и rom-com!
Време на публикуване: 20 август 2021 г