22 juin 2020 | International, C4ISR

Artificial intelligence systems need ‘checks and balances’ throughout development

The Pentagon's primary artificial intelligence hub is already studying how to aim a laser at the correct spot on an enemy vehicle, pinpointing which area to target to inflict the most damage, and identifying the most important messages headed to commanders, officials said June 16.

But as part of that work, the Department of Defense needs to carefully implement checks and balances into the development process, experts urged June 16.

“Fundamentally I would say there's a requirement ... that there's going to be a mixture of measures taken to ensure the governability of the system from the first stage of the design of the system all the way up through the operations of the system in a combat scenario,” said Greg Allen, the Joint Artificial Intelligence Center's chief of strategy and communications at the Joint Artificial Intelligence Center, at the Defense One Tech Summit June 16.

The JAIC is working on several lethality projects through its new joint warfighting initiative, boosted by a new contract award to Booz Allen potentially worth $800 million.

“With this new contract vehicle, we have the potential to do even more this next year than we did in the past,” Allen said.

Meanwhile, the Army's Artificial Intelligence Task Force is working on an advanced threat recognition project. DARPA is exploring complementing AI systems that would identify available combat support assets and quickly plan their route to the area.

Throughout all of the development work, experts from the military and from academia stressed that human involvement and experimentation was critical to ensuring that artificial intelligence assets are trustworthy. The department has released a document of five artificial intelligence ethical principles, but the challenge remains implementing those principles into projects across a department with disparate services working on separate artificial intelligence projects.

“We want safe, reliable and robust systems deployed to our warfighters,” said Heather Roff, senior research analyst at the Johns Hopkins Applied Physics Lab. “We want to be able to trust those systems. We want to have some sort of measure of predictability even if those systems act unpredictably.”

Brig. Gen. Matt Easley, director of the artificial intelligence task force at Army Futures Command, said the service is grappling with those exact challenges, trying to understand how the service can insert “checks and balances” as it trains systems and soldiers.

Easley added that the unmanned systems under development by the Army will have to be adaptable to different environments, such as an urban or desert scenarios. In order to ensure that the systems and soldiers are ready for those scenarios, the Army has to complete a series of tests, just like the autonomous vehicle industry.

“We don't think these systems are going to be 100 percent capable right out of the box,” Easley said on the webinar. “If you look at a lot of the evolution of the self-driving cars throughout our society today, they're doing a lot of experimentation. They're doing lots of testing, lots of learning every day. We in the Army have to learn how to go from doing one to two to three vehicle experiments to have many experiments going on every day across all our camp posts and stations.”

Increasingly autonomous systems also mean that there needs to a cultural shift in among all levels of military personnel who will need to better understand how artificial intelligence is used. Roff said that operators, commanders and judge advocate generals will need to better understand how systems are supposed “to ensure that the human responsibility and governability is there.”

“We need to make sure that we have training, tactics, procedures, as well as policies, ensuring where we know the human decision maker is,” Roff said.

https://www.c4isrnet.com/it-networks/2020/06/18/artificial-intelligence-systems-need-checks-and-balances-throughout-development/

Sur le même sujet

  • Bolster sanctions to stop Iran’s growing military space capabilities

    4 avril 2024 | International, Aérospatial

    Bolster sanctions to stop Iran’s growing military space capabilities

    Opinion: The entire free world needs to fully appreciate the potential danger of Iran’s increasing launch capability.

  • Coopérations dans l'armement : la France peut-elle vraiment faire confiance à l'Allemagne ? (1/3)

    7 novembre 2018 | International, Aérospatial, Naval, Terrestre, C4ISR, Sécurité

    Coopérations dans l'armement : la France peut-elle vraiment faire confiance à l'Allemagne ? (1/3)

    Par Michel Cabirol La France et l'Allemagne ont à l'évidence des enjeux et des objectifs différents. La coopération franco-allemande est-elle assise sur des bases saines ? Pas sûr. La France peut-elle vraiment faire confiance à l'Allemagne en matière de politique de défense et d'armement? Pas sûr si l'on en croit le député LREM du Finistère, Jean-Charles Larsonneur, qui jette un pavé dans la mare avec son rapport sur le programme 146 (Equipement des forces et dissuasion) : "L'approfondissement, sans grande publicité et, pour ainsi dire, à bas bruit, du concept de nation-cadre de l'OTAN, consiste à fédérer autour de l'Allemagne les capacités de 17 « petits » pays, ce qui risque de réduire l'intérêt des Allemands pour nos coopérations bilatérales", a-t-il expliqué le 24 octobre à l'Assemblée nationale. L'Allemagne se place dans une volonté de leadership en Europe dans le domaine de la défense, qu'elle a très clairement exprimé dans son Livre Blanc de 2016 et dans sa stratégie dans le domaine des technologies clés. D'ailleurs, l'un des plus influents think tank d'Allemagne, la Stiftung für Wissenschaft und Politik (SWP), synthétise parfaitement la stratégie allemande. Il préconisait en août 2017 que Berlin prenne le leadership militaire de l'Union européenne, et de devenir le pilier européen de l'OTAN en raison du futur désengagement américain. "La Bundeswehr pourrait devenir une épine dorsale de la sécurité européenne à long terme, affirmait la SWP. (...) Cela exige de la volonté du futur gouvernement fédéral d'accepter un leadership politique et militaire dans l'alliance". Un avantage puissant pour l'industrie allemande L'Allemagne a effectivement su se saisir du concept de nation-cadre ("Framework Nation Concept"- FNC) élaboré par l'OTAN à son initiative à partir de 2012. De fait, l'Allemagne, qui a mis en œuvre ce concept, s'est entourée, en tant que nation-cadre, de 19 États membres pour mettre en œuvre des projets de coopération très approfondis, tendant à une véritable intégration pour certains d'entre eux (Pays-Bas notamment). Et pour de nombreux observateurs, ce concept va se révéler être un rouleau compresseur en faveur des intérêts industriels germaniques. C'est un "instrument stratégique qui pourrait servir puissamment les intérêts de l'industrie allemande", a confirmée Jean-Charles Larsonneur. Pourquoi ? Selon Antoine Bouvier, cité dans le rapport du député, l'interpénétration des enjeux capacitaires et opérationnels est profonde. Ainsi, les États partenaires de l'Allemagne ont souscrit l'engagement de porter au standard le plus élevé leurs capacités des chars de combat, ce qui constitue une "formidable opportunité pour KMW ". Cette opportunité est par nature d'autant plus grande que l'intégration des capacités militaires concernées est poussée. Ainsi, l'armée de terre néerlandaise ne pourrait désormais plus être déployée sans la Bundeswehr, tant leur intégration capacitaire est profonde. L'Allemagne, dans ce schéma, tient un rôle d'intégrateur des capacités européennes. Cette ambition s'appuie sur des ressources budgétaires à la hausse : augmentation de 34,3 milliards d'euros en 2016 à 42,9 milliards en 2019 (soit 1,31% du PIB). "Le concept de nation-cadre se constitue de fait comme le pilier européen de l'Alliance ‒ aux yeux d'Américains, mieux vaut voir l'Europe de la défense se constituer dans un cadre de l'OTAN, bien connu, plutôt que dans des constructions européennes moins maîtrisées par eux", a expliqué Jean-Charles Larsonneur dans son rapport. Le SCAF en danger? Un accord politique a été trouvé au plus haut niveau le 13 juillet 2017, formalisé par des lettres d'intention au printemps 2018. Il est convenu que la France aura un rôle prééminent dans la conduite du programme SCAF. Symétriquement, il est entendu que l'Allemagne en aura un dans la conduite du projet de char du futur tout comme elle a obtenu le leadership sur le futur drone MALE européen. Selon Jean-Charles Larsonneur, les industriels français et allemands ne disposent toujours pas d'un cadre réglementaire, ne serait-ce que pour échanger des informations. "Il ressort de mes travaux que la DGA attend des réponses de son équivalent allemand", a-t-il révélé. "Il est donc urgent de poser des jalons aussi irréversibles que possible dans la coopération franco-allemande, tant que le contexte politique le permet", a-t-il affirmé. Jean-Charles Larsonneur est inquiet sur la coopération franco-allemande. "La coopération franco-allemande présente en ce moment quelques signes de flottement", a-t-il estimé à l'Assemblée nationale. Il a cité en exemple la décision des Allemands de décliner la proposition française de développer en commun un missile européen pour le nouveau standard du Tigre, au profit d'un missile israélien, le Spike, comme l'avait révélé La Tribune. Mais selon Antoine Bouvier, le nouveau Spike LR2 n'est qu'au début de son développement et comporte donc des risques technologiques. "Le choix des Allemands pour une joint venture entre Rafael, fabricant israélien du Spike, et RheinMettall ‒ dont le rôle dans ce programme ne paraît d'ailleurs pas être dominant ‒ ne s'explique donc pas principalement par des considérations techniques", a précisé le rapport du député du Finistère. Le concept de nation-cadre permet également à l'Allemagne d'avancer discrètement ses pions dans le domaine des sous-marins. Après avoir fait céder la Norvège (membre du FNC), Berlin tente désormais de séduire la Pologne et les Pays-Bas en vantant un cluster européen sous-marin sous tutelle allemande. Ce qui marginaliserait clairement la France en Europe. En février 2017, la Norvège a commandé quatre U-212 et doit développer avec Berlin un partenariat à vocation mondiale dans le domaine des missiles mer-mer et des systèmes de traitement de l'information. La décision d'Oslo d'interrompre l'appel d'offres et de choisir une évolution du sous-marin en service dans la Marine allemande dans le cadre d'une coopération opérationnelle et industrielle renforcée, risque de faire t'ches d'huile en Europe... La France est en danger. https://www.latribune.fr/entreprises-finance/industrie/aeronautique-defense/cooperations-dans-l-armement-la-france-peut-elle-vraiment-faire-confiance-a-l-allemagne-1-3-795987.html

  • How to Securely Onboard New Employees Without Sharing Temporary Passwords

    23 juillet 2024 | International, C4ISR, Sécurité

    How to Securely Onboard New Employees Without Sharing Temporary Passwords

    Secure employee onboarding by eliminating temporary passwords. Discover how Specops' First Day Password enhances cybersecurity from day one.

Toutes les nouvelles