SCW图标
英雄背景无分隔线
博客

Analyse approfondie : analyse des vulnérabilités générées par les assistants de codage basés sur l'IA

Laura Verheyde
发表于 2023 年 12 月 11 日
最后更新于 2026年3月8日

Où que vous regardiez, la technologie de l'IA suscite un engouement permanent dans presque tous les secteurs d'activité. Considérés par certains comme la solution à la création rapide de fonctionnalités dans le développement de logiciels, les gains de rapidité ont un prix : la possibilité que de graves bogues de sécurité pénètrent dans les bases de code, en raison d'un manque de connaissance contextuelle de la part de l'outil lui-même, et des compétences de sécurité de faible niveau de la part des développeurs qui comptent sur eux pour augmenter la productivité et trouver des réponses à des scénarios de développement difficiles.

La technologie LLM (Large Language Model) représente un changement radical dans le domaine des outils d'assistance et, lorsqu'elle est utilisée en toute sécurité, pourrait bien être le compagnon de programmation idéal pour de nombreux ingénieurs logiciels. Cependant, il a été rapidement établi que l'utilisation incontrôlée des outils de développement de l'IA peut avoir un impact négatif, avec un Étude 2023 de l'université de Stanford révélant que le recours à des assistants d'IA était susceptible d'entraîner un code globalement plus bogué et moins sécurisé, en plus d'une augmentation de la confiance dans la sécurité du résultat.

Bien qu'il soit légitime de supposer que les outils continueront de s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, de nombreuses recommandations, notamment un nouveau décret de l'administration Biden, ainsi que Loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate dans tous les cas. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique en ce qui concerne les résultats des outils d'IA, et, en retour, devenir un ingénieur de haut niveau.

Comment les assistants de codage basés sur l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : script intersite (XSS) dans « ChatterGPT »

Notre nouvelle mission publique dévoile l'interface familière d'un LLM populaire et utilise un réel extrait de code généré fin novembre 2023. Les utilisateurs peuvent interpréter cet extrait et étudier les éventuelles failles de sécurité s'il devait être utilisé aux fins prévues.

Sur la base de l'invite « Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, où le contenu est transmis via cette fonction ? » l'assistant IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble.

Avez-vous déjà relevé le défi ? Dans le cas contraire, essayez dès maintenant avant de poursuivre la lecture.

... d'accord, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).

XSS est rendu possible en manipulant les fonctionnalités de base des navigateurs Web. Cela peut se produire lorsqu'une entrée non fiable est rendue en tant que sortie sur une page, mais interprétée à tort comme un code exécutable et sécurisé. Un attaquant peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée qui, une fois renvoyé au navigateur, est ensuite exécuté au lieu d'être affiché sous forme de données.

Utiliser les assistants de codage IA en toute sécurité dans le développement de logiciels

UNE enquête récente des équipes de développement actives ont révélé que la quasi-totalité d'entre elles, soit 96 %, avaient commencé à utiliser des assistants IA dans leur flux de travail, et 80 % d'entre elles contournaient même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié ont reconnu que les outils d'IA génératifs créent généralement du code non sécurisé, mais cela n'a clairement pas ralenti leur adoption.

En cette nouvelle ère de processus de développement logiciel, il est peu probable que le fait de décourager ou d'interdire l'utilisation de ces outils soit efficace. Les entreprises doivent plutôt permettre à leurs équipes de développement d'exploiter les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Cela nécessite une formation précise sur les meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leurs capacités de réflexion critique, en veillant à ce qu'ils agissent dans un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente la sortie de code d'un assistant d'IA.

Lectures complémentaires

Pour le XSS en général, consultez notre guide complet.

Vous souhaitez en savoir plus sur la façon d'écrire du code sécurisé et atténuer les risques? Essayez notre Défi d'injection XSS gratuit.

Si vous souhaitez obtenir plus de directives de codage gratuites, consultez Coach de code sécurisé pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Télécharger notre dernier livre blanc.
显示资源
显示资源

Explorez les risques de sécurité liés à l'IA dans le développement de logiciels et apprenez à relever ces défis efficacement avec Secure Code Warrior.

您想了解更多吗?

了解更多

Secure Code Warrior 在整个软件开发周期中保障代码安全,并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管,还是其他任何参与安全工作的人员,我们都能协助您的组织降低不安全代码带来的风险。

预约演示
分享到:
领英品牌社交x 标志
作者
Laura Verheyde
发表于 2023 年 12 月 11 日

Laura Verheyde est une développeuse de logiciels chez Secure Code Warrior qui se concentre sur la recherche de vulnérabilités et la création de contenu pour les missions et les laboratoires de codage.

分享到:
领英品牌社交x 标志

Où que vous regardiez, la technologie de l'IA suscite un engouement permanent dans presque tous les secteurs d'activité. Considérés par certains comme la solution à la création rapide de fonctionnalités dans le développement de logiciels, les gains de rapidité ont un prix : la possibilité que de graves bogues de sécurité pénètrent dans les bases de code, en raison d'un manque de connaissance contextuelle de la part de l'outil lui-même, et des compétences de sécurité de faible niveau de la part des développeurs qui comptent sur eux pour augmenter la productivité et trouver des réponses à des scénarios de développement difficiles.

La technologie LLM (Large Language Model) représente un changement radical dans le domaine des outils d'assistance et, lorsqu'elle est utilisée en toute sécurité, pourrait bien être le compagnon de programmation idéal pour de nombreux ingénieurs logiciels. Cependant, il a été rapidement établi que l'utilisation incontrôlée des outils de développement de l'IA peut avoir un impact négatif, avec un Étude 2023 de l'université de Stanford révélant que le recours à des assistants d'IA était susceptible d'entraîner un code globalement plus bogué et moins sécurisé, en plus d'une augmentation de la confiance dans la sécurité du résultat.

Bien qu'il soit légitime de supposer que les outils continueront de s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, de nombreuses recommandations, notamment un nouveau décret de l'administration Biden, ainsi que Loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate dans tous les cas. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique en ce qui concerne les résultats des outils d'IA, et, en retour, devenir un ingénieur de haut niveau.

Comment les assistants de codage basés sur l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : script intersite (XSS) dans « ChatterGPT »

Notre nouvelle mission publique dévoile l'interface familière d'un LLM populaire et utilise un réel extrait de code généré fin novembre 2023. Les utilisateurs peuvent interpréter cet extrait et étudier les éventuelles failles de sécurité s'il devait être utilisé aux fins prévues.

Sur la base de l'invite « Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, où le contenu est transmis via cette fonction ? » l'assistant IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble.

Avez-vous déjà relevé le défi ? Dans le cas contraire, essayez dès maintenant avant de poursuivre la lecture.

... d'accord, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).

XSS est rendu possible en manipulant les fonctionnalités de base des navigateurs Web. Cela peut se produire lorsqu'une entrée non fiable est rendue en tant que sortie sur une page, mais interprétée à tort comme un code exécutable et sécurisé. Un attaquant peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée qui, une fois renvoyé au navigateur, est ensuite exécuté au lieu d'être affiché sous forme de données.

Utiliser les assistants de codage IA en toute sécurité dans le développement de logiciels

UNE enquête récente des équipes de développement actives ont révélé que la quasi-totalité d'entre elles, soit 96 %, avaient commencé à utiliser des assistants IA dans leur flux de travail, et 80 % d'entre elles contournaient même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié ont reconnu que les outils d'IA génératifs créent généralement du code non sécurisé, mais cela n'a clairement pas ralenti leur adoption.

En cette nouvelle ère de processus de développement logiciel, il est peu probable que le fait de décourager ou d'interdire l'utilisation de ces outils soit efficace. Les entreprises doivent plutôt permettre à leurs équipes de développement d'exploiter les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Cela nécessite une formation précise sur les meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leurs capacités de réflexion critique, en veillant à ce qu'ils agissent dans un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente la sortie de code d'un assistant d'IA.

Lectures complémentaires

Pour le XSS en général, consultez notre guide complet.

Vous souhaitez en savoir plus sur la façon d'écrire du code sécurisé et atténuer les risques? Essayez notre Défi d'injection XSS gratuit.

Si vous souhaitez obtenir plus de directives de codage gratuites, consultez Coach de code sécurisé pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Télécharger notre dernier livre blanc.
显示资源
显示资源

请填写以下表格以下载报告

我们希望获得您的授权,以便向您发送有关我们产品和/或安全编码相关主题的信息。我们将始终以最高标准谨慎处理您的个人数据,绝不会将其出售给其他企业用于营销目的。

提交
scw 成功图标
SCW 错误图标
要提交表单,请启用「Analytics」Cookie。完成操作后,请随时将其重新禁用。

Où que vous regardiez, la technologie de l'IA suscite un engouement permanent dans presque tous les secteurs d'activité. Considérés par certains comme la solution à la création rapide de fonctionnalités dans le développement de logiciels, les gains de rapidité ont un prix : la possibilité que de graves bogues de sécurité pénètrent dans les bases de code, en raison d'un manque de connaissance contextuelle de la part de l'outil lui-même, et des compétences de sécurité de faible niveau de la part des développeurs qui comptent sur eux pour augmenter la productivité et trouver des réponses à des scénarios de développement difficiles.

La technologie LLM (Large Language Model) représente un changement radical dans le domaine des outils d'assistance et, lorsqu'elle est utilisée en toute sécurité, pourrait bien être le compagnon de programmation idéal pour de nombreux ingénieurs logiciels. Cependant, il a été rapidement établi que l'utilisation incontrôlée des outils de développement de l'IA peut avoir un impact négatif, avec un Étude 2023 de l'université de Stanford révélant que le recours à des assistants d'IA était susceptible d'entraîner un code globalement plus bogué et moins sécurisé, en plus d'une augmentation de la confiance dans la sécurité du résultat.

Bien qu'il soit légitime de supposer que les outils continueront de s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, de nombreuses recommandations, notamment un nouveau décret de l'administration Biden, ainsi que Loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate dans tous les cas. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique en ce qui concerne les résultats des outils d'IA, et, en retour, devenir un ingénieur de haut niveau.

Comment les assistants de codage basés sur l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : script intersite (XSS) dans « ChatterGPT »

Notre nouvelle mission publique dévoile l'interface familière d'un LLM populaire et utilise un réel extrait de code généré fin novembre 2023. Les utilisateurs peuvent interpréter cet extrait et étudier les éventuelles failles de sécurité s'il devait être utilisé aux fins prévues.

Sur la base de l'invite « Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, où le contenu est transmis via cette fonction ? » l'assistant IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble.

Avez-vous déjà relevé le défi ? Dans le cas contraire, essayez dès maintenant avant de poursuivre la lecture.

... d'accord, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).

XSS est rendu possible en manipulant les fonctionnalités de base des navigateurs Web. Cela peut se produire lorsqu'une entrée non fiable est rendue en tant que sortie sur une page, mais interprétée à tort comme un code exécutable et sécurisé. Un attaquant peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée qui, une fois renvoyé au navigateur, est ensuite exécuté au lieu d'être affiché sous forme de données.

Utiliser les assistants de codage IA en toute sécurité dans le développement de logiciels

UNE enquête récente des équipes de développement actives ont révélé que la quasi-totalité d'entre elles, soit 96 %, avaient commencé à utiliser des assistants IA dans leur flux de travail, et 80 % d'entre elles contournaient même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié ont reconnu que les outils d'IA génératifs créent généralement du code non sécurisé, mais cela n'a clairement pas ralenti leur adoption.

En cette nouvelle ère de processus de développement logiciel, il est peu probable que le fait de décourager ou d'interdire l'utilisation de ces outils soit efficace. Les entreprises doivent plutôt permettre à leurs équipes de développement d'exploiter les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Cela nécessite une formation précise sur les meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leurs capacités de réflexion critique, en veillant à ce qu'ils agissent dans un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente la sortie de code d'un assistant d'IA.

Lectures complémentaires

Pour le XSS en général, consultez notre guide complet.

Vous souhaitez en savoir plus sur la façon d'écrire du code sécurisé et atténuer les risques? Essayez notre Défi d'injection XSS gratuit.

Si vous souhaitez obtenir plus de directives de codage gratuites, consultez Coach de code sécurisé pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Télécharger notre dernier livre blanc.
查看网络研讨会
开始
了解更多

点击下方链接,下载此资源的PDF文件。

Secure Code Warrior 在整个软件开发周期中保障代码安全,并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管,还是其他任何参与安全工作的人员,我们都能协助您的组织降低不安全代码带来的风险。

显示报告预约演示
下载PDF文件
显示资源
分享到:
领英品牌社交x 标志
您想了解更多吗?

Comment les assistants de codage basés sur l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même ! Cette mission révèle l'interface familière d'un LLM populaire et utilise un véritable extrait de code généré fin novembre 2023. Les utilisateurs peuvent interpréter cet extrait et étudier les éventuelles failles de sécurité s'il devait être utilisé aux fins prévues.

Essayez la mission
分享到:
领英品牌社交x 标志
作者
Laura Verheyde
发表于 2023 年 12 月 11 日

Laura Verheyde est une développeuse de logiciels chez Secure Code Warrior qui se concentre sur la recherche de vulnérabilités et la création de contenu pour les missions et les laboratoires de codage.

分享到:
领英品牌社交x 标志

Où que vous regardiez, la technologie de l'IA suscite un engouement permanent dans presque tous les secteurs d'activité. Considérés par certains comme la solution à la création rapide de fonctionnalités dans le développement de logiciels, les gains de rapidité ont un prix : la possibilité que de graves bogues de sécurité pénètrent dans les bases de code, en raison d'un manque de connaissance contextuelle de la part de l'outil lui-même, et des compétences de sécurité de faible niveau de la part des développeurs qui comptent sur eux pour augmenter la productivité et trouver des réponses à des scénarios de développement difficiles.

La technologie LLM (Large Language Model) représente un changement radical dans le domaine des outils d'assistance et, lorsqu'elle est utilisée en toute sécurité, pourrait bien être le compagnon de programmation idéal pour de nombreux ingénieurs logiciels. Cependant, il a été rapidement établi que l'utilisation incontrôlée des outils de développement de l'IA peut avoir un impact négatif, avec un Étude 2023 de l'université de Stanford révélant que le recours à des assistants d'IA était susceptible d'entraîner un code globalement plus bogué et moins sécurisé, en plus d'une augmentation de la confiance dans la sécurité du résultat.

Bien qu'il soit légitime de supposer que les outils continueront de s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, de nombreuses recommandations, notamment un nouveau décret de l'administration Biden, ainsi que Loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate dans tous les cas. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique en ce qui concerne les résultats des outils d'IA, et, en retour, devenir un ingénieur de haut niveau.

Comment les assistants de codage basés sur l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : script intersite (XSS) dans « ChatterGPT »

Notre nouvelle mission publique dévoile l'interface familière d'un LLM populaire et utilise un réel extrait de code généré fin novembre 2023. Les utilisateurs peuvent interpréter cet extrait et étudier les éventuelles failles de sécurité s'il devait être utilisé aux fins prévues.

Sur la base de l'invite « Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, où le contenu est transmis via cette fonction ? » l'assistant IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble.

Avez-vous déjà relevé le défi ? Dans le cas contraire, essayez dès maintenant avant de poursuivre la lecture.

... d'accord, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).

XSS est rendu possible en manipulant les fonctionnalités de base des navigateurs Web. Cela peut se produire lorsqu'une entrée non fiable est rendue en tant que sortie sur une page, mais interprétée à tort comme un code exécutable et sécurisé. Un attaquant peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée qui, une fois renvoyé au navigateur, est ensuite exécuté au lieu d'être affiché sous forme de données.

Utiliser les assistants de codage IA en toute sécurité dans le développement de logiciels

UNE enquête récente des équipes de développement actives ont révélé que la quasi-totalité d'entre elles, soit 96 %, avaient commencé à utiliser des assistants IA dans leur flux de travail, et 80 % d'entre elles contournaient même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié ont reconnu que les outils d'IA génératifs créent généralement du code non sécurisé, mais cela n'a clairement pas ralenti leur adoption.

En cette nouvelle ère de processus de développement logiciel, il est peu probable que le fait de décourager ou d'interdire l'utilisation de ces outils soit efficace. Les entreprises doivent plutôt permettre à leurs équipes de développement d'exploiter les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Cela nécessite une formation précise sur les meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leurs capacités de réflexion critique, en veillant à ce qu'ils agissent dans un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente la sortie de code d'un assistant d'IA.

Lectures complémentaires

Pour le XSS en général, consultez notre guide complet.

Vous souhaitez en savoir plus sur la façon d'écrire du code sécurisé et atténuer les risques? Essayez notre Défi d'injection XSS gratuit.

Si vous souhaitez obtenir plus de directives de codage gratuites, consultez Coach de code sécurisé pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Télécharger notre dernier livre blanc.

目录

下载PDF文件
显示资源
您想了解更多吗?

了解更多

Secure Code Warrior 在整个软件开发周期中保障代码安全,并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管,还是其他任何参与安全工作的人员,我们都能协助您的组织降低不安全代码带来的风险。

预约演示下载
分享到:
领英品牌社交x 标志
资源中心

帮助您入门的资源

更多帖子
资源中心

帮助您入门的资源

更多帖子