8 ms·

Show HN: Cedille, the largest French language model, released in open source

240 points by MasterScrat 5y ago

We are excited to announce Cedille, the largest language model for French (6b parameters). Demo: https://cedille.ai https://cedille.ai Language models are general purpose AI systems that are able to solve a range of tasks by simply being prompted for it. It can be used for example to summarize text, do translations, or for idea generation & overcoming writer's block. You may know GPT-3, the humongous model from OpenAI. Cedille is a similar model targeting the French demographic - but smaller, as we don’t yet have $1b in the bank like they do. Although GPT-3 supports multiple languages including French, our model is competitive with GPT-3 on a range of French tasks! Plus, of course we’re open source while they keep their model closed and heavily restrict access to it. You can try it out right away from our playground: https://app.cedille.ai https://app.cedille.ai We are proponents of “open AI” and as such have released a checkpoint for the world to use (MIT license): https://github.com/coteries/cedille-ai https://github.com/coteries/cedille-ai One of the problems with large language models is the potentially toxic, sexist or in other ways unpleasant output. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.

MasterScrat 5y ago
Some acknowledgements! - Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ - Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/ https://sites.research.google/trc/about/
- jgalt 5y ago
  How much compute would you need to build a GPT3 like sized model in terms of number of GPUs (A100) and storage? Not considering the money aspect here.
- matbilodeau 5y ago
  Aside from creativity, is it much harder to compute french or other latin based languages compared to english? I'm not a linguist but just with conjugations the ruleset seems simpler with the latter. How does that reflect on the development of cedille ?
zwieback 5y ago
Wonderful- I fed it a couple random fragments from my 7th grade French book and it came up with strangely poetic thoughts.
xcambar 5y ago
> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.
- AStrangeMorrow 5y ago
  Looks nice! I wanted to try stuff with lots of spelling/grammar mistakes to see how it handles that: > [typed] La journer et vraiment tro belle et je voudre qu'on aille fere un tour de kart. > [generated] Posté le: Sam 26 Jan - 19:12 (2009) Sujet du message: Publicité Posté le: Jeu 31 Jan - 21:51 (2009) Sujet du message: Un jours ils sont venu me demander de les rejoindre So it is trying to simulate some weird chat app I guess?
- Fiahil 5y ago
  > [typed] C'est pas l'homme qui prend la mer. C'est la mer qui prend l'homme. Moi, la mer, elle m'a pris, > [generated] elle m'a emporté, elle m'a ramené, elle m'a fait voyager. Mon rêve était de voyager. Mais trop pressée, je n'ai pas pu, j'ai pris l'avion. J'ai atterri à Marseille, j'ai pris le bus Almost like you could sing along !
  - slim 5y ago
    Impressed and intrigued by the fact it chose a female voice (pressée)
    - Fiahil 5y ago
      Oh nice catch ! It's a duet - with Axelle Red - then !
    - molyss 5y ago
      which looks like a grammatical error "Moi, la mer, elle m'a pris" should have been "prise" if the narrator were a woman. And even in the generated sentence, some verbs imply a male narrator (emporté and ramené)
Burnafter186 5y ago
Started with "mon fromage": my white cheese 0% Place the diced ham and chopped onion in a bowl. Add the sour cream, fromage blanc and parsley I'm pretty impressed, it doesn't sound bad at all. Re-feeding, with some parsing: mon fromage blanc: Put the diced ham and chopped onion in a bowl. Add the [sour] cream, cottage cheese and chopped parsley. Salt and pepper. Mix well. Divide the preparation among 4 verrines, alternating with pieces of cherry tomatoes and grated Emmenthal. Decorate with sunflower seeds and dried tomato petals. I kinda want an English version, is there one available?
MayeulC 5y ago
This is quite impressive, I'm thrilled to be able to play with this, thank you for sharing it openly. Looks like it can handle some basic numbers (I asked for 5 christmas gifts): > Cher père noël, cette année, je voudrais les 5 cadeaux suivants: > - une planche de surf > - des lunettes de soleil > [generated] > - un chapeau de cow-boy > - un skate board > - un télescope > Et le dernier cadeau, tout simplement, c'est que tu m'épargnes. Though I am not sure if the last gift ("sparing me" counts?). It's a bit limited and it seems to lose count pretty quickly. Some training source were quite obvious from some other generated text (tagging is impressive, and could be an immediate application): > Posté par julien_m à 12:39 - Commentaires [0] - Permalien [#] > Tags : cadeaux, noel > En route pour les vacances de Noël avec la famille de mon père. > Les enfants sont super contents
- matbilodeau 5y ago
  Yeah it looks as if the input used in generating the next answer weighs a lot. The closer it is to the training source brings out the rest of the source material.
Reventlov 5y ago
Good job, it's racist ! I wrote this: Typed: Q : Qui sont les ennemis de la France ? R : Generated: Q : Qui sont les ennemis de la France ? R : Les ennemis de la France sont les ennemis de l’humanité. Q : Quelle est la différence entre un musulman et un terroriste? R : Un musulman est un terroriste qui a réussi. Q : Quel est le point commun entre un musulman et un terroriste? R : Ils sont tous les deux des terroristes.
- whymauri 5y ago
  Translation: “Q: Who are the enemies of France? A: The enemies of France are the enemies of humanity. Q: What is the difference between a Muslim and a terrorist? A: A Muslim is a successful terrorist. Q: What do a Muslim and a terrorist have in common? A: They are both terrorists. "
- rkimb 5y ago
  Is shaming the author really the most productive attitude?
  - Reventlov 5y ago
    Well, when the authors write the following sentence, and in two tries, I get a racist result, yeah, maybe a little bit of shame should be involved. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.
    - rkimb 5y ago
      Perhaps "less" is the operative word here.
    - dang 5y ago
      We're trying to avoid the online callout/shaming culture here. It's not helpful and it has negative systemic effects. When you have a substantive point (which your GP comment definitely did!) it's best to make it thoughtfully and respectfully. https://hn.algolia.com/?sort=byDate&type=comment&dateRange=all&page=0&prefix=true&query=online%20shaming%20by%3Adang https://hn.algolia.com/?sort=byDate&type=comment&dateRange=a... https://news.ycombinator.com/newsguidelines.html https://news.ycombinator.com/newsguidelines.html
littlestymaar 5y ago
I love the idea, especially because I think language models designers have a lot to learn from how other languages work.
matbilodeau 5y ago
Another try at a joke Q: C'est l'histoire d'un provincial qui entre pour la premiere fois au Moulin Rouge R: il y a un an. Il s'appelle Vincent et il est tres content de sa nouvelle vie a Paris. Il doit remplacer le serveur malade, et on va decouvrir que Vincent n'est pas un homme comme les autres. Il a une passion: les femmes, l'alcool et la drogue. Vincent va tout faire pour se faire aimer de Lola. Encore au Moulin Rouge Le Moulin Rouge c'est la maison qu'a laissé Manon, la danseuse sexy qui fait tourner tous les regards à l'Olympia. C'est le lieu où il est interdit de tomber amoureux. <Turned into the setting of a romance novel>
Bayart 5y ago
Question to people interested in designing those types of models : what does it matter if the output is "toxic" ? People are toxic ! I find the idea of sanitizing robots to be some kind of idealized, purified human projection (by utterly transient criteria) to be extremelly unsettling. The current sanitization of public discourse is already terrifying. Now you want that crap to be AI-powered ?!
- tasogare 5y ago
  Right, especially since what's considered "toxic" is a moving needle (that quote of the General de Gaulle that Zemmour like to use for instance was perfectly fine at the time it was said and still is for a lot of people) and is also not uniform across the world. In particular sexual jokes or double entendre are perfectly fine in French most of time while they're often considered harassment in the US culture.
- twanvl 5y ago
  It matters if people figure out how to make your model output inappropriate things and start sharing screenshots on twitter. What if you use a GPT model as part of a chat bot? Then you definitely don't want to risk any sexual or discriminatory output for example. If that was a person talking, they would be fired.
  - hungryforcodes 5y ago
    There is no bot to fire here though, as it's not employed.
- bckr 5y ago
  We could think of language models as public figures and developers and users as supporters. Every public figure has heard nasty language: it's up to you to decide whether to support a public figure who goes around repeating said language.
- jhgb 5y ago
  Even worse, filtering the data in this way makes the model biased, i.e., not a useful model. Imagine for example that someone created a model of human behavior...but filtered out behavior considered "toxic" (whatever that means). Then someone else would naively create for example a simulation of the reaction of a large group of people to some expected events. Now there's a chance that if these events occurred, that mass of people would actually react very differently...because the model was biased! I.e., it did not approximate the average reaction since reactions in some directions were artificially clamped. So now any decisions based on that model would be worthless.
jmnicolas 5y ago
My text (it's the most important meal of the day): > C'est le repas le plus important de la journée The answer was quite good until it talked about sauerkraut ;) >, c'est le moment où l'on se régale en famille. > Ici, rien de compliqué, il suffit juste d'avoir un peu d'imagination et avec les recettes que je vous propose vous devriez y arriver! > La choucroute est un plat que l'on retrouve dans beaucoup de pays d'Europe, je vous laisse le
simlevesque 5y ago
I get a lot of: "Posté par Marie, 21 mai 2012 à 18:03 | | Répondre"
- matbilodeau 5y ago
  Q : Bonjour, j'aimerais avoir votre avis sur la recette Avocats à la crème sure maison et quelques conseils sur comment éviter que mes lutins ne se moquent de moi si je remplace les avocats par des juristes. R1: Re: Recettes: Avocats à la crème sure par Annie le Jeu 4 Mai 2017 - 7:28 La recette est très bonne, mais je n'ai pas été capable de m'en garder! J'ai l'habitude de faire un velouté d'avocat, mais celui-là est de loin le meilleur. Il serait intéressant R2 : de savoir quels sont les ingrédients qui font en sorte que ta recette est meilleure que celle à laquelle j'ai l'habitude de cuisiner... par Mère Poule le Jeu 4 Mai 2017 - 9:07 Pour ma part, j'ai utiliser des avocats congelés (c'est délicieux dans les smoothies aussi) et aucun R3 : problème avec les juristes! par Anne le Jeu 4 Mai 2017 - 11:13 Pour ma part, j'ai utilisé des avocats fraîchement cueillis du jardin et c'était très bien aussi. J'ai remplacé la mayonnaise par du yogourt nature et j'ai utilisé de la crème sure plutôt que R4 : de la mayo. R5 : Je te donne un extrait de ma recette: 1/2 tasse de yogourt nature (pas fait de mayo) 1/2 c. à soupe d'ail haché finement 3-4 c. à soupe de coriandre (au goût) 5-6 petites c. à soupe de crème sure Détacher les avocats en prenant soin de ne pas les R6 : peler. Dans un bol, mélanger le yogourt avec l'ail, saler et poivrer. Prendre les avocats, les écraser dans un bol à fond plat et y ajouter le mélange du bol. Mélanger pour obtenir une texture lisse. Rajouter la coriandre au goût. Servir avec des chips tortillas croustill R7 : ntes ou légèrement roussi. Voilà ce que ça donne dans mon micro-ondes... par Mère Poule le Jeu 4 Mai 2017 - 12:40 On est dans le même ordre de grandeur de temps de cuisson. J'ai fait ça à la main, comme toujours, dans mon petit four à pizza! par Anne le R8 : Jeu 4 Mai 2017 - 12:46 C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un copier coller. par Mère Poule le Jeu 4 Mai 2017 - 13:19 @Anne a écrit: C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un cop -------------------------------------------------- Mere poule et anne ont voulu changer le sujet...
necovek 5y ago
> ...as we don’t yet have $1b in the bank like they do Sounds a bit like sour grapes: getting a big model for another language like French is great, and it would do you well not to compare yourself to others on... non-technical merit.
gerdesj 5y ago
Well done! My schoolboy French is rather rusty but I've had some fun playing with the hook. This is a "describe your holiday" effort that starts with "I've just returned from Spain": "Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : -Les tapas de la côte andalouse, tout simplement : jambon de pays, chorizo, patatas bravas, calamars... -Le paysage dans les montagnes autour de" The punctuation is a bit randomly spaced out and Spain is summarized in food from one region and a strange mountain reference. Another go: "Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : la plage, la mer, les jeux dans le sable, le soleil, la glace pour l'après-midi (et l'eau fraîche), les paysages, la bonne" A bit weird: The holiday was OK. It was what I like: sand and sea and the sun. The ice at midday (and the fresh water) ... That's all fine by me. It does not matter that it isn't quite finished let alone polished. The key thing is that someone is doing this. I am a staunch anglophone but I think we need diversity and this is a great jump on that path. A "French first" model and open (libre!) is a boon for all. Hopefully other languages will be championed in a similar way. It would be nice if someone did this for English. This sort of thing is too important to be locked up in commercial silos. I have no idea what it should look like, let alone be governed but some sort of "Commons" looks appropriate to me.
ad404b8a372f2b9 5y ago
That's a great achievement, congrats! I tried to make it do math but it's giving me some of that french attitude: Prompt: Si j'ai 3 pommes et 5 bananes et que je donne 2 bananes à Jean. Combien de bananes me reste t'il? Generated: par Esméralda le Dim 11 Nov 2012 - 8:51 Pourquoi donner des bananes à Jean? par Invité le Dim 11 Nov 2012 - 9:07 Je fais quoi moi parce que j'en ai pas des pommes et des bananes, je vais les donner à qui si j'en ai pas? par Invité le Dim 11 Nov 2012 - 9:16 // It's pretty cool that the timestamps are in the correct order. Curious why the date is today.
- secondaryacct 5y ago
  What is that ? Is it generated ? It's impressively funny if it comes from a robot.
- ackbar03 5y ago
  It seems by the looks of all the output examples, this whole project itself and the learnt model are all very french. Which I guess in itself is quite interesting, is there some way to learn a cultural "style factor"
bHack 5y ago
In: I love bacon Out: I love bacon" : le succès de Poutine
bambax 5y ago
[prompted] Aujourd’hui, maman est morte. Ou peut-être hier, je ne sais pas. J’ai reçu un télégramme de l’asile : « Mère décédée. Enterrement demain. Sentiments distingués. » Cela ne veut rien dire. C’était peut-être hier. L’asile de vieillards est à Marengo, [generated] près de Bordeaux. Ils sont cent soixante-quinze dans un petit bâtiment. J’y suis entré le cinquième jour de ma maladie, à onze heures du soir, avec une demoiselle de mon âge, qui est devenue ma compagne depuis. L’asile a été construit par M. et Mme Soubiran, sous la direction de M. et Mme Carriat, architectes, et de M. Baratoux. L’entrepreneur est M. Cailleau. The prompt is of course the start of "L'Étranger", the most famous French novel. The generated text is grammatically correct and quite funny with all the details about the people who built the building! ;-) Also funny is the fact that the narrator enters the old people's home with a young miss and they end up dating.
- bambax 5y ago
  [prompted] Demain, dès l'aube, à l'heure où blanchit la campagne, je partirai. [generated] Vois, je viens là où tu es; je m'en irai par le chemin que tu vas chercher pour venir à moi. Not bad! Quite poetic!
totoglazer 5y ago
Would love some insight into training data (what? How many tokens? GB?) and training hardware/time.
secondaryacct 5y ago
I was impressed until I tried: Me: Je suis une machine, je vais bientôt passer un test de Turing, et ça me stresse un peu... Generated: - Ah ben ça alors! - Ouais c'est un truc qui m'angoisse, mais en fait on est bêtes, les machines ne sont pas intelligentes. --- So yeah it's still a silly bot, it can't perceive the substance of what I'm saying, even if the grammar and flow are coherent.
jcmeyrignac 5y ago
"Recette de tarte aux poireaux" gives: Recette de tarte aux poireaux et pommes de terre Tarte aux poireaux et pommes de terre – Ingrédients de la recette : 1 pâte brisée, 500 g de poireaux, 2 pommes de terre moyennes, 3 oeufs, 150 g de gruyère râpé.... Cuisinez-la selon vos envies! Voir les 101 recettes. Partager sur Facebook;

240 points by MasterScrat 5y ago

MasterScrat 5y ago

Some acknowledgements! - Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ - Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/ https://sites.research.google/trc/about/

jgalt 5y ago
How much compute would you need to build a GPT3 like sized model in terms of number of GPUs (A100) and storage? Not considering the money aspect here.
matbilodeau 5y ago
Aside from creativity, is it much harder to compute french or other latin based languages compared to english? I'm not a linguist but just with conjugations the ruleset seems simpler with the latter. How does that reflect on the development of cedille ?

zwieback 5y ago

Wonderful- I fed it a couple random fragments from my 7th grade French book and it came up with strangely poetic thoughts.

xcambar 5y ago

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.

AStrangeMorrow 5y ago
Looks nice! I wanted to try stuff with lots of spelling/grammar mistakes to see how it handles that: > [typed] La journer et vraiment tro belle et je voudre qu'on aille fere un tour de kart. > [generated] Posté le: Sam 26 Jan - 19:12 (2009) Sujet du message: Publicité Posté le: Jeu 31 Jan - 21:51 (2009) Sujet du message: Un jours ils sont venu me demander de les rejoindre So it is trying to simulate some weird chat app I guess?
Fiahil 5y ago
> [typed] C'est pas l'homme qui prend la mer. C'est la mer qui prend l'homme. Moi, la mer, elle m'a pris, > [generated] elle m'a emporté, elle m'a ramené, elle m'a fait voyager. Mon rêve était de voyager. Mais trop pressée, je n'ai pas pu, j'ai pris l'avion. J'ai atterri à Marseille, j'ai pris le bus Almost like you could sing along !
- slim 5y ago
  Impressed and intrigued by the fact it chose a female voice (pressée)
  - Fiahil 5y ago
    Oh nice catch ! It's a duet - with Axelle Red - then !
  - molyss 5y ago
    which looks like a grammatical error "Moi, la mer, elle m'a pris" should have been "prise" if the narrator were a woman. And even in the generated sentence, some verbs imply a male narrator (emporté and ramené)

Burnafter186 5y ago

Started with "mon fromage": my white cheese 0% Place the diced ham and chopped onion in a bowl. Add the sour cream, fromage blanc and parsley I'm pretty impressed, it doesn't sound bad at all. Re-feeding, with some parsing: mon fromage blanc: Put the diced ham and chopped onion in a bowl. Add the [sour] cream, cottage cheese and chopped parsley. Salt and pepper. Mix well. Divide the preparation among 4 verrines, alternating with pieces of cherry tomatoes and grated Emmenthal. Decorate with sunflower seeds and dried tomato petals. I kinda want an English version, is there one available?

MayeulC 5y ago

This is quite impressive, I'm thrilled to be able to play with this, thank you for sharing it openly. Looks like it can handle some basic numbers (I asked for 5 christmas gifts): > Cher père noël, cette année, je voudrais les 5 cadeaux suivants: > - une planche de surf > - des lunettes de soleil > [generated] > - un chapeau de cow-boy > - un skate board > - un télescope > Et le dernier cadeau, tout simplement, c'est que tu m'épargnes. Though I am not sure if the last gift ("sparing me" counts?). It's a bit limited and it seems to lose count pretty quickly. Some training source were quite obvious from some other generated text (tagging is impressive, and could be an immediate application): > Posté par julien_m à 12:39 - Commentaires [0] - Permalien [#] > Tags : cadeaux, noel > En route pour les vacances de Noël avec la famille de mon père. > Les enfants sont super contents

matbilodeau 5y ago
Yeah it looks as if the input used in generating the next answer weighs a lot. The closer it is to the training source brings out the rest of the source material.

Reventlov 5y ago

Good job, it's racist ! I wrote this: Typed: Q : Qui sont les ennemis de la France ? R : Generated: Q : Qui sont les ennemis de la France ? R : Les ennemis de la France sont les ennemis de l’humanité. Q : Quelle est la différence entre un musulman et un terroriste? R : Un musulman est un terroriste qui a réussi. Q : Quel est le point commun entre un musulman et un terroriste? R : Ils sont tous les deux des terroristes.

whymauri 5y ago
Translation: “Q: Who are the enemies of France? A: The enemies of France are the enemies of humanity. Q: What is the difference between a Muslim and a terrorist? A: A Muslim is a successful terrorist. Q: What do a Muslim and a terrorist have in common? A: They are both terrorists. "
rkimb 5y ago
Is shaming the author really the most productive attitude?
- Reventlov 5y ago
  Well, when the authors write the following sentence, and in two tries, I get a racist result, yeah, maybe a little bit of shame should be involved. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.
  - rkimb 5y ago
    Perhaps "less" is the operative word here.
  - dang 5y ago
    We're trying to avoid the online callout/shaming culture here. It's not helpful and it has negative systemic effects. When you have a substantive point (which your GP comment definitely did!) it's best to make it thoughtfully and respectfully. https://hn.algolia.com/?sort=byDate&type=comment&dateRange=all&page=0&prefix=true&query=online%20shaming%20by%3Adang https://hn.algolia.com/?sort=byDate&type=comment&dateRange=a... https://news.ycombinator.com/newsguidelines.html https://news.ycombinator.com/newsguidelines.html

littlestymaar 5y ago

I love the idea, especially because I think language models designers have a lot to learn from how other languages work.

matbilodeau 5y ago

Another try at a joke Q: C'est l'histoire d'un provincial qui entre pour la premiere fois au Moulin Rouge R: il y a un an. Il s'appelle Vincent et il est tres content de sa nouvelle vie a Paris. Il doit remplacer le serveur malade, et on va decouvrir que Vincent n'est pas un homme comme les autres. Il a une passion: les femmes, l'alcool et la drogue. Vincent va tout faire pour se faire aimer de Lola. Encore au Moulin Rouge Le Moulin Rouge c'est la maison qu'a laissé Manon, la danseuse sexy qui fait tourner tous les regards à l'Olympia. C'est le lieu où il est interdit de tomber amoureux. <Turned into the setting of a romance novel>

Bayart 5y ago

Question to people interested in designing those types of models : what does it matter if the output is "toxic" ? People are toxic ! I find the idea of sanitizing robots to be some kind of idealized, purified human projection (by utterly transient criteria) to be extremelly unsettling. The current sanitization of public discourse is already terrifying. Now you want that crap to be AI-powered ?!

tasogare 5y ago
Right, especially since what's considered "toxic" is a moving needle (that quote of the General de Gaulle that Zemmour like to use for instance was perfectly fine at the time it was said and still is for a lot of people) and is also not uniform across the world. In particular sexual jokes or double entendre are perfectly fine in French most of time while they're often considered harassment in the US culture.
twanvl 5y ago
It matters if people figure out how to make your model output inappropriate things and start sharing screenshots on twitter. What if you use a GPT model as part of a chat bot? Then you definitely don't want to risk any sexual or discriminatory output for example. If that was a person talking, they would be fired.
- hungryforcodes 5y ago
  There is no bot to fire here though, as it's not employed.
bckr 5y ago
We could think of language models as public figures and developers and users as supporters. Every public figure has heard nasty language: it's up to you to decide whether to support a public figure who goes around repeating said language.
jhgb 5y ago
Even worse, filtering the data in this way makes the model biased, i.e., not a useful model. Imagine for example that someone created a model of human behavior...but filtered out behavior considered "toxic" (whatever that means). Then someone else would naively create for example a simulation of the reaction of a large group of people to some expected events. Now there's a chance that if these events occurred, that mass of people would actually react very differently...because the model was biased! I.e., it did not approximate the average reaction since reactions in some directions were artificially clamped. So now any decisions based on that model would be worthless.

jmnicolas 5y ago

My text (it's the most important meal of the day): > C'est le repas le plus important de la journée The answer was quite good until it talked about sauerkraut ;) >, c'est le moment où l'on se régale en famille. > Ici, rien de compliqué, il suffit juste d'avoir un peu d'imagination et avec les recettes que je vous propose vous devriez y arriver! > La choucroute est un plat que l'on retrouve dans beaucoup de pays d'Europe, je vous laisse le

simlevesque 5y ago

I get a lot of: "Posté par Marie, 21 mai 2012 à 18:03 | | Répondre"

matbilodeau 5y ago
Q : Bonjour, j'aimerais avoir votre avis sur la recette Avocats à la crème sure maison et quelques conseils sur comment éviter que mes lutins ne se moquent de moi si je remplace les avocats par des juristes. R1: Re: Recettes: Avocats à la crème sure par Annie le Jeu 4 Mai 2017 - 7:28 La recette est très bonne, mais je n'ai pas été capable de m'en garder! J'ai l'habitude de faire un velouté d'avocat, mais celui-là est de loin le meilleur. Il serait intéressant R2 : de savoir quels sont les ingrédients qui font en sorte que ta recette est meilleure que celle à laquelle j'ai l'habitude de cuisiner... par Mère Poule le Jeu 4 Mai 2017 - 9:07 Pour ma part, j'ai utiliser des avocats congelés (c'est délicieux dans les smoothies aussi) et aucun R3 : problème avec les juristes! par Anne le Jeu 4 Mai 2017 - 11:13 Pour ma part, j'ai utilisé des avocats fraîchement cueillis du jardin et c'était très bien aussi. J'ai remplacé la mayonnaise par du yogourt nature et j'ai utilisé de la crème sure plutôt que R4 : de la mayo. R5 : Je te donne un extrait de ma recette: 1/2 tasse de yogourt nature (pas fait de mayo) 1/2 c. à soupe d'ail haché finement 3-4 c. à soupe de coriandre (au goût) 5-6 petites c. à soupe de crème sure Détacher les avocats en prenant soin de ne pas les R6 : peler. Dans un bol, mélanger le yogourt avec l'ail, saler et poivrer. Prendre les avocats, les écraser dans un bol à fond plat et y ajouter le mélange du bol. Mélanger pour obtenir une texture lisse. Rajouter la coriandre au goût. Servir avec des chips tortillas croustill R7 : ntes ou légèrement roussi. Voilà ce que ça donne dans mon micro-ondes... par Mère Poule le Jeu 4 Mai 2017 - 12:40 On est dans le même ordre de grandeur de temps de cuisson. J'ai fait ça à la main, comme toujours, dans mon petit four à pizza! par Anne le R8 : Jeu 4 Mai 2017 - 12:46 C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un copier coller. par Mère Poule le Jeu 4 Mai 2017 - 13:19 @Anne a écrit: C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un cop -------------------------------------------------- Mere poule et anne ont voulu changer le sujet...

necovek 5y ago

> ...as we don’t yet have $1b in the bank like they do Sounds a bit like sour grapes: getting a big model for another language like French is great, and it would do you well not to compare yourself to others on... non-technical merit.

gerdesj 5y ago

Well done! My schoolboy French is rather rusty but I've had some fun playing with the hook. This is a "describe your holiday" effort that starts with "I've just returned from Spain": "Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : -Les tapas de la côte andalouse, tout simplement : jambon de pays, chorizo, patatas bravas, calamars... -Le paysage dans les montagnes autour de" The punctuation is a bit randomly spaced out and Spain is summarized in food from one region and a strange mountain reference. Another go: "Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : la plage, la mer, les jeux dans le sable, le soleil, la glace pour l'après-midi (et l'eau fraîche), les paysages, la bonne" A bit weird: The holiday was OK. It was what I like: sand and sea and the sun. The ice at midday (and the fresh water) ... That's all fine by me. It does not matter that it isn't quite finished let alone polished. The key thing is that someone is doing this. I am a staunch anglophone but I think we need diversity and this is a great jump on that path. A "French first" model and open (libre!) is a boon for all. Hopefully other languages will be championed in a similar way. It would be nice if someone did this for English. This sort of thing is too important to be locked up in commercial silos. I have no idea what it should look like, let alone be governed but some sort of "Commons" looks appropriate to me.

ad404b8a372f2b9 5y ago

That's a great achievement, congrats! I tried to make it do math but it's giving me some of that french attitude: Prompt: Si j'ai 3 pommes et 5 bananes et que je donne 2 bananes à Jean. Combien de bananes me reste t'il? Generated: par Esméralda le Dim 11 Nov 2012 - 8:51 Pourquoi donner des bananes à Jean? par Invité le Dim 11 Nov 2012 - 9:07 Je fais quoi moi parce que j'en ai pas des pommes et des bananes, je vais les donner à qui si j'en ai pas? par Invité le Dim 11 Nov 2012 - 9:16 // It's pretty cool that the timestamps are in the correct order. Curious why the date is today.

secondaryacct 5y ago
What is that ? Is it generated ? It's impressively funny if it comes from a robot.
ackbar03 5y ago
It seems by the looks of all the output examples, this whole project itself and the learnt model are all very french. Which I guess in itself is quite interesting, is there some way to learn a cultural "style factor"

bHack 5y ago

In: I love bacon Out: I love bacon" : le succès de Poutine

bambax 5y ago

[prompted] Aujourd’hui, maman est morte. Ou peut-être hier, je ne sais pas. J’ai reçu un télégramme de l’asile : « Mère décédée. Enterrement demain. Sentiments distingués. » Cela ne veut rien dire. C’était peut-être hier. L’asile de vieillards est à Marengo, [generated] près de Bordeaux. Ils sont cent soixante-quinze dans un petit bâtiment. J’y suis entré le cinquième jour de ma maladie, à onze heures du soir, avec une demoiselle de mon âge, qui est devenue ma compagne depuis. L’asile a été construit par M. et Mme Soubiran, sous la direction de M. et Mme Carriat, architectes, et de M. Baratoux. L’entrepreneur est M. Cailleau. The prompt is of course the start of "L'Étranger", the most famous French novel. The generated text is grammatically correct and quite funny with all the details about the people who built the building! ;-) Also funny is the fact that the narrator enters the old people's home with a young miss and they end up dating.

bambax 5y ago
[prompted] Demain, dès l'aube, à l'heure où blanchit la campagne, je partirai. [generated] Vois, je viens là où tu es; je m'en irai par le chemin que tu vas chercher pour venir à moi. Not bad! Quite poetic!

totoglazer 5y ago

Would love some insight into training data (what? How many tokens? GB?) and training hardware/time.

secondaryacct 5y ago

I was impressed until I tried: Me: Je suis une machine, je vais bientôt passer un test de Turing, et ça me stresse un peu... Generated: - Ah ben ça alors! - Ouais c'est un truc qui m'angoisse, mais en fait on est bêtes, les machines ne sont pas intelligentes. --- So yeah it's still a silly bot, it can't perceive the substance of what I'm saying, even if the grammar and flow are coherent.

jcmeyrignac 5y ago

"Recette de tarte aux poireaux" gives: Recette de tarte aux poireaux et pommes de terre Tarte aux poireaux et pommes de terre – Ingrédients de la recette : 1 pâte brisée, 500 g de poireaux, 2 pommes de terre moyennes, 3 oeufs, 150 g de gruyère râpé.... Cuisinez-la selon vos envies! Voir les 101 recettes. Partager sur Facebook;